Проблема производительности

[Aleksandr1705]

Клиент:
Filebeat 7.10.2 на Windows 10
Сервер:
Opensearch 2.9 в докере

Конфигурация pipeline, filebeat как в этом репозитории.
1 час лога размером 10Гб грузился 3 часа, соответственно лог не будет успевать загрузиться.
При этом загрузка процессора на клиенте небольшая, а на сервере opensearch где-то 50%.
Всего у нас 6 нод, с которых будем собирать логи.

[maxstarkov]

Слишком мало информации, чтобы понять где именно у вас возникают проблемы производительности.
Если CPU на сервере opensearch загружен только на 50%, то остальное время CPU где проводит? На ожидании операций IO? На kernel space? Простаивает?
Какие параметры дисков на сервере opensearch?
Какой объем RAM на сервере opensearch? Вы меняли настройки java heap под ваш объем RAM (в файле docker-compose.yml параметр ES_JAVA_OPTS)?
По вашему описанию невозможно понять в чем причина проблем производительности.

[Aleksandr1705]

Сделали новый тест. Было 2 ядра, сделали 4. Теперь процессор загружен на 25% на kernel space. Остальное время процессор свободен.
Диски NVME. Памяти RAM 8 Гб. Изменили настройки для сервера OpenSearch на OPENSEARCH_JAVA_OPTS="-Xms4g -Xmx4g"
Ожидание операций IO где посмотреть?

[maxstarkov]

Посмотреть можно через утилиту top, в колонке wa будет отображаться процент времени, которое уходит на IO.

[Aleksandr1705]

Путем мониторинга загрузки CPU, было выявлено, что работает только одно ядро на один поток загрузки из Filebeat.
Если запустить с двух машин загрузку логов, то занимаются уже 2 ядра.

[maxstarkov]

Спасибо, интересное наблюдение. Судя по документации, для операций индексирования используется один поток на один primary shard. В настройках шаблона индекса из этого репозитория количество shard'ов установлено в единицу. Попробуйте увеличить это значение до 5 и понаблюдать.

[Aleksandr1705]

Увеличили, ничего не изменилось.

[maxstarkov]

После изменения количества shard'ов в шаблоне индекса сам индекс точно создался с новым количеством shard'ов?

[Aleksandr1705]

Как это проверить? Через запрос GET показывает новое количество шардов. Индекс не пересоздавали.

[Aleksandr1705]

Команда _cat/shards/techlog-*?v выдает
.ds-techlog-all-2023.08.21-000001 1 p STARTED 326176 124.3mb 172.22.0.4 opensearch-node1
.ds-techlog-all-2023.08.21-000001 3 p STARTED 326751 123.5mb 172.22.0.4 opensearch-node1
.ds-techlog-all-2023.08.21-000001 2 p STARTED 327550 189.7mb 172.22.0.3 opensearch-node2
.ds-techlog-all-2023.08.21-000001 0 p STARTED 327437 191.1mb 172.22.0.3 opensearch-node2
.ds-techlog-all-2023.08.18-000001 0 p STARTED 517779 108.9mb 172.22.0.4 opensearch-node1