OpenSearch 2.x

[KaMaToZzz]

Максим, приветствую!

Подскажите, пожалуйста, делали ли вы уже интеграцию пайплайн ingest под OpenSearch 2.x?

Проблема, с которой мы столкнулись при использовании текущей версии Pipeline template:

1. То что, opensearch ругается при пост обработке на:
   _system_index_access_allowed false — при условии, что мы используем admin учетку

 2023-07-03T14:16:27.829+0700	ERROR	[elasticsearch]	elasticsearch/client.go:224	failed to perform any bulk index operations: 400 Bad Request: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Action/metadata line [1] contains an unknown parameter [_type]"}],"type":"illegal_argument_exception","reason":"Action/metadata line [1] contains an unknown parameter [_type]"},"status":400}
2023-07-03T14:16:29.273+0700	ERROR	[publisher_pipeline_output]	pipeline/output.go:180	failed to publish events: 400 Bad Request: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Action/metadata line [1] contains an unknown parameter [_type]"}],"type":"illegal_argument_exception","reason":"Action/metadata line [1] contains an unknown parameter [_type]"},"status":400}
2023-07-03T14:16:29.273+0700	INFO	[publisher_pipeline_output]	pipeline/output.go:143	Connecting to backoff(elasticsearch(

Стоит попробовать тот же пайплайн в версии 1.3 opensearch — все успешно залетает.

[maxstarkov]

Приветствую.

Интеграцию с OpenSearch 2.x не делал.
По первой проблеме хотелось бы знать версию filebeat-oss, которая используется у вас. Здесь есть матрица совместимости версий, к сожалению OpenSearch 2.x не поддерживает работу с filebeat 7.13.x. Возможно дело в этом.
По второй проблеме решение описано здесь

Если разберетесь с этими проблемами, то был бы благодарен.
Пока нет времени заняться этим.