Вы можете записывать сообщения в топики кластера Yandex Managed Service for Apache Kafka® и читать сообщения из топиков через PySpark-задания. Они выполняются в кластере Yandex Data Processing. Настройка через Terraform описана в практическом руководстве, необходимый для настройки конфигурационный файл kafka-and-data-proc.tf расположен в этом репозитории.