Skip to content

Commit

Permalink
Merge pull request #2 from yandex-cloud-examples/update/YCDOCIO-3723-…
Browse files Browse the repository at this point in the history
…add-readme

YCDOCIO-3723: Added a README
  • Loading branch information
lanieuszko authored Jul 10, 2024
2 parents 16f60cb + b131ef0 commit 961e10f
Show file tree
Hide file tree
Showing 2 changed files with 7 additions and 15 deletions.
10 changes: 7 additions & 3 deletions README.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,9 @@
# Название сценария
# Запуск и управление приложениями для Spark и PySpark в сервисе Yandex Data Proc

Описание сценария и инструкция по его применению.
В кластере [Yandex Data Proc](https://yandex.cloud/ru/docs/data-proc) вы можете запустить Spark- и PySpark-задания с помощью инструментов:

Для практических руководств обязательна ссылка на документацию.
* [Spark Shell](https://spark.apache.org/docs/latest/quick-start) (командная оболочка для языков программирования Scala и Python). Расчеты запускаются не с помощью скрипта, а построчно.
* [Spark-submit](https://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications). Скрипт сохраняет результаты расчета в HDFS.
* [CLI Yandex Cloud](https://yandex.cloud/ru/docs/cli/). Команды CLI позволяют сохранить результаты расчета не только в HDFS, но и в бакете [Yandex Object Storage](https://yandex.cloud/ru/docs/storage).

Подготовка инфраструктуры для Yandex Data Proc через Terraform описана в [практическом руководстве](https://yandex.cloud/ru/docs/data-proc/tutorials/run-spark-job), необходимый для настройки конфигурационный файл [data-proc-for-spark-jobs.tf](data-proc-for-spark-jobs.tf) расположен в этом репозитории.
12 changes: 0 additions & 12 deletions main.tf

This file was deleted.

0 comments on commit 961e10f

Please sign in to comment.