Desenvolvimento de uma DAG no Airflow para criação de cluster no DataProc do Google Cloud Platform, e carregamento de um job PySpark através dos operadores:
- DataprocCreateClusterOperator
- DataprocSubmitJobOperator
- DataprocDeleteClusterOperator
Utilizando o sseguintes recursos:
- Apache Airflow
- Google Cloud Dataproc
- Python
- Google Cloud Storage