Formation Scala et Big Data

Ce dépôt contient les matériaux et les exercices pratiques pour la formation sur Scala et Big Data, couvrant une variété de techniques et de plateformes.

Structure du Cours

• 0-docker: Contient des instructions et des configurations nécessaires pour établir un environnement Docker adéquat pour les exercices.
• 1-pratiques SCALA partie1 (7 pratiques): Sept exercices pour se familiariser avec les bases de Scala.
• 2-pratiques PYSPARK (3 pratiques): Trois exercices centrés sur l'utilisation de PySpark pour le traitement de données à grande échelle.
• 3-évaluation formative 1 SCALA - map - flatMap: Exercices d'évaluation sur les fonctions map et flatMap en Scala.
• 4-évaluation formative 2 SCALA - DS - cours historiques pour les actions AAPL: Étude de cas sur l'analyse de séries temporelles des actions Apple (AAPL) en utilisant Scala.
• 5-évaluation formative 3 SCALA - spark Streaming: Exercices sur l'utilisation de Spark Streaming en Scala.
• 6-pratiques SCALA partie2 (7 pratiques): Sept exercices avancés pour approfondir vos connaissances en Scala.

PROJET (Évaluations)

Chaque évaluation est conçue pour tester les compétences et les connaissances acquises au cours de la formation.

• Évaluation 1 - Local + Colab (stock market): Utilisation de l'environnement local et Google Colab pour analyser les données du marché boursier.
• Évaluation 2 - Azure + Databricks: Déploiement d'applications sur Azure en utilisant Databricks.
• Évaluation 3 - AWS + Databricks: Utilisation de AWS pour le traitement de données avec Databricks.
• Évaluation 4 - Databriks ++medium: Manipulation de données à moyen volume avec Databricks.
• Évaluation 5 et 6 - Databriks ++ json: Exercices sur la sérialisation et le traitement de données JSON avec Databricks.
• Évaluation 7 - IA avec PYSPARK: Implémentation de modèles d'intelligence artificielle en utilisant PySpark.

Prérequis

• Une connaissance de base en programmation est recommandée.
• Familiarité avec les concepts de Big Data et les environnements de Cloud tels que AWS et Azure.
• Installation de Docker pour certains exercices.

Installation

Les instructions pour l'installation des différents logiciels et outils nécessaires sont fournies dans le dossier 0-docker.

Contribution

Les contributions à ce cours sont toujours bienvenues. Que ce soit pour des corrections de bugs, des ajouts de contenu ou des améliorations d'exercices, n'hésitez pas à créer une pull request.