From 240232f9f369188500b08994c4a5a855c41417e8 Mon Sep 17 00:00:00 2001 From: TOUL Date: Tue, 12 Dec 2023 10:04:16 +0100 Subject: [PATCH] Clarrify tp instructions --- TP_instructions/tp1.md | 5 ++++- TP_instructions/tp4.md | 4 ++-- TP_instructions/tp8.md | 21 ++++++++++++--------- 3 files changed, 18 insertions(+), 12 deletions(-) diff --git a/TP_instructions/tp1.md b/TP_instructions/tp1.md index 19b04bd..4db3b8c 100644 --- a/TP_instructions/tp1.md +++ b/TP_instructions/tp1.md @@ -41,10 +41,13 @@ Comme vous avez forké un repo existant, github actions a besoin d'une notificat pour qu'il détecte qu'il y a une CI à exécuter. Pour cela renommez le fichier `ci.yml` en `ci-workflow.yml`. (Le fichier peut avoir n'importe quel nom, tant qu'il est dans le bon repository cela marchera). +```shell +mv .github/workflows/ci.yml .github/workflows/ci-workflow.yml +``` Commitez et pushez ce changement ```shell -git add .github/workflows/ci.yml +git add .github/workflows/ci-workflow.yml git commit -m "Rename workflow file" git push ``` diff --git a/TP_instructions/tp4.md b/TP_instructions/tp4.md index b5c8cda..a10505d 100644 --- a/TP_instructions/tp4.md +++ b/TP_instructions/tp4.md @@ -124,8 +124,8 @@ Airflow tourne en utilisant l'env `base` de python. Il faut donc installer notre Pour lancer le DAG `train`: -- activer le DAG en appuyant sur le bouton `ON/OFF` (à gauche), -- déclencher le DAG manuellement en cliquant sur `Trigger Dag` dans les links (l'icône play) (sur la droite). +- Activer le DAG en appuyant sur le bouton `ON/OFF` (à gauche de chaque ligne de DAG), +- Déclencher le DAG manuellement en cliquant sur `Trigger Dag` dans les links (l'icône play) (sur la droite). ![ui-airflow](./docs/tp4/ui-airflow-start.png) diff --git a/TP_instructions/tp8.md b/TP_instructions/tp8.md index d5bdbbb..665da46 100644 --- a/TP_instructions/tp8.md +++ b/TP_instructions/tp8.md @@ -37,12 +37,15 @@ Duration: 0:15:00 ### Définir une sonde de monitoring sous forme de fonction Python Dans le fichier `formation_indus_ds_avancee/monitoring.py`, créez une fonction `monitor` qui retournera la valeur de -votre choix à monitorer. Cette valeur sera enregistrée dans la DB PostgreSQL grâce à la fonction `monitor_with_io` -associée à une tâche Airflow. +votre choix à monitorer. -Vous devez écrire une ligne par run, donc créer un dataframe qui contient 1 ligne et au moins 2 colonnes -le `prediction_time` et un indicateur agrégé, -par exemple la moyenne de prédictions calculée à ce moment-là +Retourner un data frame avec deux colonnes : + +| prediction_time | Nom de votre indicateur (ex: prediction) | +|-----------------|-------------------------------------------------| +| Datetime | Une valeur aggrégée par run (exemple : moyenne) | + +Cette valeur sera enregistrée dans la DB PostgreSQL grâce à la fonction `monitor_with_io` associée à une tâche Airflow. ### Tester @@ -52,12 +55,12 @@ Mettre à jour le test unitaire dans `tests/test_unit/test_monitoring.py` pour q Spécifier la table PostgreSQL dans laquelle enregistrer les valeurs à monitorer -Dans le fichier `dags/config.py`, définir la constante `MONITORING_TABLE_NAME` avec un nom unique -différent de celui des autres participants. Cette table sera désormais alimentée par la tâche `monitor` d'Airflow. +Dans le fichier `dags/config.py`, définir la constante `MONITORING_TABLE_NAME` avec un nom unique différent de celui des +autres participants. Cette table sera désormais alimentée par la tâche `monitor` d'Airflow. Une fois cela fait, retirer du fichier `.github/worflows/ci.yml` la -ligne `continue-on-error: true # Task is expected to fail (there is a test that trainee will fix"` -qui permettait d'éviter à la CI de fail, même si vous n'avez pas fait cette modification. +ligne `continue-on-error: true # Task is expected to fail (there is a test that trainee will fix"` qui permettait +d'éviter à la CI de fail, même si vous n'avez pas fait cette modification. ### Re-démarrer Airflow