Skip to content

Commit

Permalink
Clarrify tp instructions
Browse files Browse the repository at this point in the history
  • Loading branch information
TOUL committed Dec 12, 2023
1 parent 2067286 commit 240232f
Show file tree
Hide file tree
Showing 3 changed files with 18 additions and 12 deletions.
5 changes: 4 additions & 1 deletion TP_instructions/tp1.md
Original file line number Diff line number Diff line change
Expand Up @@ -41,10 +41,13 @@ Comme vous avez forké un repo existant, github actions a besoin d'une notificat
pour qu'il détecte qu'il y a une CI à exécuter.

Pour cela renommez le fichier `ci.yml` en `ci-workflow.yml`. (Le fichier peut avoir n'importe quel nom, tant qu'il est dans le bon repository cela marchera).
```shell
mv .github/workflows/ci.yml .github/workflows/ci-workflow.yml
```

Commitez et pushez ce changement
```shell
git add .github/workflows/ci.yml
git add .github/workflows/ci-workflow.yml
git commit -m "Rename workflow file"
git push
```
Expand Down
4 changes: 2 additions & 2 deletions TP_instructions/tp4.md
Original file line number Diff line number Diff line change
Expand Up @@ -124,8 +124,8 @@ Airflow tourne en utilisant l'env `base` de python. Il faut donc installer notre

Pour lancer le DAG `train`:

- activer le DAG en appuyant sur le bouton `ON/OFF` (à gauche),
- déclencher le DAG manuellement en cliquant sur `Trigger Dag` dans les links (l'icône play) (sur la droite).
- Activer le DAG en appuyant sur le bouton `ON/OFF` (à gauche de chaque ligne de DAG),
- Déclencher le DAG manuellement en cliquant sur `Trigger Dag` dans les links (l'icône play) (sur la droite).

![ui-airflow](./docs/tp4/ui-airflow-start.png)

Expand Down
21 changes: 12 additions & 9 deletions TP_instructions/tp8.md
Original file line number Diff line number Diff line change
Expand Up @@ -37,12 +37,15 @@ Duration: 0:15:00
### Définir une sonde de monitoring sous forme de fonction Python

Dans le fichier `formation_indus_ds_avancee/monitoring.py`, créez une fonction `monitor` qui retournera la valeur de
votre choix à monitorer. Cette valeur sera enregistrée dans la DB PostgreSQL grâce à la fonction `monitor_with_io`
associée à une tâche Airflow.
votre choix à monitorer.

Vous devez écrire une ligne par run, donc créer un dataframe qui contient 1 ligne et au moins 2 colonnes
le `prediction_time` et un indicateur agrégé,
par exemple la moyenne de prédictions calculée à ce moment-là
Retourner un data frame avec deux colonnes :

| prediction_time | Nom de votre indicateur (ex: prediction) |
|-----------------|-------------------------------------------------|
| Datetime | Une valeur aggrégée par run (exemple : moyenne) |

Cette valeur sera enregistrée dans la DB PostgreSQL grâce à la fonction `monitor_with_io` associée à une tâche Airflow.

### Tester

Expand All @@ -52,12 +55,12 @@ Mettre à jour le test unitaire dans `tests/test_unit/test_monitoring.py` pour q

Spécifier la table PostgreSQL dans laquelle enregistrer les valeurs à monitorer

Dans le fichier `dags/config.py`, définir la constante `MONITORING_TABLE_NAME` avec un nom unique
différent de celui des autres participants. Cette table sera désormais alimentée par la tâche `monitor` d'Airflow.
Dans le fichier `dags/config.py`, définir la constante `MONITORING_TABLE_NAME` avec un nom unique différent de celui des
autres participants. Cette table sera désormais alimentée par la tâche `monitor` d'Airflow.

Une fois cela fait, retirer du fichier `.github/worflows/ci.yml` la
ligne `continue-on-error: true # Task is expected to fail (there is a test that trainee will fix"`
qui permettait d'éviter à la CI de fail, même si vous n'avez pas fait cette modification.
ligne `continue-on-error: true # Task is expected to fail (there is a test that trainee will fix"` qui permettait
d'éviter à la CI de fail, même si vous n'avez pas fait cette modification.

### Re-démarrer Airflow

Expand Down

0 comments on commit 240232f

Please sign in to comment.