Refacto pipeline

[tgrandje]

No description provided.

[linogaliana]

• Changement de COMMUNE_ARRONDISSEMENT à ARRONDISSEMENT_MUNICIPAL à documenter
• Disparition de l'année 2022 : pas testé ou problème ?
• Pas de geojson: pas testé ou problème ?
• Zoom IDF: il faudrait exclusivement 75, 92, 93, 94 pas les autres départements de l'idf (77, 95)

Code qui tourne en l'état (f30cd9e)

contours_villes_arrt = carti_download(
    values = ["75", "92", "93", "94"],
    crs = 4326,
    borders="ARRONDISSEMENT_MUNICIPAL",
    filter_by="DEPARTEMENT",
    source="EXPRESS-COG-CARTO-TERRITOIRE",
    provider="Cartiflette",
    dataset_family="production",
    vectorfile_format="topojson",
    simplification=40,
    territory="france",
    year=2023)

et (mais attention à la transfo induite qui va pas, cf. points plus haut)

from cartiflette import carti_download

departements = carti_download(
    values="France",
    crs=4326,
    borders="DEPARTEMENT",
    filter_by="FRANCE_ENTIERE_DROM_RAPPROCHES",
    source="EXPRESS-COG-CARTO-TERRITOIRE",
    provider="Cartiflette",
    dataset_family="production",
    vectorfile_format="topojson",
    simplification=40,
    territory="france",
    year=2023)

[tgrandje]

Disparition de l'année 2022 : pas testé ou problème ?

C'est volontaire (déclenchement d'un pipeline de test sur millésimes réduits et avec les jeux cartos de basse résolution). 2022 est normalement bien présent dès qu'on va regarder dans les jeux EXPRESS COG TERRITOIRE (au lieu de EXPRESS COG CARTO TERRITOIRE)

Pas de geojson: pas testé ou problème ?

Idem

Pour mémoire, la configuration du pipeline via les variables d'environnement se fait ici :

• déclaration d'un dictionnaire haute/basse résolution pour les jeux cartos initiaux là;
• choix des configurations (formats, projections, millésimes) ici
• et accessoirement, la lecture de la variable d'environnement se fait dans cet autre fichier là

EDIT

Et la déclaration de la variable permettant de commander le choix du pipeline de test vs. prod ou préprod se fait ici

[tgrandje]

@linogaliana Où est-ce que tu pensais documenter le changement de COMMUNE_ARRONDISSEMENT à ARRONDISSEMENT_MUNICIPAL ? C'est plutôt dans le repo du site de doc non ?

Le seul endroit où ça apparaît encore dans le code de cartiflette c'est dans :

• cartiflette/utils/dict_correspondance.py::dict_corresp_filter_by()
• tests/test_download_from_cartiflette::test_carti_download_commune_arrondissement()

Pour le premier cas ça touche à l'API que je n'ai pas regardée à ce stade : tu serais sans doute plus rapide que moi pour faire les reprises.

Pour le second point, j'avais déjà substitué les arguments là où il faut, il ne reste que le nom des variables / fonctions que j'ai laissé tels quels.

[tgrandje]

Je lance un test du pipeline pour contrôler l'impact du rapprochement IdF