-
Notifications
You must be signed in to change notification settings - Fork 0
/
brochure.Rmd
172 lines (107 loc) · 13.2 KB
/
brochure.Rmd
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
---
title: La démarche Propre
subtitle: Et s’il existait un outil mutualisé, presque clef en main, qui permette aux DREAL/DEAL de publier périodiquement leurs analyses de façon homogène et dans des délais raccourcis ?
abstract:
abstract-title:
author:
lang: fr
paged-footnotes: true
output:
gouvdown::propre_brochure:
logo: "ministere_te_tc_mer"
width_main_column: 60
front_cover: https://gitlab.com/rdes_dreal/propre.brochure/-/raw/master/images/cover.svg
css:
- custom-brochure.css
knit: pagedown::chrome_print
---
```{r setup, include=FALSE}
knitr::opts_chunk$set(echo = FALSE)
```
:::header
Depuis 2015, le datalab de la DREAL Pays de la Loire a expérimenté de nouvelles méthodes de travail autour du *Design Thinking* et des process agile pour réaliser ses publications statistiques. En opérant le pivot d'une culture de la donnée vers une culture logicielle, il se dote de PROPRE pour PROcessus de Publications REproductibles et métamorphose son métier. Premier exemple de cette (r)évolution, la publication coordonnée inter-DREAL sur le répertoire du parc locatif social.
:::
:::secondary-column-bottom
:::
:::main-column
La démarche repose sur une adaptation pour la publication d'analyses statistiques de principes de développement logiciel. Un langage de programmation est utilisé pour scripter des actions dans un formalisme qui permet de construire un traitement reproductible et intégré, de la donnée jusqu'à la communication des résultats sous forme de pages web, d'applications interactives en ligne et de documents imprimés.
### R, langage à tout faire de la statistique
R est un langage de programmation particulièrement adapté à une approche intégrée de l'exploitation de la donnée. Que ce soit pour structurer les données, les analyser, en tracer des graphiques ou les mettre en page dans des rapports : tout peut être développé dans ce même langage. Il n’est plus nécessaire d'opérer de multiples changements d'outils sujets à l'erreur. Propre est une chaîne de traitement normalisée où R est la cheville ouvrière de la publication tant dans sa dimension éditoriale que statistique. Sa mise en oeuvre est ici inspirée du mouvement *DevOps*, pratique d'ingéniérie logicielle fondée sur l'automation et le monitoring.
> Au début des travaux sur le Répertoire du parc locatif social (RPLS), les connaissances en R des acteurs impliqués dans le projet allaient de l'excellente maîtrise technique à la simple prise de conscience. C'est pour ses propriétés open source et sa polyvalence qu'il a été choisi pour Propre.
### La pratique Devops pour guide
L'approche DevOps défend un *continuum* entre les *Dev* (chargés de développer de nouvelles solutions) et les *Ops* (garants de l'intégrité et de la stabilité des systèmes opérants) en plaçant l'utilisateur au cœur des préoccupations. Les “dev” vont programmmer, compiler, tester et livrer aux “ops” qui vont déployer, opérer, monitorer pour informer les “dev” des nouveaux développements à planifier et ainsi boucler la boucle. L’innovation se fait grâce au travail commun de l’ensemble des membres de l’équipe, dans une coopération de fait où chaque partie prenante prend sa part de responsabilité en se préoccupant de ce qui se passe en amont et de ce qui est attendu en aval.
> Étant eux-aussi utilisateurs du produit logiciel, les agents impliqués dans le cas d'école RPLS ont été responsabilisés sur les liens de cause à effet de leurs choix. Cela s'est traduit par une importante solidarité.
### La forge logicielle pour fédérer
Pour qu’une telle organisation puisse prendre vie, la démarche Propre s’appuie sur une forge logicielle, lieu de façonnage des publications. Elle est construite autour d’un outil qui monitore et sécurise les modifications du code et du contenu. À chaque mise à jour, les résultats sont vérifiés par un lot de tests de conformité automatisés et approuvés par un relecteur. Se tromper est permis par la possibilité de revenir en arrière à tout moment et en sécurité. L' *intégration continue* des modifications est rendue possible au moyen d'une importante communication, qu’il s’agisse de commentaires directement au niveau du code ou d’espaces de conversations synchrones ou asynchrones.
> Véritable lieu de rencontre et de capitalisation, la forge RPLS est à la fois la mémoire et la manifestation tangible des travaux qui en sont issus.
:::
:::main-column
### Le paquet R comme outil collaboratif
L'objet logiciel produit dans la démarche Propre est particulier, c'est un paquet R. Une brique standardisée et réutilisable qui contient fonctionnalités, documentation et tests. Sa nature lui confère intégrité, maintenabilité et pérennité. Tout utilisateur est un potentiel contributeur en mesure de développer de nouvelles fonctionnalités, éventuellement reversées. Évolutivité et collaboration sont structurellement inscrites dans le concept de paquet R élaboré dans une forge logicielle.
> La mutualisation des travaux sous forme d'un outil empaqueté a permis une publication collaborative et coordonnée pour toutes les régions sur l'état du parc locatif social.
### Mise en forme & maintenance
Propre est une chaîne de publication réactive bénéficiant d'une mise en forme automatisée. Les contenus sont élaborés en parallèle de leur allure graphique en respectant le principe de séparation des préoccupations. Une mise à jour du fond présentera un résultat toujours homogène dans sa mise en forme. À l'inverse, une mise à jour de la forme pourra être répercutée sur tous les contenus. Les tests, intrinsèques à la démarche, enrayent d'éventuels effets de bord. La mise à jour du document est ainsi produite au fur et à mesure que les données sont actualisées. Et puisque les éléments sont rédigés et développés de manière sémantique, il est possible de les rendre lisibles dans un rapport imprimé, sur un terminal mobile, un écran ou une application, offrant de plus grandes possibilités d’interaction pour l’utilisateur.
> La transcription de la marque État en un paquet R prêt à l'emploi a permis aux équipes mobilisées sur le RPLS de se focaliser sur le fond plutôt que la forme tout en garantissant un résultat homogène.
### Valorisation des agents
Épouser l'approche Propre, c'est opter pour R au sein d'une forge logicielle conduite selon une approche *Devops* responsabilisante. C'est une expérience stimulante et enrichissante. L'élaboration de communs sculptés spécifiquement pour des besoins métiers adressés collectivement donne du sens aux travaux. Apporter de la valeur ajoutée au processus ne se traduit pas nécessairement par la production de code R mais aussi par l'élaboration de contenus éditoriaux, la documentation ou encore la traduction en spécifications de besoins utilisateurs. L'objet produit dans la démarche Propre concentre ainsi le fruit d'une intelligence collective, en lien avec l’évolution des usages et les métiers des agents. Il s'anime en temps réel grâce à une communication étroite et bienveillante.
> L’aptitude à concevoir des paquets R en lien avec les usages de façon collaborative et solidaire est une nouvelle compétence pour les agents, transposable dans ses principes à d'autres projets de développement logiciel.
### Une question ?
Pour en savoir plus sur la démarche, vous pouvez vous mettre en relation avec [email protected] ou [email protected], à l’initiative de la démarche.
:::
:::{.secondary-column-top .handmade}
:::
::::numbers
## Propre.rpls en quelques chiffres
- 14 publications déployées sur ce canevas commun
- 7 DREAL mobilisées ainsi que le SDES (producteur de la donnée)
- 4,9 k messages asynchrones
- 5 réunions synchrones
- une forge publique qui compte un projet déployé et un guide de publication
- 146 demandes (dont 114 closes) et 215 jalons de développements pour le paquet `{propre.rpls}`
- 166 revues de code approuvées
- 96 % du code couvert par des tests fonctionnels
- 300 litres de café
::::
::::last-page
:::{.secondary-column-top .handmade}
## Image rare d’un agent expliquant sa mission, avant la démarche Propre
1. D’abord, tu trouves le site où les données sont partagées (oui, cherche l’open data)
1. là, tu vas pouvoir télécharger plusieurs séries de données, une pour chaque millésime normalement
1. Tu as créé un dossier ? Place les données dedans.
1. C’est un CSV ? Ouvre un des fichiers dans Excel… Oui Open Office ça marche aussi…
1. Attends, c’est pas normal. Tu m’envoies le fichier ? … Ah j’ai compris! Ils ont inversé les virgules et les points… oui, voilà, les milliers avec des virgules, des décimales avec les points
1. T’es bon pour passer par notepad. Tu fais un rechercher-remplacer, les virgules en point et vice versa. Fais une copie du fichier!
1. C’est bon t’as ouvert dans Excel ? Open Office pardon. Bon, parfait, faudra que tu fasses pareil pour les trois autres fichiers.
1. Là, dans le classeur, y a les formules pour les transformations, faut que tu regardes dans le fichier docx sur le bureau, y a la liste des macros accessibles,
1. Tu peux faire les graphiques que tu veux, sachant que de toute façon ça passera par la com’ qui voudra sûrement un fichier modifié pour leur site.
1. Là, tu te mets au propre sur le premier fichier, par ce qu’il te faudra faire pareil sur les autres… D’expérience, tu devrais le faire assez vite pour voir s’il te manque pas des données, ou si le tableau est différent.
1. Une fois que t’as tes données, il te reste la partie intéressante, tu lances la version open office de Word et tu commences à rédiger… Oui Oui, tu copies-colles les graphes et les tableaux que tu veux avoir dedans, là où tu les veux.
1. quand t’as fini, t’envoies au bureau d’au-dessus. Après avoir fait lire aux collègues, et tu fais une copie du fichier, et tu fais attention au nom des versions. Et tu attends le retour pour faire toutes les corrections en même temps.
1. Oui, si y a besoin tu édites le fichier excel et tu copies-colles (encore) dans Word. Quand c’est tout bon, tu fais partir…
1. Ah si, ça arrive… régulièrement… Quand il y a un changement dans les sources faut tout refaire… Comment on sait quoi ? Si les sources ont changé ? Ben tu vérifies… Je sais, mais y a pas trop le choix.
1. Ah ben quand ça t’arrive t’es pas content non, personne n’aime tout refaire depuis le début, mais y' a pas vraiment d’autres solutions…
1. **Mais tu verras, une fois que t’as compris le truc, c’est pas si compliqué**
:::
:::main-column
## Avec la démarche Propre, c’est un processus technique de publication reproductible, par étape
En adoptant la démarche Propre, les flux opérationnels deviennent plus techniques car ils demandent plus de connaissances et de compétences logicielles mais la nature des travaux s'en trouve enrichie. Le processus est sécurisé et fiable car reproductible, versionné et intégré. Une approche comparée illustre les bénéfices d'une approche programmatique et logicielle.
1. Créer un nouveau projet et appeler le paquet R Propre
2. Appeler les jeux de données directement depuis RStudio
3. Filtrer, agréger, résumer, transformer, modéliser, prédire, et ce dans un langage clair, lisible, « qui dit ce qu’il fait et qui fait ce qu’il dit »
4. Utiliser la programmation fonctionnelle pour sécuriser et paralléliser les sorties ou outputs (calculs, tableaux, graphiques et rapports complets) dans R
5. Soumettre les résultats versionnés à ses collègues et supérieurs en temps réel via des outils dédiés et performants où chacun peut intéragir dans un espace sécurisé (en utilisant l’outil open source Gitlab par exemple).
6. Rejouer les analyses à la demande dans R (y compris en cas de modification des sources)
7. Diffuser (en ligne, sur un serveur de partage, par envoi de mail, ou produire un document imprimé…) depuis R et de façon automatique et intégrée
## Pour en savoir plus
Quelques mots sur la démarche : https://gitlab.com/rdes_dreal/propre.rpls/-/wikis/d%C3%A9marche%20propre
Le code source du paquet : https://gitlab.com/rdes_dreal/propre.rpls
La documentation technique : https://rdes_dreal.gitlab.io/propre.rpls/dev/articles/aa-prise-en-main.html
La trame des publications : https://gitlab.com/rdes_dreal/propre.rpls/-/wikis/Trame-de-publication-r%C3%A9gionale-RPLS
:::
:::footer
Le document que vous avez sous les yeux a été réalisé dans le cadre de la démarche Propre: la mise en page a été réalisée en même temps que son contenu. Le code source de ce document est accessible [ici](https://gitlab.com/rdes_dreal/propre.brochure/). Les illustrations ont été réalisées par www.drawkit.io, les caractères typographiques Marianne et Spectral ont respectivement été dessinées et développées par Mathieu Réguer & par Production Type.
:::
::::