fix(dashboard): nouveau DataLoader

[arnaudambro]

proposition:

cache

Le dataloader ne gère pas le cache: c'est géré par Recoil à 100%, avec une valeur par défault async et un effect onSet. Ainsi, le dataloader ne gère que les states recoil.

Exemple:

export const territoriesState = atom({
   key:'territory',
   default: selector({
     key: 'territory/default',
     get: async () => {
       const cache = await getCacheItemDefaultValue('territory', []);
       return cache;
     },
   }),
   effects: [({ onSet }) => onSet(async (newValue) => setCacheItem(collectionName, newValue))],
 });

téléchargement des batchs de données

un exemple est plus parlant, reproduit pour chaque table

      let newItems = [];
      setLoadingText('Chargement des personnes');
      async function loadPersons(page = 0) {
        const res = await API.get({ path: '/person', query: { ...query, page: String(page) } });
        if (!res.ok || !res.data.length) return resetLoaderOnError();
        setProgress((p) => p + res.data.length);
        newItems.push(...res.decryptedData);
        if (res.hasMore) return loadPersons(page + 1);
        setPersons(mergeItems(persons, newItems));
        return true;
      }
      const personSuccess = await loadPersons(0);
      if (!personSuccess) return false;

avantage niveau performances

• on appelle une seule fois par table mergeItems
• on appelle une seule fois par table le recoil setter

mois de bugs ?

je ne sais pas...
il faudrait imaginer pourquoi parfois on a des problèmes de cache avec le loader actuel, qu'on arrive jamais à reproduire de notre côté.

• j'ai imaginé que la requête /organisation/stats pouvait parfois être trop longue, qui fait que pendant cette requête, des données sont créées qui ne seront jamais prises en compte -> j'ai bougé API.get({ path: '/now' }); après cette requête de stats, ce qui fait que le risque est un peu diminué ?
• j'ai modifié le withDeleted parce que je n'ai pas compris pourquoi on voulait les éléments supprimés SEULEMENT si le lastRefresh > 0. C'est moi qui ait mis ça au début, mais là je ne comprends pas la logique, donc j'ai mis withDeleted: true tout le temps.
• je n'ai pas d'autre explication

voilà, à part ça je ne vois pas grand chose d'autre à rajouter pour l'instant.

ouvert aux critiques/remarques/améliorations/etc. !

[github-advanced-security]

This pull request sets up GitHub code scanning for this repository. Once the scans have completed and the checks have passed, the analysis results for this pull request branch will appear on this overview. Once you merge this pull request, the 'Security' tab will show more code scanning analysis results (for example, for the default branch). Depending on your configuration and choice of analysis tool, future pull requests will be annotated with code scanning analysis results. For more information about GitHub code scanning, check out the documentation.

[rap2hpoutre]

J'ai une réelle crainte sur un zéro length mais tout le reste me semble bon.
J'ai surtout posé des questions parce que je remet le nez dans mano après plus de 6 mois...

[github-actions]

🎉 Deployment for commit a07c453 :

Ingresses

• 🚀 https://app-mano-fix-dataloader-3lu2wshm.dev.fabrique.social.gouv.fr/
• 🚀 https://dashboard-mano-fix-dataloader-3lu2wshm.dev.fabrique.social.gouv.fr/
• 🚀 https://mano-fix-dataloader-3lu2wshm.dev.fabrique.social.gouv.fr/

Docker images

• 📦 docker pull harbor.fabrique.social.gouv.fr/mano/mano/api:sha-a07c453205413e7a0df259663301c19ff97389a7
• 📦 docker pull harbor.fabrique.social.gouv.fr/mano/mano/dashboard:sha-a07c453205413e7a0df259663301c19ff97389a7
• 📦 docker pull harbor.fabrique.social.gouv.fr/mano/mano/www:sha-a07c453205413e7a0df259663301c19ff97389a7

Debug

• 📕 Loki logs for namespace mano-fix-dataloader-3lu2wshm
• 📈 Pods monitoring for namespace mano-fix-dataloader-3lu2wshm
• 📈 Workloads monitoring for namespace mano-fix-dataloader-3lu2wshm

[sonarqubecloud]

Kudos, SonarCloud Quality Gate passed!   

0 Bugs
0 Vulnerabilities
0 Security Hotspots
15 Code Smells

No Coverage information
0.0% Duplication

[SocialGroovyBot]

🎉 This PR is included in version 1.288.5 🎉

The release is available on GitHub release

Your semantic-release bot 📦🚀