Liste des jeux de données tronquée lors de l'export csv d'un Topic

[Thesauruv]

Lorsque j'exporte le csv des données exposées dans demo.ecologie.data.gouv, le fichier résultant présente un nombre de données inférieur à ce qui peut être attendu d'après le nombre de pages visibles et le nombre total de jeux de données affiché dans le dashboard :

• A partir de l'export csv, on obtient 7801 datasets
• demo.ecologie.data.gouv présente 476 pages de 21 datasets, soit 9996
• le dashboard indique 21000+ datasets

[abulte]

Lié à #485, je l'attaque par là et quand ce sera réglé je ferai le point ici.

[abulte]

Testé et reproduit en prod

Le Topic contient 20k+ jeux de données. /datasets/search retourne 10k jeux de données (limite ES).

L'export CSV dispo sur https://www.data.gouv.fr/fr/datasets.csv?topic=65e9aa6cb5c809c30c70ee02 retourne 9280 jeux de données. La dernière ligne n'est pas tronquée.

Vu le code ici https://github.com/datagouv/udata-front/blob/0a9125b7c0b1b38b07771d682eb79e89be8aa8a5/udata_front/views/site.py#L120, on s'attend :

• soit à un timeout parce que le catalogue est trop gros
• soit à 20k+ jeux de données