Normalisez le titre et l'objet

[billmetangmo]

https://docs.python.org/3/library/textwrap.html#textwrap.dedent
https://github.com/wolfgarbe/SymSpell
https://github.com/jfilter/clean-text
https://ftfy.readthedocs.io/en/v6.0/
https://github.com/maxbachmann/RapidFuzz

[billmetangmo]

Tâche absolument nécessaire car datasette-lite ( refers to #9 (comment) ) ne peut pas charger le CSV à cause des "" qui traînent dans le texte. Il en est de même pour tablerow.

[billmetangmo]

• Titre tout en majuscule
• Objet en miniscule
• Les espaces de trop
• Supprimer les guillements en trop

[billmetangmo]

• Guillemets titre: https://flatgithub.com/mongulu-cm/tchoung-te/?filename=etl%2Frna-real-mars-2022-new.csv&filters=titre%3D%2522&sha=42e365e3e6ff520ff12b2637771f1d5bd81bb2cd&sort=&stickyColumnName=
• Guillemets objet: https://flatgithub.com/mongulu-cm/tchoung-te/?filename=etl%2Frna-real-mars-2022-new.csv&filters=objet%3D%2522&sha=42e365e3e6ff520ff12b2637771f1d5bd81bb2cd&sort=&stickyColumnName=

[KameniAlexNea]

Je ne comprends pas trop les deux liens envoyés

[billmetangmo]

Oui je l'ai mis pour moi-même hahaha.
Le lien montre juste la liste des élements avec " dans le titre (lien 1) et dans l'objet ( lien 2) pour un nouveau fichier rna que j'ai généré ( mais pas besoin de bosser sur celui-là).
C'est juste pour garder une trace.

[billmetangmo]

Sinon il faudra mettre à jour ta branche avec main ( via un rebase) quand t'auras fini car j'ai poussé une mise à jour sur main avec:

• Replace pyspark by memory efficient pandas wrapper ? #16 par @flominT (du coup on a plus besoin on n'en aura plus besoin dans le fichier filter-cameroon)
• une MAJ du fichier filter-cameroon qui est maintenant plus clean ( en utilisant les Add pipeline ( like spark) to pure pandas #18 )
  Cf https://github.com/mongulu-cm/tchoung-te/blob/main/etl/filter-cameroon.ipynb

Du coup une fois que t'auras terminé le clean dans ton fichier process_data , tu pourras juste rajouter l'enlèvement des espaces en trop et les guillemets dans la fonction normalize