Add files via upload

Guide.md

@@ -0,0 +1,42 @@
+# Guide du LLM
+
+## Identifier clairement le besoin (Johnny / Hélène)
+
+* besoin
+
+* données (collecter)
+
+## Environnement institutionnel et informatique (Katia / Bruno)
+
+* juridique de chaque admin
+
+* infra (sspcloud et autres clouds)
+
+## Benchmark LLM (Zhanna / Malo)
+
+* typologie LLM / choix non exhaustif de LLM testé ici
+
+### Evaluation avant finetuning (Daphné)
+
+* libraire d'eval ?
+* librarie d'annotation (label studio / autres)
+
+### Finetuning (ev.) et évaluation post-finetuning (Conrad )
+
+* Trainer (TRL)
+* qlora
+
+## Benchmark RAG (Johnny / )
+
+* Librairie utilisée (RAG : Langchain/LLamaindex)
+
+* Techniques autour des LLM (RAG,parser)
+
+
+## Production (Camille Brier / Conrad / Jérôme)
+
+* docker (image) et déploiement de l'image sur un cluster (Sspcloud ou autre) / pc local
+
+* vllm en api (back)
+
+* streamlit/dash et autres lib (front)

README.md

@@ -0,0 +1,57 @@
+# Projet KALLM : Kit avancé LLM
+
+
+
+Ce projet fait partie de la [troisième saison du Programme 10%](https://10pct.datascience.etalab.studio/les-actualites/saison-3-programme-10/), co-porté par la DINUM en association étroite avec l'Insee.
+
+## Préambule
+
+Mistral, GPT4, Claude, ALBERT, CroissantLLM... Vous ne vous y retrouvez plus parmi tous ces modèles larges de language (LLM)? Ce guide permet de se poser les bonnes questions et de pouvoir répondre à un besoin d'analyse textuelle avec une solution adaptée. Ce guide est là pour vous aider du début jusqu'à la fin, de la conception du modèle après problématisation à la mise en production.
+
+**Objectif : Comprendre son besoin et y répondre avec une solution LLM adaptée**
+
+## Etats des lieux des LLM
+
+Les LLM sont des modèles de langage de grande taille, apparus vers 2018, ayant révolutionné le domaine du traitement automatique du langage naturel. 
+Les LLMS se caractérisent par une architecture de type "transformers" permettant un traitement parallèle et contextuel du langage, un entraînement sur de très vastes corpus de données textuelles, allant de millions à des milliards de paramètres, et des capacités impressionnantes pour accomplir une grande variété de tâches linguistiques comme la génération de texte, la traduction, l'analyse de sentiment.
+
+Plus de 3000 LLM ont été entraînés et publiés sur des plateformes de partage de modèle comme [HuggingFace](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard), dont plus d'une cinquaine s'affronte régulièrement entre eux pour se démarquer sur différentes tâches dans une [arène dédiée](https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard).
+
+Il est aujourd'hui difficile de savoir quel LLM est adapté pour son besoin spécifique et quelle infrastructure est nécessaire pour utiliser les différents LLM. Ce guide tente donc d'expliciter les raisonnements, les questions à se poser et des pistes de réponse quant aux choix et à la mise en oeuvre des LLM.
+
+
+## Ce que couvre ce guide
+
+* l'infrastructure minimale pour faire tourner un LLM
+* benchmarking des "principaux" LLM
+* exemple d'utilisation dans un cas simple (cas d'utilisation dit "fil rouge") sous forme de tutoriel
+* finetuner un modèle LLM
+* quantizer un modèle LLM
+* Evaluer un LLM
+* mettre en production un modèle LLM
+* une bibliographie consise et non exhaustive
+* d'autres exemples plus complexes de cas d'utilisation dans l'administration
+* une approximation du coût environnemental et financier des différents LLM
+
+## Ce que ne couvre pas (encore) ce guide
+
+* les fondements théoriques de l'optimisation
+* cas spécifique d'une administration
+* comment débiaiser un LLM
+
+## Membres
+
+| Membre | Administration |
+| ------ | -------------- |
+|Conrad THIOUNN| Dares - Ministère du Travail                |
+|  Johnny PLATON      |                | Santé publique France
+|    Thibault DUROUCHOUX    |                |
+|    Katia JODOGNE-DEL LITTO    |                |
+|   Faheem BEG     |                |
+| Camille ANDRÉ| |
+| Camille BRIER | DTNum - DGFiP |
+| Daphné PERTSEKOS | ANFSI - Ministère de l'intérieur|
+
+ ## Épilogue
+
+ Une remarque ? Une question ? Vous pouvez nous contacter sur le salon [Tchap du Programme 10%](!hMSAqEDoNuxyPzFiLH:agent.dinum.tchap.gouv.fr) ou ...