From a2810c4d1560565b9d8094be265fc5595e556cb2 Mon Sep 17 00:00:00 2001
From: Quarto GHA Workflow Runner <quarto-github-actions-publish@example.com>
Date: Thu, 7 Nov 2024 14:48:11 +0000
Subject: [PATCH] Built site for gh-pages

---
 .nojekyll                                     |  2 +-
 II-Developpements/2_Utilisation_LLM.html      |  9 ++---
 .../2_Classification_accords_entreprise.html  | 16 ++++----
 search.json                                   |  4 +-
 sitemap.xml                                   | 38 +++++++++----------
 5 files changed, 34 insertions(+), 35 deletions(-)

diff --git a/.nojekyll b/.nojekyll
index 8ce5886..3d52e79 100644
--- a/.nojekyll
+++ b/.nojekyll
@@ -1 +1 @@
-ad52a401
\ No newline at end of file
+76787792
\ No newline at end of file
diff --git a/II-Developpements/2_Utilisation_LLM.html b/II-Developpements/2_Utilisation_LLM.html
index becc811..5cdb8e2 100644
--- a/II-Developpements/2_Utilisation_LLM.html
+++ b/II-Developpements/2_Utilisation_LLM.html
@@ -306,9 +306,9 @@ <h4 class="anchored" data-anchor-id="bonnes-pratiques">Bonnes pratiques</h4>
 <ul>
 <li><p><strong>Donner un rôle au modèle</strong> : Par exemple, dire au modèle qu’il est un magistrat honnête et impartial pourra l’aider à générer du texte formel, neutre et juridique. Le rôle est bien sûr à adapter en fonction des exigences de chaque tâche.</p></li>
 <li><p><strong>Structurer le prompt</strong> : Il est important de bien différencier le <em>prompt système</em> du <em>prompt utilisateur</em>. Le premier donnera des instructions générales quant au style, à la tâche, au contexte, etc., alors que le second pourra donner des instructions spécifiques ou un texte à analyser. Il est également pertinent d’organiser ou de séparer clairement les instructions.</p></li>
-<li><p><strong>Etre le plus précis possible</strong> :</p></li>
-<li><p><strong>Contraindre le modèle au maximum</strong> :</p></li>
-<li><p><strong>Donner des exemples</strong> : Cf. paragraphe suivant.</p></li>
+<li><p><strong>Etre le plus précis possible</strong> : Rajouter le plus de détails possibles, voire se répéter dans les instructions en changeant de formulation permet de bien insister sur les éléments les plus importants.</p></li>
+<li><p><strong>Contraindre le modèle au maximum</strong> : Si l’on souhaite un format de sortie précis (JSON par exemple), donner un exemple concret de sortie attendue, et insister sur le besoin de se conformer à ce format.</p></li>
+<li><p><strong>Donner des exemples</strong> : Cf. paragraphe suivant (few-shot prompting).</p></li>
 </ul>
 <p>Le papier <a href="https://arxiv.org/abs/2312.16171">Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4</a> donne un certains nombre de principes pour améliorer les prompts. Parmi ces principes (très nombreux), on trouve par exemple :</p>
 <ul>
@@ -349,7 +349,6 @@ <h3 class="anchored" data-anchor-id="quelles-questions-se-poser-pour-faire-les-b
 <section id="utiliser-un-llm" class="level4">
 <h4 class="anchored" data-anchor-id="utiliser-un-llm">Utiliser un LLM</h4>
 <p>La première question à se poser est la nécessité ou non d’utiliser un LLM. Certaines tâches peuvent se résoudre avec un LLM, mais ce n’est pas toujours la solution la plus pertinente. Par exemple, un LLM est normalement capable de parser un fichier xml sans problème, mais un script naïf sera largement aussi efficace, à bien moindre coût (environnemental, humain, financier). L’utilisation d’un LLM doit venir d’un besoin de compréhension fine du langage naturel.</p>
-<p><strong>Donner quelques exemples de cas d’usages</strong></p>
 </section>
 <section id="quels-modèles-utiliser" class="level4">
 <h4 class="anchored" data-anchor-id="quels-modèles-utiliser">Quel(s) modèle(s) utiliser</h4>
@@ -395,7 +394,7 @@ <h4 class="anchored" data-anchor-id="quand-faire-du-fine-tuning">Quand faire du
 </section>
 <section id="f.-combiner-plusieurs-techniques" class="level4">
 <h4 class="anchored" data-anchor-id="f.-combiner-plusieurs-techniques">F. Combiner plusieurs techniques</h4>
-<p>RAG + fine-tuning = <a href="https://arxiv.org/abs/2403.10131">RAFT</a></p>
+<p>Il est tout à fait possible de fine-tuner un LLM sur une tâche de RAG par exemple. Peu de travaux ont été faits sur cette combinaison, mais le papier <a href="https://arxiv.org/abs/2403.10131">RAFT</a> (Retrieval Augmented Fine-Tuning) en donne une vision d’ensemble et en propose une méthode.</p>
 
 
 </section>
diff --git a/IV-Exemples/2_Classification_accords_entreprise.html b/IV-Exemples/2_Classification_accords_entreprise.html
index 75f41d7..cd2a3be 100644
--- a/IV-Exemples/2_Classification_accords_entreprise.html
+++ b/IV-Exemples/2_Classification_accords_entreprise.html
@@ -347,7 +347,7 @@ <h3 class="anchored" data-anchor-id="récupération-des-données">Récupération
 <p>Les données sont disponibles sur <a href="https://www.legifrance.gouv.fr/search/acco?tab_selection=acco&amp;searchField=ALL&amp;query=%2A&amp;searchType=ALL&amp;typePagination=DEFAULT&amp;sortValue=PERTINENCE&amp;pageSize=25&amp;page=1#acco">Légifrance</a>. Le stock des textes est également publié par le <a href="https://echanges.dila.gouv.fr/OPENDATA/ACCO/">FTP de la DILA</a> et les thématiques déclarées sont à la fois dans les métadonnées XML publié conjointement avec les textes, ou retrouvables sur Légifrance.</p>
 <p>Pour des raisons pratiques, nous travaillerons avec une <a href="https://minio.lab.sspcloud.fr/cthiounn2/Accords/10p_accords_publics_et_thematiques_240815.parquet">photographie du stock au 1er semestre 2024</a> et sur un <a href="https://minio.lab.sspcloud.fr/cthiounn2/Accords/10p_accords_publics_et_thematiques_240815_sample_of_1000.parquet">échantillon des 1000 textes d’accords</a>, convertis au format parquet.</p>
 <p>Ces données comportent le numéro de dossier de l’accord, identifiant unique, puis le texte et les thématiques déclarées, et enfin suivies des thématiques une à une :</p>
-<div id="98fdb354" class="cell" data-execution_count="1">
+<div id="91175b1f" class="cell" data-execution_count="1">
 <div class="cell-output cell-output-display">
 <div>
 
@@ -416,7 +416,7 @@ <h4 class="anchored" data-anchor-id="lecture-de-données">Lecture de données</h
 jupyter==1.1.1
 ipykernel==6.29.5</code></pre>
 <p>Nous allons dans cet exemple, extraire 10 textes pour des raisons de rapidité :</p>
-<div id="f3dba9be" class="cell" data-execution_count="2">
+<div id="8e0489e0" class="cell" data-execution_count="2">
 <div class="sourceCode cell-code" id="cb5"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb5-1"><a href="#cb5-1" aria-hidden="true" tabindex="-1"></a><span class="im">import</span> json</span>
 <span id="cb5-2"><a href="#cb5-2" aria-hidden="true" tabindex="-1"></a><span class="im">import</span> numpy <span class="im">as</span> np</span>
 <span id="cb5-3"><a href="#cb5-3" aria-hidden="true" tabindex="-1"></a><span class="im">import</span> pandas <span class="im">as</span> pd</span>
@@ -445,7 +445,7 @@ <h4 class="anchored" data-anchor-id="lecture-de-données">Lecture de données</h
 <section id="vectoriser-nos-textes-avec-chromadb" class="level4">
 <h4 class="anchored" data-anchor-id="vectoriser-nos-textes-avec-chromadb">Vectoriser nos textes avec ChromaDB</h4>
 <p>Pour vectoriser nos textes, nous utilisons ChromaDB qui s’intègre avec Langchain. Nous allons découper en morceau des 3000 caractères à chaque saut à ligne, ce qui correspond à un paragraphe. Les morceaux de textes, ici paragraphes, sont stockés dans une boutique de vecteur avec le numéro de dossier et le numéro de paragraphe en métadonnées.</p>
-<div id="02b1bc52" class="cell" data-execution_count="3">
+<div id="8112fa5a" class="cell" data-execution_count="3">
 <div class="sourceCode cell-code" id="cb6"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb6-1"><a href="#cb6-1" aria-hidden="true" tabindex="-1"></a>text_splitter <span class="op">=</span> CharacterTextSplitter(</span>
 <span id="cb6-2"><a href="#cb6-2" aria-hidden="true" tabindex="-1"></a>    separator<span class="op">=</span><span class="st">"</span><span class="ch">\n\n</span><span class="st">"</span>,</span>
 <span id="cb6-3"><a href="#cb6-3" aria-hidden="true" tabindex="-1"></a>    chunk_size<span class="op">=</span><span class="dv">3000</span>,</span>
@@ -472,7 +472,7 @@ <h4 class="anchored" data-anchor-id="vectoriser-nos-textes-avec-chromadb">Vector
 <section id="interroger-un-llm-en-mode-api" class="level4">
 <h4 class="anchored" data-anchor-id="interroger-un-llm-en-mode-api">Interroger un LLM en mode API</h4>
 <p>Pour interroger le LLM, nous construisons une classe qui permet de générer les requêtes et de traiter les réponses :</p>
-<div id="7260d6d8" class="cell" data-execution_count="4">
+<div id="bc1dbb5f" class="cell" data-execution_count="4">
 <div class="sourceCode cell-code" id="cb7"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb7-1"><a href="#cb7-1" aria-hidden="true" tabindex="-1"></a>MODEL<span class="op">=</span><span class="st">"llama3.1"</span></span>
 <span id="cb7-2"><a href="#cb7-2" aria-hidden="true" tabindex="-1"></a></span>
 <span id="cb7-3"><a href="#cb7-3" aria-hidden="true" tabindex="-1"></a></span>
@@ -493,7 +493,7 @@ <h4 class="anchored" data-anchor-id="interroger-un-llm-en-mode-api">Interroger u
 <span id="cb7-18"><a href="#cb7-18" aria-hidden="true" tabindex="-1"></a>    llm <span class="op">=</span> LocalOllamaLLM(api_url<span class="op">=</span><span class="st">"http://127.0.0.1:11434"</span>)</span></code><button title="Copy to Clipboard" class="code-copy-button"><i class="bi"></i></button></pre></div>
 </div>
 <p>Nous définissons également un prompt de base, améliorable par la suite, et une chaîne LangChain entre le prompt et le LLM :</p>
-<div id="a24bd1a9" class="cell" data-execution_count="5">
+<div id="5cf92618" class="cell" data-execution_count="5">
 <div class="sourceCode cell-code" id="cb8"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb8-1"><a href="#cb8-1" aria-hidden="true" tabindex="-1"></a>system_prompt <span class="op">=</span> (</span>
 <span id="cb8-2"><a href="#cb8-2" aria-hidden="true" tabindex="-1"></a>    <span class="st">" Répondez à la question posée "</span></span>
 <span id="cb8-3"><a href="#cb8-3" aria-hidden="true" tabindex="-1"></a>    <span class="st">" Utilisez le contexte (sélection des meilleurs paragraphes liés à la question) donné pour répondre à la question "</span></span>
@@ -510,7 +510,7 @@ <h4 class="anchored" data-anchor-id="interroger-un-llm-en-mode-api">Interroger u
 <span id="cb8-14"><a href="#cb8-14" aria-hidden="true" tabindex="-1"></a>question_answer_chain <span class="op">=</span> create_stuff_documents_chain(llm, prompt)</span></code><button title="Copy to Clipboard" class="code-copy-button"><i class="bi"></i></button></pre></div>
 </div>
 <p>Nous définissons une fonction pour effectuer le RAG, avec à la fois la recherche de similarité par rapport à la question, et la soumission augmentée pour une réponse du LLM :</p>
-<div id="878ed90a" class="cell" data-execution_count="6">
+<div id="695e13e3" class="cell" data-execution_count="6">
 <div class="sourceCode cell-code" id="cb9"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb9-1"><a href="#cb9-1" aria-hidden="true" tabindex="-1"></a><span class="kw">def</span> search_and_invoke_llm(vector_store,index,query,k<span class="op">=</span><span class="dv">5</span>):</span>
 <span id="cb9-2"><a href="#cb9-2" aria-hidden="true" tabindex="-1"></a>    <span class="cf">if</span> k<span class="op">==</span><span class="dv">0</span>:</span>
 <span id="cb9-3"><a href="#cb9-3" aria-hidden="true" tabindex="-1"></a>        <span class="bu">print</span>(<span class="ss">f"bug with </span><span class="sc">{</span>index<span class="sc">}</span><span class="ss">"</span>)</span>
@@ -535,7 +535,7 @@ <h4 class="anchored" data-anchor-id="interroger-un-llm-en-mode-api">Interroger u
 <section id="automatiser-la-classification-sur-lensemble-des-thématiques" class="level4">
 <h4 class="anchored" data-anchor-id="automatiser-la-classification-sur-lensemble-des-thématiques">Automatiser la classification sur l’ensemble des thématiques</h4>
 <p>Nous automatisons ici la classification sous forme de classification binaire pour chaque thématique, en posant une question “oui ou non” et en inférant oui si la réponse commence par oui, non sinon.</p>
-<div id="b85c326f" class="cell" data-execution_count="7">
+<div id="2157fd91" class="cell" data-execution_count="7">
 <div class="sourceCode cell-code" id="cb10"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb10-1"><a href="#cb10-1" aria-hidden="true" tabindex="-1"></a>THEMATIQUES<span class="op">=</span>{</span>
 <span id="cb10-2"><a href="#cb10-2" aria-hidden="true" tabindex="-1"></a>    <span class="st">"accord_methode_penibilite"</span>:<span class="st">"Accords de méthode (pénibilité)"</span>,</span>
 <span id="cb10-3"><a href="#cb10-3" aria-hidden="true" tabindex="-1"></a><span class="st">"accord_methode_pse"</span>:<span class="st">"Accords de méthode (PSE)"</span>,</span>
@@ -626,7 +626,7 @@ <h4 class="anchored" data-anchor-id="automatiser-la-classification-sur-lensemble
 <section id="evaluation" class="level3">
 <h3 class="anchored" data-anchor-id="evaluation">Evaluation</h3>
 <p>Nous évaluons les performances de cette solution simple, en affichant la matrice de confusion et les différentes métriques, pour chaque thématique :</p>
-<div id="d4e5455e" class="cell" data-execution_count="8">
+<div id="d2ff4d54" class="cell" data-execution_count="8">
 <div class="sourceCode cell-code" id="cb11"><pre class="sourceCode python code-with-copy"><code class="sourceCode python"><span id="cb11-1"><a href="#cb11-1" aria-hidden="true" tabindex="-1"></a><span class="im">import</span> numpy <span class="im">as</span> np</span>
 <span id="cb11-2"><a href="#cb11-2" aria-hidden="true" tabindex="-1"></a><span class="im">from</span> sklearn.metrics <span class="im">import</span> confusion_matrix</span>
 <span id="cb11-3"><a href="#cb11-3" aria-hidden="true" tabindex="-1"></a><span class="im">from</span> sklearn.metrics <span class="im">import</span> accuracy_score, precision_score, recall_score, f1_score, classification_report</span>
diff --git a/search.json b/search.json
index a3e9d91..382f9a9 100644
--- a/search.json
+++ b/search.json
@@ -325,7 +325,7 @@
     "href": "II-Developpements/2_Utilisation_LLM.html",
     "title": "PARTIE II. Développements autour des LLMs (pour les data scientists)",
     "section": "",
-    "text": "Il faut avant tout garder à l’esprit que le prompt engineering est une discipline très empirique, qui demande beaucoup d’itérations pour obtenir le meilleur prompt par rapport au résultat souhaité. Bien qu’il n’existe pas de méthode systématique et efficace pour optimiser un prompt, certaines pratiques sont devenues la norme. Par exemple, voici quelques bonnes pratiques :\n\nDonner un rôle au modèle : Par exemple, dire au modèle qu’il est un magistrat honnête et impartial pourra l’aider à générer du texte formel, neutre et juridique. Le rôle est bien sûr à adapter en fonction des exigences de chaque tâche.\nStructurer le prompt : Il est important de bien différencier le prompt système du prompt utilisateur. Le premier donnera des instructions générales quant au style, à la tâche, au contexte, etc., alors que le second pourra donner des instructions spécifiques ou un texte à analyser. Il est également pertinent d’organiser ou de séparer clairement les instructions.\nEtre le plus précis possible :\nContraindre le modèle au maximum :\nDonner des exemples : Cf. paragraphe suivant.\n\nLe papier Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 donne un certains nombre de principes pour améliorer les prompts. Parmi ces principes (très nombreux), on trouve par exemple :\n\nNe pas etre poli avec le LLM si l’on souhaite une réponse concise.\nDécrire l’audience souhaitée dans le prompt (des experts techniques, des enfants, etc.).\nUtiliser des directives affirmatives (fais ceci), et éviter les tournures négatives (ne fais pas cela).\nEmployer des phrases telles que ‘Ta tache est de’ ou ‘Tu DOIS’.\nRépéter plusieurs fois certains mots ou phrases essentielles.\n\n\n\n\nLa façon la plus intuitive d’adresser une requête à un LLM est de formuler des instructions les plus précises possibles. Ce faisant, on espère que le modèle comprendra ces instructions et répondra en conséquence. Pour des tâches nouvelles, auxquelles le modèle n’a pas nécessairement été confronté durant son (pré)-entraînement, on appelle cette méthode du 0-shot prompting : le modèle n’a pas de référence ou d’exemple de réponse attendue.\nPour pallier ce manque de référence, il est possible (et, en fonction de la tâche, souvent recommandé) d’ajouter des exemples de paires entrée/sortie dans le prompt que l’on adresse au modèle : cela donne du 1-shot (un exemple) ou du few-shot (plusieurs exemples) prompting. Plus les exemples sont proches de la requête initiale, plus le modèle saura précisément comment répondre. Cela permet ainsi au modèle de s’adapter, à moindre coût, à une tâche très spécifique ou particulière.\n\nGuide pratique (avec exemples)\n\n\n\n\nSur certaines tâches qui demandent un raisonnement (par exemple la résolution d’un problème mathématique simple), les LLM naturellement ne sont pas très bons. Pour augmenter leurs capacités de raisonnement, une stratégie classique consiste à leur demander de raisonner et de réfléchir étape par étape.\nLes modèles les plus récents ayant nettement progressé en raisonnement, il est possible qu’ils raisonnent naturellement étape par étape sur des questions simples. Pour des questions ou des raisonnements plus complexes, il sera cependant probablement plus efficace de proposer une logique de raisonnement au modèle, en explicitant les différentes étapes.\nIl est également possible de combiner le CoT reasoning avec du few-shot prompting, i.e. de donner des exemples de raisonnement étape par étape au modèle.\n\nGuide détaillé\n\n\n\n\nUne façon de travailler ses prompts est de profiter des capacités génératives des LLMs pour leur faire créer des prompts. L’idée est de donner au LLM un exemple de sortie souhaitée, et de lui demander de générer le prompt le plus adapté possible pour produire cette sortie.\n\nGuide pratique\n\n\n\n\n\n\n\nLa première question à se poser est la nécessité ou non d’utiliser un LLM. Certaines tâches peuvent se résoudre avec un LLM, mais ce n’est pas toujours la solution la plus pertinente. Par exemple, un LLM est normalement capable de parser un fichier xml sans problème, mais un script naïf sera largement aussi efficace, à bien moindre coût (environnemental, humain, financier). L’utilisation d’un LLM doit venir d’un besoin de compréhension fine du langage naturel.\nDonner quelques exemples de cas d’usages\n\n\n\nBeaucoup d’éléments sont à prendre en compte lors du choix du modèle à utiliser. Parmi les plus importants :\n\nSa taille : Exprimée généralement en milliards (B) de paramètres (Llama-3 8B possède 8 milliards de paramètres, Mistral 7B en possède 7 milliards, etc.), elle influe fortement sur les performances du modèles et les exigences techniques. Un « petit » LLM de 8 milliards de paramètres pourra tourner sur un GPU modeste avec une VRAM de 32 GB (voire moins si l’on utilise un modèle quantifié, cf. …), tandis qu’un LLM de taille moyenne de 70 milliards de paramètres nécessitera 2 GPU puissants avec 80 GB de VRAM.\nSon multilinguisme : La plupart des modèles sont entraînés sur une immense majorité de données anglaises (plus de 90 % pour Llama-2, contre moins de 0,1 % de données françaises). Les modèles incluant plus de français (Mistral ?) dans leurs données d’entraînement sont naturellement plus efficaces sur du français.\nSon temps d’inférence : Généralement directement lié à la taille du modèle, certaines architectures (MoE) permettent cependant d’avoir un temps d’inférence plus court.\nSes performances générales : Beaucoup de benchmarks publics évaluent les LLMs sur des tâches généralistes et variées. Un bon point de départ est de regarder le Leaderboard qui recense la plupart des modèles connus.\nSes performances spécifiques : Les benchmarks généralistes ne sont pas forcément pertinents pour certains cas d’usages, car ils ne sont pas spécifiques à la tâche, aux données, etc. Il peut être intéressant de développer un pipeline d’évaluation spécifique (cf…).\n\nEn juin 2024, un bon point de départ est de regarder les modèles open-source de Meta (Llama-2 7B/13B/70B, Llama-3 8B/70B) et de Mistral AI (Mistral 7B, Mixtral 8x7B).\n\n\n\nSi vous êtes dans l’un des cas suivants, le prompt engineering peut être une bonne option :\n\nPas beaucoup de ressources disponibles\nBesoin d’un outil laissé à la disposition des utilisateurs, avec une grande liberté\nLes réponses requises sont très formattées ou très spécifiques\n\n\n\n\nSi vous êtes dans l’un des cas suivants, la RAG peut être une bonne option :\n\nBesoin de réponses à jour, régulièrement et facilement actualisées\nBesoin de sourcer les réponses ou de diminuer les hallucinations\nBesoin d’enrichir les réponses avec des données spécifiques\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nSi vous êtes dans l’un des cas suivants, le fine-tuning peut être une bonne option :\n\nBesoin d’une terminologie ou d’un style spécifique\nBesoin d’enrichir les réponses avec des données spécifiques\nRessources (GPU, data scientists) disponibles\nDonnées disponibles en quantité et qualité suffisantes\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nRAG + fine-tuning = RAFT",
+    "text": "Il faut avant tout garder à l’esprit que le prompt engineering est une discipline très empirique, qui demande beaucoup d’itérations pour obtenir le meilleur prompt par rapport au résultat souhaité. Bien qu’il n’existe pas de méthode systématique et efficace pour optimiser un prompt, certaines pratiques sont devenues la norme. Par exemple, voici quelques bonnes pratiques :\n\nDonner un rôle au modèle : Par exemple, dire au modèle qu’il est un magistrat honnête et impartial pourra l’aider à générer du texte formel, neutre et juridique. Le rôle est bien sûr à adapter en fonction des exigences de chaque tâche.\nStructurer le prompt : Il est important de bien différencier le prompt système du prompt utilisateur. Le premier donnera des instructions générales quant au style, à la tâche, au contexte, etc., alors que le second pourra donner des instructions spécifiques ou un texte à analyser. Il est également pertinent d’organiser ou de séparer clairement les instructions.\nEtre le plus précis possible : Rajouter le plus de détails possibles, voire se répéter dans les instructions en changeant de formulation permet de bien insister sur les éléments les plus importants.\nContraindre le modèle au maximum : Si l’on souhaite un format de sortie précis (JSON par exemple), donner un exemple concret de sortie attendue, et insister sur le besoin de se conformer à ce format.\nDonner des exemples : Cf. paragraphe suivant (few-shot prompting).\n\nLe papier Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 donne un certains nombre de principes pour améliorer les prompts. Parmi ces principes (très nombreux), on trouve par exemple :\n\nNe pas etre poli avec le LLM si l’on souhaite une réponse concise.\nDécrire l’audience souhaitée dans le prompt (des experts techniques, des enfants, etc.).\nUtiliser des directives affirmatives (fais ceci), et éviter les tournures négatives (ne fais pas cela).\nEmployer des phrases telles que ‘Ta tache est de’ ou ‘Tu DOIS’.\nRépéter plusieurs fois certains mots ou phrases essentielles.\n\n\n\n\nLa façon la plus intuitive d’adresser une requête à un LLM est de formuler des instructions les plus précises possibles. Ce faisant, on espère que le modèle comprendra ces instructions et répondra en conséquence. Pour des tâches nouvelles, auxquelles le modèle n’a pas nécessairement été confronté durant son (pré)-entraînement, on appelle cette méthode du 0-shot prompting : le modèle n’a pas de référence ou d’exemple de réponse attendue.\nPour pallier ce manque de référence, il est possible (et, en fonction de la tâche, souvent recommandé) d’ajouter des exemples de paires entrée/sortie dans le prompt que l’on adresse au modèle : cela donne du 1-shot (un exemple) ou du few-shot (plusieurs exemples) prompting. Plus les exemples sont proches de la requête initiale, plus le modèle saura précisément comment répondre. Cela permet ainsi au modèle de s’adapter, à moindre coût, à une tâche très spécifique ou particulière.\n\nGuide pratique (avec exemples)\n\n\n\n\nSur certaines tâches qui demandent un raisonnement (par exemple la résolution d’un problème mathématique simple), les LLM naturellement ne sont pas très bons. Pour augmenter leurs capacités de raisonnement, une stratégie classique consiste à leur demander de raisonner et de réfléchir étape par étape.\nLes modèles les plus récents ayant nettement progressé en raisonnement, il est possible qu’ils raisonnent naturellement étape par étape sur des questions simples. Pour des questions ou des raisonnements plus complexes, il sera cependant probablement plus efficace de proposer une logique de raisonnement au modèle, en explicitant les différentes étapes.\nIl est également possible de combiner le CoT reasoning avec du few-shot prompting, i.e. de donner des exemples de raisonnement étape par étape au modèle.\n\nGuide détaillé\n\n\n\n\nUne façon de travailler ses prompts est de profiter des capacités génératives des LLMs pour leur faire créer des prompts. L’idée est de donner au LLM un exemple de sortie souhaitée, et de lui demander de générer le prompt le plus adapté possible pour produire cette sortie.\n\nGuide pratique\n\n\n\n\n\n\n\nLa première question à se poser est la nécessité ou non d’utiliser un LLM. Certaines tâches peuvent se résoudre avec un LLM, mais ce n’est pas toujours la solution la plus pertinente. Par exemple, un LLM est normalement capable de parser un fichier xml sans problème, mais un script naïf sera largement aussi efficace, à bien moindre coût (environnemental, humain, financier). L’utilisation d’un LLM doit venir d’un besoin de compréhension fine du langage naturel.\n\n\n\nBeaucoup d’éléments sont à prendre en compte lors du choix du modèle à utiliser. Parmi les plus importants :\n\nSa taille : Exprimée généralement en milliards (B) de paramètres (Llama-3 8B possède 8 milliards de paramètres, Mistral 7B en possède 7 milliards, etc.), elle influe fortement sur les performances du modèles et les exigences techniques. Un « petit » LLM de 8 milliards de paramètres pourra tourner sur un GPU modeste avec une VRAM de 32 GB (voire moins si l’on utilise un modèle quantifié, cf. …), tandis qu’un LLM de taille moyenne de 70 milliards de paramètres nécessitera 2 GPU puissants avec 80 GB de VRAM.\nSon multilinguisme : La plupart des modèles sont entraînés sur une immense majorité de données anglaises (plus de 90 % pour Llama-2, contre moins de 0,1 % de données françaises). Les modèles incluant plus de français (Mistral ?) dans leurs données d’entraînement sont naturellement plus efficaces sur du français.\nSon temps d’inférence : Généralement directement lié à la taille du modèle, certaines architectures (MoE) permettent cependant d’avoir un temps d’inférence plus court.\nSes performances générales : Beaucoup de benchmarks publics évaluent les LLMs sur des tâches généralistes et variées. Un bon point de départ est de regarder le Leaderboard qui recense la plupart des modèles connus.\nSes performances spécifiques : Les benchmarks généralistes ne sont pas forcément pertinents pour certains cas d’usages, car ils ne sont pas spécifiques à la tâche, aux données, etc. Il peut être intéressant de développer un pipeline d’évaluation spécifique (cf…).\n\nEn juin 2024, un bon point de départ est de regarder les modèles open-source de Meta (Llama-2 7B/13B/70B, Llama-3 8B/70B) et de Mistral AI (Mistral 7B, Mixtral 8x7B).\n\n\n\nSi vous êtes dans l’un des cas suivants, le prompt engineering peut être une bonne option :\n\nPas beaucoup de ressources disponibles\nBesoin d’un outil laissé à la disposition des utilisateurs, avec une grande liberté\nLes réponses requises sont très formattées ou très spécifiques\n\n\n\n\nSi vous êtes dans l’un des cas suivants, la RAG peut être une bonne option :\n\nBesoin de réponses à jour, régulièrement et facilement actualisées\nBesoin de sourcer les réponses ou de diminuer les hallucinations\nBesoin d’enrichir les réponses avec des données spécifiques\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nSi vous êtes dans l’un des cas suivants, le fine-tuning peut être une bonne option :\n\nBesoin d’une terminologie ou d’un style spécifique\nBesoin d’enrichir les réponses avec des données spécifiques\nRessources (GPU, data scientists) disponibles\nDonnées disponibles en quantité et qualité suffisantes\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nIl est tout à fait possible de fine-tuner un LLM sur une tâche de RAG par exemple. Peu de travaux ont été faits sur cette combinaison, mais le papier RAFT (Retrieval Augmented Fine-Tuning) en donne une vision d’ensemble et en propose une méthode.",
     "crumbs": [
       "II-Développements",
       "Techniques d'utilisation d'un LLM"
@@ -336,7 +336,7 @@
     "href": "II-Developpements/2_Utilisation_LLM.html#techniques-dutilisation-dun-llm",
     "title": "PARTIE II. Développements autour des LLMs (pour les data scientists)",
     "section": "",
-    "text": "Il faut avant tout garder à l’esprit que le prompt engineering est une discipline très empirique, qui demande beaucoup d’itérations pour obtenir le meilleur prompt par rapport au résultat souhaité. Bien qu’il n’existe pas de méthode systématique et efficace pour optimiser un prompt, certaines pratiques sont devenues la norme. Par exemple, voici quelques bonnes pratiques :\n\nDonner un rôle au modèle : Par exemple, dire au modèle qu’il est un magistrat honnête et impartial pourra l’aider à générer du texte formel, neutre et juridique. Le rôle est bien sûr à adapter en fonction des exigences de chaque tâche.\nStructurer le prompt : Il est important de bien différencier le prompt système du prompt utilisateur. Le premier donnera des instructions générales quant au style, à la tâche, au contexte, etc., alors que le second pourra donner des instructions spécifiques ou un texte à analyser. Il est également pertinent d’organiser ou de séparer clairement les instructions.\nEtre le plus précis possible :\nContraindre le modèle au maximum :\nDonner des exemples : Cf. paragraphe suivant.\n\nLe papier Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 donne un certains nombre de principes pour améliorer les prompts. Parmi ces principes (très nombreux), on trouve par exemple :\n\nNe pas etre poli avec le LLM si l’on souhaite une réponse concise.\nDécrire l’audience souhaitée dans le prompt (des experts techniques, des enfants, etc.).\nUtiliser des directives affirmatives (fais ceci), et éviter les tournures négatives (ne fais pas cela).\nEmployer des phrases telles que ‘Ta tache est de’ ou ‘Tu DOIS’.\nRépéter plusieurs fois certains mots ou phrases essentielles.\n\n\n\n\nLa façon la plus intuitive d’adresser une requête à un LLM est de formuler des instructions les plus précises possibles. Ce faisant, on espère que le modèle comprendra ces instructions et répondra en conséquence. Pour des tâches nouvelles, auxquelles le modèle n’a pas nécessairement été confronté durant son (pré)-entraînement, on appelle cette méthode du 0-shot prompting : le modèle n’a pas de référence ou d’exemple de réponse attendue.\nPour pallier ce manque de référence, il est possible (et, en fonction de la tâche, souvent recommandé) d’ajouter des exemples de paires entrée/sortie dans le prompt que l’on adresse au modèle : cela donne du 1-shot (un exemple) ou du few-shot (plusieurs exemples) prompting. Plus les exemples sont proches de la requête initiale, plus le modèle saura précisément comment répondre. Cela permet ainsi au modèle de s’adapter, à moindre coût, à une tâche très spécifique ou particulière.\n\nGuide pratique (avec exemples)\n\n\n\n\nSur certaines tâches qui demandent un raisonnement (par exemple la résolution d’un problème mathématique simple), les LLM naturellement ne sont pas très bons. Pour augmenter leurs capacités de raisonnement, une stratégie classique consiste à leur demander de raisonner et de réfléchir étape par étape.\nLes modèles les plus récents ayant nettement progressé en raisonnement, il est possible qu’ils raisonnent naturellement étape par étape sur des questions simples. Pour des questions ou des raisonnements plus complexes, il sera cependant probablement plus efficace de proposer une logique de raisonnement au modèle, en explicitant les différentes étapes.\nIl est également possible de combiner le CoT reasoning avec du few-shot prompting, i.e. de donner des exemples de raisonnement étape par étape au modèle.\n\nGuide détaillé\n\n\n\n\nUne façon de travailler ses prompts est de profiter des capacités génératives des LLMs pour leur faire créer des prompts. L’idée est de donner au LLM un exemple de sortie souhaitée, et de lui demander de générer le prompt le plus adapté possible pour produire cette sortie.\n\nGuide pratique\n\n\n\n\n\n\n\nLa première question à se poser est la nécessité ou non d’utiliser un LLM. Certaines tâches peuvent se résoudre avec un LLM, mais ce n’est pas toujours la solution la plus pertinente. Par exemple, un LLM est normalement capable de parser un fichier xml sans problème, mais un script naïf sera largement aussi efficace, à bien moindre coût (environnemental, humain, financier). L’utilisation d’un LLM doit venir d’un besoin de compréhension fine du langage naturel.\nDonner quelques exemples de cas d’usages\n\n\n\nBeaucoup d’éléments sont à prendre en compte lors du choix du modèle à utiliser. Parmi les plus importants :\n\nSa taille : Exprimée généralement en milliards (B) de paramètres (Llama-3 8B possède 8 milliards de paramètres, Mistral 7B en possède 7 milliards, etc.), elle influe fortement sur les performances du modèles et les exigences techniques. Un « petit » LLM de 8 milliards de paramètres pourra tourner sur un GPU modeste avec une VRAM de 32 GB (voire moins si l’on utilise un modèle quantifié, cf. …), tandis qu’un LLM de taille moyenne de 70 milliards de paramètres nécessitera 2 GPU puissants avec 80 GB de VRAM.\nSon multilinguisme : La plupart des modèles sont entraînés sur une immense majorité de données anglaises (plus de 90 % pour Llama-2, contre moins de 0,1 % de données françaises). Les modèles incluant plus de français (Mistral ?) dans leurs données d’entraînement sont naturellement plus efficaces sur du français.\nSon temps d’inférence : Généralement directement lié à la taille du modèle, certaines architectures (MoE) permettent cependant d’avoir un temps d’inférence plus court.\nSes performances générales : Beaucoup de benchmarks publics évaluent les LLMs sur des tâches généralistes et variées. Un bon point de départ est de regarder le Leaderboard qui recense la plupart des modèles connus.\nSes performances spécifiques : Les benchmarks généralistes ne sont pas forcément pertinents pour certains cas d’usages, car ils ne sont pas spécifiques à la tâche, aux données, etc. Il peut être intéressant de développer un pipeline d’évaluation spécifique (cf…).\n\nEn juin 2024, un bon point de départ est de regarder les modèles open-source de Meta (Llama-2 7B/13B/70B, Llama-3 8B/70B) et de Mistral AI (Mistral 7B, Mixtral 8x7B).\n\n\n\nSi vous êtes dans l’un des cas suivants, le prompt engineering peut être une bonne option :\n\nPas beaucoup de ressources disponibles\nBesoin d’un outil laissé à la disposition des utilisateurs, avec une grande liberté\nLes réponses requises sont très formattées ou très spécifiques\n\n\n\n\nSi vous êtes dans l’un des cas suivants, la RAG peut être une bonne option :\n\nBesoin de réponses à jour, régulièrement et facilement actualisées\nBesoin de sourcer les réponses ou de diminuer les hallucinations\nBesoin d’enrichir les réponses avec des données spécifiques\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nSi vous êtes dans l’un des cas suivants, le fine-tuning peut être une bonne option :\n\nBesoin d’une terminologie ou d’un style spécifique\nBesoin d’enrichir les réponses avec des données spécifiques\nRessources (GPU, data scientists) disponibles\nDonnées disponibles en quantité et qualité suffisantes\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nRAG + fine-tuning = RAFT",
+    "text": "Il faut avant tout garder à l’esprit que le prompt engineering est une discipline très empirique, qui demande beaucoup d’itérations pour obtenir le meilleur prompt par rapport au résultat souhaité. Bien qu’il n’existe pas de méthode systématique et efficace pour optimiser un prompt, certaines pratiques sont devenues la norme. Par exemple, voici quelques bonnes pratiques :\n\nDonner un rôle au modèle : Par exemple, dire au modèle qu’il est un magistrat honnête et impartial pourra l’aider à générer du texte formel, neutre et juridique. Le rôle est bien sûr à adapter en fonction des exigences de chaque tâche.\nStructurer le prompt : Il est important de bien différencier le prompt système du prompt utilisateur. Le premier donnera des instructions générales quant au style, à la tâche, au contexte, etc., alors que le second pourra donner des instructions spécifiques ou un texte à analyser. Il est également pertinent d’organiser ou de séparer clairement les instructions.\nEtre le plus précis possible : Rajouter le plus de détails possibles, voire se répéter dans les instructions en changeant de formulation permet de bien insister sur les éléments les plus importants.\nContraindre le modèle au maximum : Si l’on souhaite un format de sortie précis (JSON par exemple), donner un exemple concret de sortie attendue, et insister sur le besoin de se conformer à ce format.\nDonner des exemples : Cf. paragraphe suivant (few-shot prompting).\n\nLe papier Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 donne un certains nombre de principes pour améliorer les prompts. Parmi ces principes (très nombreux), on trouve par exemple :\n\nNe pas etre poli avec le LLM si l’on souhaite une réponse concise.\nDécrire l’audience souhaitée dans le prompt (des experts techniques, des enfants, etc.).\nUtiliser des directives affirmatives (fais ceci), et éviter les tournures négatives (ne fais pas cela).\nEmployer des phrases telles que ‘Ta tache est de’ ou ‘Tu DOIS’.\nRépéter plusieurs fois certains mots ou phrases essentielles.\n\n\n\n\nLa façon la plus intuitive d’adresser une requête à un LLM est de formuler des instructions les plus précises possibles. Ce faisant, on espère que le modèle comprendra ces instructions et répondra en conséquence. Pour des tâches nouvelles, auxquelles le modèle n’a pas nécessairement été confronté durant son (pré)-entraînement, on appelle cette méthode du 0-shot prompting : le modèle n’a pas de référence ou d’exemple de réponse attendue.\nPour pallier ce manque de référence, il est possible (et, en fonction de la tâche, souvent recommandé) d’ajouter des exemples de paires entrée/sortie dans le prompt que l’on adresse au modèle : cela donne du 1-shot (un exemple) ou du few-shot (plusieurs exemples) prompting. Plus les exemples sont proches de la requête initiale, plus le modèle saura précisément comment répondre. Cela permet ainsi au modèle de s’adapter, à moindre coût, à une tâche très spécifique ou particulière.\n\nGuide pratique (avec exemples)\n\n\n\n\nSur certaines tâches qui demandent un raisonnement (par exemple la résolution d’un problème mathématique simple), les LLM naturellement ne sont pas très bons. Pour augmenter leurs capacités de raisonnement, une stratégie classique consiste à leur demander de raisonner et de réfléchir étape par étape.\nLes modèles les plus récents ayant nettement progressé en raisonnement, il est possible qu’ils raisonnent naturellement étape par étape sur des questions simples. Pour des questions ou des raisonnements plus complexes, il sera cependant probablement plus efficace de proposer une logique de raisonnement au modèle, en explicitant les différentes étapes.\nIl est également possible de combiner le CoT reasoning avec du few-shot prompting, i.e. de donner des exemples de raisonnement étape par étape au modèle.\n\nGuide détaillé\n\n\n\n\nUne façon de travailler ses prompts est de profiter des capacités génératives des LLMs pour leur faire créer des prompts. L’idée est de donner au LLM un exemple de sortie souhaitée, et de lui demander de générer le prompt le plus adapté possible pour produire cette sortie.\n\nGuide pratique\n\n\n\n\n\n\n\nLa première question à se poser est la nécessité ou non d’utiliser un LLM. Certaines tâches peuvent se résoudre avec un LLM, mais ce n’est pas toujours la solution la plus pertinente. Par exemple, un LLM est normalement capable de parser un fichier xml sans problème, mais un script naïf sera largement aussi efficace, à bien moindre coût (environnemental, humain, financier). L’utilisation d’un LLM doit venir d’un besoin de compréhension fine du langage naturel.\n\n\n\nBeaucoup d’éléments sont à prendre en compte lors du choix du modèle à utiliser. Parmi les plus importants :\n\nSa taille : Exprimée généralement en milliards (B) de paramètres (Llama-3 8B possède 8 milliards de paramètres, Mistral 7B en possède 7 milliards, etc.), elle influe fortement sur les performances du modèles et les exigences techniques. Un « petit » LLM de 8 milliards de paramètres pourra tourner sur un GPU modeste avec une VRAM de 32 GB (voire moins si l’on utilise un modèle quantifié, cf. …), tandis qu’un LLM de taille moyenne de 70 milliards de paramètres nécessitera 2 GPU puissants avec 80 GB de VRAM.\nSon multilinguisme : La plupart des modèles sont entraînés sur une immense majorité de données anglaises (plus de 90 % pour Llama-2, contre moins de 0,1 % de données françaises). Les modèles incluant plus de français (Mistral ?) dans leurs données d’entraînement sont naturellement plus efficaces sur du français.\nSon temps d’inférence : Généralement directement lié à la taille du modèle, certaines architectures (MoE) permettent cependant d’avoir un temps d’inférence plus court.\nSes performances générales : Beaucoup de benchmarks publics évaluent les LLMs sur des tâches généralistes et variées. Un bon point de départ est de regarder le Leaderboard qui recense la plupart des modèles connus.\nSes performances spécifiques : Les benchmarks généralistes ne sont pas forcément pertinents pour certains cas d’usages, car ils ne sont pas spécifiques à la tâche, aux données, etc. Il peut être intéressant de développer un pipeline d’évaluation spécifique (cf…).\n\nEn juin 2024, un bon point de départ est de regarder les modèles open-source de Meta (Llama-2 7B/13B/70B, Llama-3 8B/70B) et de Mistral AI (Mistral 7B, Mixtral 8x7B).\n\n\n\nSi vous êtes dans l’un des cas suivants, le prompt engineering peut être une bonne option :\n\nPas beaucoup de ressources disponibles\nBesoin d’un outil laissé à la disposition des utilisateurs, avec une grande liberté\nLes réponses requises sont très formattées ou très spécifiques\n\n\n\n\nSi vous êtes dans l’un des cas suivants, la RAG peut être une bonne option :\n\nBesoin de réponses à jour, régulièrement et facilement actualisées\nBesoin de sourcer les réponses ou de diminuer les hallucinations\nBesoin d’enrichir les réponses avec des données spécifiques\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nSi vous êtes dans l’un des cas suivants, le fine-tuning peut être une bonne option :\n\nBesoin d’une terminologie ou d’un style spécifique\nBesoin d’enrichir les réponses avec des données spécifiques\nRessources (GPU, data scientists) disponibles\nDonnées disponibles en quantité et qualité suffisantes\nBesoin d’une application qui ne dépend pas d’un modèle spécifique (généralisabilité), et dont les utilisateurs ne connaissent pas l’IA générative\n\n\n\n\nIl est tout à fait possible de fine-tuner un LLM sur une tâche de RAG par exemple. Peu de travaux ont été faits sur cette combinaison, mais le papier RAFT (Retrieval Augmented Fine-Tuning) en donne une vision d’ensemble et en propose une méthode.",
     "crumbs": [
       "II-Développements",
       "Techniques d'utilisation d'un LLM"
diff --git a/sitemap.xml b/sitemap.xml
index d3d914c..9c478af 100644
--- a/sitemap.xml
+++ b/sitemap.xml
@@ -2,78 +2,78 @@
 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/IV-Exemples/2_Classification_accords_entreprise.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/4_Impacts.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/2_Deja_Fait_Admin.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/4_Evaluations.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/0_Introduction.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/3_RAG.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/notebooks/10p_RAG_OLLAMA.html</loc>
-    <lastmod>2024-11-07T14:42:26.067Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.103Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/1_Socle_minimal.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/3_Socle_Production.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/Reste_a_faire.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.091Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/2_Socle_avance.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/4_Infras_administrations.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/Bibliographie.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/notebooks/autres/parse_llama31_results.html</loc>
-    <lastmod>2024-11-07T14:42:26.067Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.103Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/1_Anatomie_LLM.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/2_Utilisation_LLM.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/index.html</loc>
-    <lastmod>2024-11-07T14:42:26.067Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.103Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/1_cas_usage.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/3_Acculturation.html</loc>
-    <lastmod>2024-11-07T14:42:26.051Z</lastmod>
+    <lastmod>2024-11-07T14:47:48.087Z</lastmod>
   </url>
 </urlset>