Built site for gh-pages

.nojekyll

@@ -1 +1 @@
-6ef6587f
+bd8abe69

III-Deploiements/4_Infras_administrations.html

@@ -256,15 +256,11 @@ <h2 id="toc-title">On this page</h2>
   <li><a href="#infras-dispos-pour-ladministration-thibault-katia" id="toc-infras-dispos-pour-ladministration-thibault-katia" class="nav-link" data-scroll-target="#infras-dispos-pour-ladministration-thibault-katia">4. Infras dispos pour l’administration (Thibault Katia)</a>
   <ul class="collapse">
   <li><a href="#a.-cloud-public" id="toc-a.-cloud-public" class="nav-link" data-scroll-target="#a.-cloud-public">A. Cloud Public</a></li>
-  </ul></li>
-  </ul></li>
-  <li><a href="#todo-obtenir-des-infos-sur-la-disponibilté-éventuelle-de-gpu-dans-pi" id="toc-todo-obtenir-des-infos-sur-la-disponibilté-éventuelle-de-gpu-dans-pi" class="nav-link" data-scroll-target="#todo-obtenir-des-infos-sur-la-disponibilté-éventuelle-de-gpu-dans-pi">TODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ?</a></li>
-  <li><a href="#todo-roadmap-du-bercyhub-sur-ce-sujet" id="toc-todo-roadmap-du-bercyhub-sur-ce-sujet" class="nav-link" data-scroll-target="#todo-roadmap-du-bercyhub-sur-ce-sujet">TODO Roadmap du Bercyhub sur ce sujet ?</a>
-  <ul class="collapse">
   <li><a href="#b.-cloud-externe" id="toc-b.-cloud-externe" class="nav-link" data-scroll-target="#b.-cloud-externe">B. Cloud externe</a></li>
   <li><a href="#c.-api-inférence" id="toc-c.-api-inférence" class="nav-link" data-scroll-target="#c.-api-inférence">C. API inférence</a></li>
   <li><a href="#déploiement-dun-llm-sur-ssp-cloud" id="toc-déploiement-dun-llm-sur-ssp-cloud" class="nav-link" data-scroll-target="#déploiement-dun-llm-sur-ssp-cloud">5. Déploiement d’un LLM sur SSP Cloud</a></li>
   </ul></li>
+  </ul></li>
   </ul>
 </nav>
     </div>
@@ -281,31 +277,30 @@ <h2 class="anchored" data-anchor-id="infras-dispos-pour-ladministration-thibault
 <p>Dans beaucoup de cas l’infrastructure est un des principaux freins à la mise en production d’un cas d’usage d’IA générative. L’acquisition d’un cluster GPUs n’est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure.</p>
 <p>Cette approche est d’ailleurs en phase avec la directive <a href="https://www.legifrance.gouv.fr/download/pdf/circ?id=45446">“cloud au centre”</a> qui encourage l’utilisation d’infrastructure externalisée pour les projets informatiques de l’administration.</p>
 <p>Dans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l’application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l’Anssi sur le sujet en avril 2024 : <a href="https://cyber.gouv.fr/sites/default/files/document/Recommandations_de_s%C3%A9curit%C3%A9_pour_un_syst%C3%A8me_d_IA_g%C3%A9n%C3%A9rative.pdf">RECOMMANDATIONS DE SÉCURITÉ POUR UN SYSTÈME D’IA GÉNÉRATIVE</a></p>
-<p>3 principales solutions sont possibles : - <img src="#cloud-public.png" class="img-fluid" alt="Cloud Public"> - <img src="#cloud-externe.png" class="img-fluid" alt="Cloud externe"> - <img src="#api-inference.png" class="img-fluid" alt="API inférence"></p>
+<p>3 principales solutions sont possibles : - <a href="#cloud-public">Cloud Public</a> - <a href="#cloud-externe">Cloud externe</a> - <a href="#api-inference">API inférence</a></p>
 <section id="a.-cloud-public" class="level3">
 <h3 class="anchored" data-anchor-id="a.-cloud-public">A. Cloud Public</h3>
 <p>Bien que l’état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée</p>
 <ol type="1">
 <li><a href="https://datalab.sspcloud.fr/?lang=fr">SSP Cloud</a></li>
 </ol>
 <p>A ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production.</p>
-<p>cf <img src="#Déploiement%20d'un%20LLM%20sur%20SSP%20Cloud.png" class="img-fluid" alt="Déploiement d’un LLM sur SSP Cloud"></p>
+<p>cf <a href="#Déploiement%20d'un%20LLM%20sur%20SSP%20Cloud">Déploiement d’un LLM sur SSP Cloud</a></p>
 <ol start="2" type="1">
 <li>Cloud PI</li>
 </ol>
 <p>Cloud PI est le cloud du ministère de l’intérieur</p>
-</section>
-</section>
-</section>
-<section id="todo-obtenir-des-infos-sur-la-disponibilté-éventuelle-de-gpu-dans-pi" class="level1">
-<h1>TODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ?</h1>
+<blockquote class="blockquote">
+<p>TODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ?</p>
+</blockquote>
 <ol start="3" type="1">
 <li>Nubo</li>
 </ol>
 <p>Via Nubonyxia</p>
+<blockquote class="blockquote">
+<p>TODO Roadmap du Bercyhub sur ce sujet ?</p>
+</blockquote>
 </section>
-<section id="todo-roadmap-du-bercyhub-sur-ce-sujet" class="level1">
-<h1>TODO Roadmap du Bercyhub sur ce sujet ?</h1>
 <section id="b.-cloud-externe" class="level3">
 <h3 class="anchored" data-anchor-id="b.-cloud-externe">B. Cloud externe</h3>
 <p>La qualificiation <a href="https://cyber.gouv.fr/secnumcloud-pour-les-fournisseurs-de-services-cloud">SecNumCloud</a> a été mis en place par l’ANSSI pour assurer des normes de sécurité aux utilisateurs de produits cloud. A ce jour, peu d’entreprises ont acquis cette qualification</p>
@@ -352,6 +347,7 @@ <h4 class="anchored" data-anchor-id="b.-déploiement-par-image-docker">B. Déplo
 </section>
 </section>
 </section>
+</section>
 
 </main> <!-- /main -->
 <script id="quarto-html-after-body" type="application/javascript">

search.json

@@ -4,7 +4,7 @@
     "href": "III-Deploiements/4_Infras_administrations.html",
     "title": "PARTIE III. Deploiements",
     "section": "",
-    "text": "Dans beaucoup de cas l’infrastructure est un des principaux freins à la mise en production d’un cas d’usage d’IA générative. L’acquisition d’un cluster GPUs n’est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure.\nCette approche est d’ailleurs en phase avec la directive “cloud au centre” qui encourage l’utilisation d’infrastructure externalisée pour les projets informatiques de l’administration.\nDans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l’application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l’Anssi sur le sujet en avril 2024 : RECOMMANDATIONS DE SÉCURITÉ POUR UN SYSTÈME D’IA GÉNÉRATIVE\n3 principales solutions sont possibles : -  -  - \n\n\nBien que l’état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée\n\nSSP Cloud\n\nA ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production.\ncf \n\nCloud PI\n\nCloud PI est le cloud du ministère de l’intérieur",
+    "text": "Dans beaucoup de cas l’infrastructure est un des principaux freins à la mise en production d’un cas d’usage d’IA générative. L’acquisition d’un cluster GPUs n’est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure.\nCette approche est d’ailleurs en phase avec la directive “cloud au centre” qui encourage l’utilisation d’infrastructure externalisée pour les projets informatiques de l’administration.\nDans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l’application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l’Anssi sur le sujet en avril 2024 : RECOMMANDATIONS DE SÉCURITÉ POUR UN SYSTÈME D’IA GÉNÉRATIVE\n3 principales solutions sont possibles : - Cloud Public - Cloud externe - API inférence\n\n\nBien que l’état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée\n\nSSP Cloud\n\nA ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production.\ncf Déploiement d’un LLM sur SSP Cloud\n\nCloud PI\n\nCloud PI est le cloud du ministère de l’intérieur\n\nTODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ?\n\n\nNubo\n\nVia Nubonyxia\n\nTODO Roadmap du Bercyhub sur ce sujet ?\n\n\n\n\nLa qualificiation SecNumCloud a été mis en place par l’ANSSI pour assurer des normes de sécurité aux utilisateurs de produits cloud. A ce jour, peu d’entreprises ont acquis cette qualification\n\nDassault - Outscale IAAS\nThales - Sens (Implémentation de GCP sur une infrastructure sécurisée) PAAS\nCloud Temple IAAS ?\n…\n\n\n\n\n\nPublic : Albert API\nExterne non sécurisée :\n\n\nMistral API\nHugging face - inference endpoint\nGroq\n\n\n\n\nSur le DataLab SSP Cloud, il est possible de déployer des LLM à des fins d’expérimentation. Plusieurs cas sont possibles :\nA. Utiliser des librairies d’API de LLM (vLLM, etc.) B. Déployer des containers Docker avec Kube et Helm\n\n\n\nVous pouvez lancer un service VSCode avec une GPU et installer une API de LLM\n\n\n\n\n\nCréer une image Docker et la mettre à disposition (Dockerhub) : exemple applicatif avec Streamlit\nDéployer avec Kube et Helm en utilisant un service VSCode avec les droits d’admin pour Kube\n\nExemple avec Kube :\nkubectl create deployment mon-deploiement --image=mon-image-docker\nkubectl proxy",
     "crumbs": [
       "III-Deploiements",
       "Infrastructures dans l'administration"
@@ -15,7 +15,7 @@
     "href": "III-Deploiements/4_Infras_administrations.html#infras-dispos-pour-ladministration-thibault-katia",
     "title": "PARTIE III. Deploiements",
     "section": "",
-    "text": "Dans beaucoup de cas l’infrastructure est un des principaux freins à la mise en production d’un cas d’usage d’IA générative. L’acquisition d’un cluster GPUs n’est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure.\nCette approche est d’ailleurs en phase avec la directive “cloud au centre” qui encourage l’utilisation d’infrastructure externalisée pour les projets informatiques de l’administration.\nDans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l’application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l’Anssi sur le sujet en avril 2024 : RECOMMANDATIONS DE SÉCURITÉ POUR UN SYSTÈME D’IA GÉNÉRATIVE\n3 principales solutions sont possibles : -  -  - \n\n\nBien que l’état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée\n\nSSP Cloud\n\nA ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production.\ncf \n\nCloud PI\n\nCloud PI est le cloud du ministère de l’intérieur",
+    "text": "Dans beaucoup de cas l’infrastructure est un des principaux freins à la mise en production d’un cas d’usage d’IA générative. L’acquisition d’un cluster GPUs n’est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure.\nCette approche est d’ailleurs en phase avec la directive “cloud au centre” qui encourage l’utilisation d’infrastructure externalisée pour les projets informatiques de l’administration.\nDans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l’application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l’Anssi sur le sujet en avril 2024 : RECOMMANDATIONS DE SÉCURITÉ POUR UN SYSTÈME D’IA GÉNÉRATIVE\n3 principales solutions sont possibles : - Cloud Public - Cloud externe - API inférence\n\n\nBien que l’état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée\n\nSSP Cloud\n\nA ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production.\ncf Déploiement d’un LLM sur SSP Cloud\n\nCloud PI\n\nCloud PI est le cloud du ministère de l’intérieur\n\nTODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ?\n\n\nNubo\n\nVia Nubonyxia\n\nTODO Roadmap du Bercyhub sur ce sujet ?\n\n\n\n\nLa qualificiation SecNumCloud a été mis en place par l’ANSSI pour assurer des normes de sécurité aux utilisateurs de produits cloud. A ce jour, peu d’entreprises ont acquis cette qualification\n\nDassault - Outscale IAAS\nThales - Sens (Implémentation de GCP sur une infrastructure sécurisée) PAAS\nCloud Temple IAAS ?\n…\n\n\n\n\n\nPublic : Albert API\nExterne non sécurisée :\n\n\nMistral API\nHugging face - inference endpoint\nGroq\n\n\n\n\nSur le DataLab SSP Cloud, il est possible de déployer des LLM à des fins d’expérimentation. Plusieurs cas sont possibles :\nA. Utiliser des librairies d’API de LLM (vLLM, etc.) B. Déployer des containers Docker avec Kube et Helm\n\n\n\nVous pouvez lancer un service VSCode avec une GPU et installer une API de LLM\n\n\n\n\n\nCréer une image Docker et la mettre à disposition (Dockerhub) : exemple applicatif avec Streamlit\nDéployer avec Kube et Helm en utilisant un service VSCode avec les droits d’admin pour Kube\n\nExemple avec Kube :\nkubectl create deployment mon-deploiement --image=mon-image-docker\nkubectl proxy",
     "crumbs": [
       "III-Deploiements",
       "Infrastructures dans l'administration"

sitemap.xml

@@ -2,50 +2,50 @@
 <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/4_Infras_administrations.html</loc>
-    <lastmod>2024-06-20T14:46:30.211Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.911Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/2_Socle_avance.html</loc>
-    <lastmod>2024-06-20T14:46:30.211Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.911Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/3_Evaluations.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.911Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/2_RAG.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/4_Impacts.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/3_Acculturation.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/Guide.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/1_Besoins.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/I-Accompagnement/2_Deja_Fait_Admin.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/II-Developpements/1_Revue_Technique_LLM.html</loc>
-    <lastmod>2024-06-20T14:46:30.207Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.907Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/3_Socle_Production.html</loc>
-    <lastmod>2024-06-20T14:46:30.211Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.911Z</lastmod>
   </url>
   <url>
     <loc>https://etalab.github.io/programme10pourcent-kallm/III-Deploiements/1_Socle_minimal.html</loc>
-    <lastmod>2024-06-20T14:46:30.211Z</lastmod>
+    <lastmod>2024-06-20T14:55:21.911Z</lastmod>
   </url>
 </urlset>