From 914dc3abca011d7e429f49c6b6fa7b4de572e7db Mon Sep 17 00:00:00 2001 From: tdurouchoux <39222414+tdurouchoux@users.noreply.github.com> Date: Thu, 20 Jun 2024 16:12:02 +0200 Subject: [PATCH 1/3] init 4_Infras_administrations.qmd --- III-Deploiements/4_Infras_administrations.qmd | 67 ++++++++++++++++--- 1 file changed, 57 insertions(+), 10 deletions(-) diff --git a/III-Deploiements/4_Infras_administrations.qmd b/III-Deploiements/4_Infras_administrations.qmd index f3085db..af16e58 100644 --- a/III-Deploiements/4_Infras_administrations.qmd +++ b/III-Deploiements/4_Infras_administrations.qmd @@ -1,13 +1,60 @@ -# Guide du LLM -### PARTIE III. Deploiements +# PARTIE III. Deploiements -### 4. Infras dispos pour l’administration (Thibault Katia) +## 4. Infras dispos pour l’administration (Thibault Katia) - SSP Cloud (Onyxia) - - Cloud PI - - Clouds privés (SECNUMCLOUD, Sens?) - - (NuboNyxia à terme) +Dans beaucoup de cas l'infrastructure est un des principaux freins à la mise en production d'un cas d'usage d'IA générative. L'acquisition d'un cluster GPUs n'est pas toujours une possibilité pour des questions budgétaires ou techniques. Cependant, plusieurs solutions sont disponibles (ou en cours de construction) à destination des administrations pour externaliser cette infrastructure. + +Cette approche est d'ailleurs en phase avec la directive ["cloud au centre"](https://www.legifrance.gouv.fr/download/pdf/circ?id=45446) qui encourage l'utilisation d'infrastructure externalisée pour les projets informatiques de l'administration. + +Dans ce cadre, la principale variable a prendre en compte est les contraintes de sécurité de l'application. Cette question va à la fois déterminer les solutions accessibles et imposer des choix architecturaux. Un guide a été publié par l'Anssi sur le sujet en avril 2024 : [RECOMMANDATIONS DE SÉCURITÉ +POUR UN SYSTÈME D'IA GÉNÉRATIVE](https://cyber.gouv.fr/sites/default/files/document/Recommandations_de_s%C3%A9curit%C3%A9_pour_un_syst%C3%A8me_d_IA_g%C3%A9n%C3%A9rative.pdf) + +3 principales solutions sont possibles : +- ![Cloud Public](#cloud-public) +- ![Cloud externe](#cloud-externe) +- ![API inférence](#api-inference) + + +### A. Cloud Public + +Bien que l'état dispose de plusieurs offres cloud internes, la mise à disposition de GPU est encore très peu mature et peu développée + +1. [SSP Cloud](https://datalab.sspcloud.fr/?lang=fr) + +A ce jour, le SSP Cloud via sa plateforme ONYXIA, est la principale plateforme publique mettant à disposition des GPUs à ces utilisateurs. Les ressources sont cependant très limitées et la plateforme est plus orientée autour du développement de projet que de la mise en production. + +# TODO Enrichir ce paragraphe avec des RETEX sur l'utilisation de container avec GPU + +2. Cloud PI + +Cloud PI est le cloud du ministère de l'intérieur + +# TODO Obtenir des infos sur la disponibilté éventuelle de GPU dans PI ? + +3. Nubo + +Via Nubonyxia + +# TODO Roadmap du Bercyhub sur ce sujet ? + +### B. Cloud externe + +La qualificiation [SecNumCloud](https://cyber.gouv.fr/secnumcloud-pour-les-fournisseurs-de-services-cloud) a été mis en place par l'ANSSI pour assurer des normes de sécurité aux utilisateurs de produits cloud. A ce jour, peu d'entreprises ont acquis cette qualification + +1. [Dassault - Outscale](https://fr.outscale.com/) **IAAS** +2. [Thales - Sens](https://www.s3ns.io/) (Implémentation de GCP sur une infrastructure sécurisée) **PAAS** +3. [Cloud Temple](https://www.cloud-temple.com/) **IAAS ?** +4. ... + +### C. API inférence + +1. Public : Albert API + +2. Externe non sécurisée : + +- [Mistral API](https://mistral.ai/fr/) +- [Hugging face - inference endpoint](https://huggingface.co/inference-endpoints/dedicated) +- [Groq](https://wow.groq.com/why-groq/) + +Permet de simplifier From 85fbfc06e03290d3ac26083f68fa6c949b852157 Mon Sep 17 00:00:00 2001 From: tdurouchoux <39222414+tdurouchoux@users.noreply.github.com> Date: Thu, 20 Jun 2024 16:24:54 +0200 Subject: [PATCH 2/3] Update 2_Deja_Fait_Admin.qmd --- I-Accompagnement/2_Deja_Fait_Admin.qmd | 19 ++++++++++++++++--- 1 file changed, 16 insertions(+), 3 deletions(-) diff --git a/I-Accompagnement/2_Deja_Fait_Admin.qmd b/I-Accompagnement/2_Deja_Fait_Admin.qmd index 450a9ea..121b256 100644 --- a/I-Accompagnement/2_Deja_Fait_Admin.qmd +++ b/I-Accompagnement/2_Deja_Fait_Admin.qmd @@ -4,10 +4,23 @@ ### 2. Ce qui est déjà fait ou expérimenté dans l’administration (Johnny Hélène Thibault) - cas d’usage +### A. Cas d’usage * Dans une enquête incluant un champ « Commentaire », celui-ci peut être analysé par des LLMs afin d’identifier les thématiques saillantes exprimées dans ce champ. Ensuite, pour chacune de ces thématiques, les LLMs peuvent être utilisés pour dégager le sentiment prédominant (ex : positif, négatif, neutre) associé à chacune d’entre elles. In fine, grâce aux LLMs, le champ « Commentaire » peut ainsi être divisé en un nombre N de thématiques, et, pour chacune de ces thématiques, un contenu peut être généré afin de faire ressortir le sentiment majoritaire des répondants à l’enquête. - - des infras + +* [Albert France Services](https://www.france-services.gouv.fr/taxonomy/term/174#:~:text=%C2%AB%20Albert%20France%20services%20%C2%BB%20facilite%20les,des%20cas%20d%27usage%20donn%C3%A9s.) + +* Albert Tchap ? + +* [LLamandement](https://gitlab.adullact.net/dgfip/projets-ia/llamandement) + +### B. Modèles + +[Albert github](https://github.com/etalab-ia/albert) +[Albert github](https://github.com/etalab-ia/albert) + +### C. Datasets + +### D. Infrastructure des modeles des datasets/open data ? From ee46dadf9303cae4692ab2e9929576589e52bdff Mon Sep 17 00:00:00 2001 From: tdurouchoux <39222414+tdurouchoux@users.noreply.github.com> Date: Thu, 20 Jun 2024 16:26:55 +0200 Subject: [PATCH 3/3] Update 2_Deja_Fait_Admin.qmd --- I-Accompagnement/2_Deja_Fait_Admin.qmd | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/I-Accompagnement/2_Deja_Fait_Admin.qmd b/I-Accompagnement/2_Deja_Fait_Admin.qmd index 121b256..aa5a228 100644 --- a/I-Accompagnement/2_Deja_Fait_Admin.qmd +++ b/I-Accompagnement/2_Deja_Fait_Admin.qmd @@ -16,7 +16,7 @@ ### B. Modèles [Albert github](https://github.com/etalab-ia/albert) -[Albert github](https://github.com/etalab-ia/albert) +[Albert hugging face]() ### C. Datasets