coronavirus.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/home/mfu/Documents/Projets/coronavirus\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "('data/sources/niveaux-exces-mortalite-covid19-reg.csv',\n",
       " <http.client.HTTPMessage at 0x7f7dc2f2b5d0>)"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "%cd /home/mfu/Documents/Projets/coronavirus\n",
    "\n",
    "\"\"\"\n",
    "CoronaVirus (Covid19) - Evolution par pays et dans le monde (maj quotidienne)\n",
    "\n",
    "Ces données sont utilisées afin d'afficher les tableaux et graphiques \n",
    "sur le site dédié au CoronaVirus (Covid19) de Politologue.com\n",
    "\n",
    "Lien vers les données : https://coronavirus.politologue.com/\n",
    "\"\"\"\n",
    "\n",
    "import urllib.request\n",
    "# Source : https://www.data.gouv.fr/fr/datasets/coronavirus-covid19-evolution-par-pays-et-dans-le-monde-maj-quotidienne/\n",
    "url = 'https://coronavirus.politologue.com/data/coronavirus/coronacsv.aspx?format=csv&t=pays'\n",
    "filename = 'data/sources/coronacsv.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "\"\"\"\n",
    "# Données nationales concernant l'épidémie de COVID19 \n",
    "\n",
    "L'information officielle sur la progression de l'épidémie en France est assez fragmentée, \n",
    "et n'est presque jamais structurée sous forme de données.\n",
    "L'objectif de ce jeu de données est de consolider l'information officielle, et de la rendre disponible \n",
    "dans des formats ouverts et aisément réutilisables (JSON, CSV…).\n",
    "\n",
    "Lien vers les données : https://github.com/opencovid19-fr/data\n",
    "\"\"\"\n",
    "\n",
    "url = 'https://github.com/opencovid19-fr/data/raw/master/dist/chiffres-cles.csv'\n",
    "filename = 'data/sources/chiffres-cle.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "\"\"\"\n",
    "# Données relatives à l'épidémie du covid-19 \n",
    "\n",
    "Santé publique France a pour mission d'améliorer et de protéger la santé des populations. \n",
    "Durant la crise sanitaire liée à l'épidémie du covid-19, Santé publique France se charge de surveiller \n",
    "et comprendre la dynamique de l'épidémie, d'anticiper les différents scénarii et de mettre en place \n",
    "des actions pour prévenir et limiter la transmission de ce virus sur le territoire national.\n",
    "\n",
    "Lien vers les données : https://www.data.gouv.fr/fr/datasets/donnees-relatives-a-lepidemie-du-covid-19/\n",
    "\"\"\"\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/941ff2b4-ea24-4cdf-b0a7-655f2a332fb2'\n",
    "filename = 'data/sources/sursaud-covid19-quotidien.xlsx'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "\"\"\"\n",
    "# Données hospitalières relatives à l'épidémie de COVID-19 \n",
    "\n",
    "Santé publique France a pour mission d'améliorer et de protéger la santé des populations. \n",
    "Durant la crise sanitaire liée à l'épidémie du COVID-19, Santé publique France se charge de surveiller \n",
    "et comprendre la dynamique de l'épidémie, d'anticiper les différents scénarii et de mettre en place des actions \n",
    "pour prévenir et limiter la transmission de ce virus sur le territoire national.\n",
    "\n",
    "Lien vers les données : https://www.data.gouv.fr/fr/datasets/donnees-hospitalieres-relatives-a-lepidemie-de-covid-19/#_\n",
    "\"\"\"\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/63352e38-d353-4b54-bfd1-f1b3ee1cabd7'\n",
    "filename = 'data/sources/donnees-hospitalieres-covid19.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/41b9bd2a-b5b6-4271-8878-e45a8902ef00'\n",
    "filename = 'data/sources/donnees-hospitalieres-etablissements-covid19.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "\"\"\"\n",
    "Données relatives aux tests de dépistage de COVID-19 réalisés en laboratoire de ville \n",
    "\n",
    "Le présent jeu de données renseigne sur le nombre de tests de dépistage du COVID-19 réalisés par les laboratoires \n",
    "de villes, par département et par sexe :\n",
    "- Nombre de tests réalisés ;\n",
    "- Nombre de tests positifs.\n",
    "\n",
    "Lien vers les données : : https://www.data.gouv.fr/fr/datasets/donnees-relatives-aux-tests-de-depistage-de-covid-19-realises-en-laboratoire-de-ville/\n",
    "\"\"\"\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/b4ea7b4b-b7d1-4885-a099-71852291ff20'\n",
    "filename = 'data/sources/donnees-tests-covid19-labo-quotidien.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "\"\"\"\n",
    "Données relatives aux transferts de patients atteints de COVID-19 \n",
    "Pour répondre à la crise sanitaire et à la mise en tension du système de santé français, \n",
    "le gouvernement opère depuis le 18 mars 2020 des transferts de patients entre établissements hospitaliers. \n",
    "Ce dispositif a pour objectif de désengorger les établissements les plus touchés par l'épidémie de COVID-19.\n",
    "\n",
    "Lien vers les données : https://www.data.gouv.fr/fr/datasets/donnees-relatives-aux-transferts-de-patients-atteints-de-covid-19/\n",
    "\"\"\"\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/70cf1fd0-60b3-4584-b261-63fb2281359e'\n",
    "filename = 'data/sources/transferts-patients-covid19.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "\n",
    "\"\"\"\n",
    "Niveaux d'excès de mortalité standardisé durant l'épidémie de COVID-19\n",
    "Le présent jeu de données décrit le niveau d'excès de mortalité standardisé durant l'épidémie de COVID-19, \n",
    "à l'échelle départementale et régionale.\n",
    "Le niveau d'excès de mortalité est décrit pour deux catégories d'âge :\n",
    "- pour tous les âges ;\n",
    "- pour les personnes âgées de plus de 65 ans.\n",
    "\n",
    "Lien vers les données : https://www.data.gouv.fr/fr/datasets/niveaux-dexces-de-mortalite-standardise-durant-lepidemie-de-covid-19/\n",
    "\"\"\"\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/055ebba4-89dc-4996-962e-71dde6aaf7a6'\n",
    "filename = 'data/sources/niveaux-exces-mortalite-covid19-dep.csv'\n",
    "urllib.request.urlretrieve(url, filename)\n",
    "\n",
    "url = 'https://www.data.gouv.fr/fr/datasets/r/b5f8ee61-b852-4d1e-8de8-64d2fcdc0979'\n",
    "filename = 'data/sources/niveaux-exces-mortalite-covid19-reg.csv'\n",
    "urllib.request.urlretrieve(url, filename)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd   \n",
    "\n",
    "# CoronaVirus (Covid19) - Evolution par pays et dans le monde (maj quotidienne)\n",
    "\n",
    "## Export en supprimant les 3 premières lignes\n",
    "##coronapolitologue.csv\n",
    "\n",
    "pd_coronapolitologue = pd.read_csv('data/sources/coronacsv.csv',  encoding='utf-8', sep=';', skiprows= 3 )\n",
    "pd_coronapolitologue.to_csv(\"data/sources_traitees/coronapolitologue.csv\", index=False, encoding='utf8', sep=';')\n",
    "\n",
    "\n",
    "# Données nationales concernant l'épidémie de COVID19\n",
    "## opencovid19fr.csv\n",
    "\n",
    "pd_opencovid19fr = pd.read_csv('data/sources/chiffres-cle.csv', dtype={'cas_confirmes': float,'deces': float, 'reanimation': float}, encoding='utf-8', sep=',' )\n",
    "pd_opencovid19fr.to_csv(\"data/sources_traitees/opencovid19fr.csv\", index=False, encoding='utf8', sep=',')\n",
    "\n",
    "# Données relatives à l'épidémie du covid-19\n",
    "\n",
    "## Départementales\n",
    "pd_sursaud_dep = pd.read_excel('data/sources/sursaud-covid19-quotidien.xlsx', \n",
    "                          dtype={                        \n",
    "'sursaud_cl_age_corona' : str,\n",
    "'nbre_pass_corona' : float,\n",
    "'nbre_pass_tot' : float,\n",
    "'nbre_hospit_corona' : float,\n",
    "'nbre_pass_corona_h' : float,\n",
    "'nbre_pass_corona_f' : float,\n",
    "'nbre_pass_tot_h' : float,\n",
    "'nbre_pass_tot_f' : float,\n",
    "'nbre_hospit_corona_h' : float,\n",
    "'nbre_hospit_corona_f' : float,\n",
    "'nbre_acte_corona' : float,\n",
    "'nbre_acte_tot' : float,\n",
    "'nbre_acte_corona_h' : float,\n",
    "'nbre_acte_corona_f' : float,\n",
    "'nbre_acte_tot_h' : float,\n",
    "'nbre_acte_tot_f' : float,    }, sheet_name='dep', encoding='utf-8', sep=',' )\n",
    "pd_sursaud_dep.to_csv(\"data/sources_traitees/sursaud-covid19-quotidien_dep.csv\", index=False, encoding='utf8', sep=',')\n",
    "\n",
    "## Régionales\n",
    "pd_sursaud_reg = pd.read_excel('data/sources/sursaud-covid19-quotidien.xlsx', \n",
    "                          dtype={                        \n",
    "'sursaud_cl_age_corona' : str,\n",
    "'nbre_pass_corona' : float,\n",
    "'nbre_pass_tot' : float,\n",
    "'nbre_hospit_corona' : float,\n",
    "'nbre_pass_corona_h' : float,\n",
    "'nbre_pass_corona_f' : float,\n",
    "'nbre_pass_tot_h' : float,\n",
    "'nbre_pass_tot_f' : float,\n",
    "'nbre_hospit_corona_h' : float,\n",
    "'nbre_hospit_corona_f' : float,\n",
    "'nbre_acte_corona' : float,\n",
    "'nbre_acte_tot' : float,\n",
    "'nbre_acte_corona_h' : float,\n",
    "'nbre_acte_corona_f' : float,\n",
    "'nbre_acte_tot_h' : float,\n",
    "'nbre_acte_tot_f' : float,    }, sheet_name='reg', encoding='utf-8', sep=',' )\n",
    "pd_sursaud_reg.to_csv(\"data/sources_traitees/sursaud-covid19-quotidien_reg.csv\", index=False, encoding='utf8', sep=',')\n",
    "\n",
    "# Données hospitalières relatives à l'épidémie de COVID-19\n",
    "pd_donneeshospitalierescovid19 = pd.read_csv('data/sources/donnees-hospitalieres-covid19.csv', encoding='utf-8', sep=';' )\n",
    "pd_donneeshospitalierescovid19.to_csv(\"data/sources_traitees/donnees-hospitalieres-covid19.csv\", index=False, encoding='utf8', sep=';')\n",
    "\n",
    "# Données hospitalières des établissements relatives à l'épidémie de COVID-19\n",
    "pd_donneeshospitalieresetablissementscovid19 = pd.read_csv('data/sources/donnees-hospitalieres-etablissements-covid19.csv', encoding='utf-8', sep=';' )\n",
    "pd_donneeshospitalieresetablissementscovid19.to_csv(\"data/sources_traitees/donnees-hospitalieres-etablissements-covid19.csv\", index=False, encoding='utf8', sep=';')\n",
    "\n",
    "# Données relatives aux tests de dépistage de COVID-19 réalisés en laboratoire de ville\n",
    "pd_donneestestscovid19laboquotidien = pd.read_csv('data/sources/donnees-tests-covid19-labo-quotidien.csv', encoding='utf-8', sep=';' )\n",
    "pd_donneestestscovid19laboquotidien.to_csv(\"data/sources_traitees/donnees-tests-covid19-labo-quotidien.csv\", index=False, encoding='utf8', sep=';')\n",
    "\n",
    "# Données relatives aux transferts de patients atteints de COVID-19 \n",
    "pd_transfertspatientscovid19 = pd.read_csv('data/sources/transferts-patients-covid19.csv', encoding='utf-8', sep=',' )\n",
    "pd_transfertspatientscovid19.to_csv(\"data/sources_traitees/transferts-patients-covid19.csv\", index=False, encoding='utf8', sep=',')\n",
    "\n",
    "# Niveaux d'excès de mortalité standardisé durant l'épidémie de COVID-19 - Départementales\n",
    "pd_niveauxexcesmortalitecovid19dep = pd.read_csv('data/sources/niveaux-exces-mortalite-covid19-dep.csv', encoding='utf-8', sep=';' )\n",
    "pd_niveauxexcesmortalitecovid19dep.to_csv(\"data/sources_traitees/niveaux-exces-mortalite-covid19-dep.csv\", index=False, encoding='utf8', sep=';')\n",
    "# Niveaux d'excès de mortalité standardisé durant l'épidémie de COVID-19 - Régionales\n",
    "pd_niveauxexcesmortalitecovid19reg = pd.read_csv('data/sources/niveaux-exces-mortalite-covid19-reg.csv', encoding='utf-8', sep=';' )\n",
    "pd_niveauxexcesmortalitecovid19reg.to_csv(\"data/sources_traitees/niveaux-exces-mortalite-covid19-reg.csv\", index=False, encoding='utf8', sep=';')\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2a153d0>"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Create empty table sante.coronapolitologue;\n",
    "\n",
    "from sqlalchemy.engine.url import URL\n",
    "\n",
    "from sqlalchemy import create_engine\n",
    "db_uri = \"postgres://visumarqueblanche:ARZRc9pxe3hyIDY1KFMw@visu-db.makina-corpus.net:5432\"\n",
    "engine = create_engine(db_uri)\n",
    "\n",
    "# create table\n",
    "\n",
    "engine.execute (\"\"\"\n",
    " \n",
    "DROP TABLE IF EXISTS sante.coronapolitologue;\n",
    "\n",
    "CREATE TABLE sante.coronapolitologue ( gid serial , -- Identifiant unique\n",
    " country_region character varying(255) , -- Pays des cas de coronavirus recensés\n",
    " province_state character varying(255) DEFAULT NULL , -- Province\n",
    " confirmed integer DEFAULT 0, -- Cas de coronavirus confirmés\n",
    " deaths integer DEFAULT 0, -- Décès liés au coronavirus\n",
    " recovered integer DEFAULT 0, -- Guérisons dues coronavirus\n",
    " rate_confirmed float DEFAULT 0, -- Taux de cas de coronavirus confirmés\n",
    " rate_deaths float DEFAULT 0, -- Taux de décès liés au coronavirus\n",
    " rate_recovered float DEFAULT 0, -- Taux de guérisons dues coronavirus\n",
    " confirmed_n_classe integer DEFAULT 1, -- Classes jenks pour les cas de coronavirus confirmés\n",
    " deaths_n_classe integer DEFAULT 1 , -- Classes jenks pour les décès liés au coronavirus\n",
    " recovered_n_classe integer DEFAULT 1 , -- Classes jenks pour les guérisons dues coronavirus\n",
    " latitude numeric GENERATED ALWAYS AS (ST_X(geom)) STORED, --Latitude\n",
    " longitude numeric GENERATED ALWAYS AS (ST_Y(geom)) STORED, -- Longitude\n",
    " date_actualisation date , -- Date de la mise à jour des données\n",
    " source character varying(255) DEFAULT 'https://coronavirus.politologue.com', -- Origine de la donnée\n",
    " ratepop_confirmed float DEFAULT 0, -- Taux de cas de coronavirus confirmés pour 100 000 habitants\n",
    " ratepop_deaths float DEFAULT 0, -- Taux de décès liés au coronavirus pour 100 000 habitants\n",
    " ratepop_recovered float DEFAULT 0, -- Taux de guérisons dues coronavirus pour 100 000 habitants\n",
    " variation_confirmed float DEFAULT 0, -- Variation journalière du nombre de cas de coronavirus confirmés\n",
    " variation_deaths float DEFAULT 0, -- Variation journalière du nombre de décès liés au coronavirus\n",
    " variation_recovered float DEFAULT 0, -- Variation journalière du nombre de guérisons dues coronavirus\n",
    " ratepop_confirmed_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de cas de coronavirus confirmés pour 100 000 habitants\n",
    " ratepop_deaths_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de décès liés au coronavirus pour 100 000 habitants\n",
    " ratepop_recovered_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de guérisons dues coronavirus pour 100 000 habitants\n",
    " variation_confirmed_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière du nombre de cas de coronavirus confirmés\n",
    " variation_deaths_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière journalière du nombre de décès liés au coronavirus\n",
    " variation_recovered_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière journalière du nombre de guérisons dues coronavirus\n",
    " \n",
    " geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    " \n",
    " CONSTRAINT coronapolitologue_pkey PRIMARY KEY (gid));\n",
    "\n",
    "\n",
    " \"\"\"\n",
    ")\n",
    "\n",
    "engine.execute(\"\"\"CREATE INDEX coronapolitologue_geom_idx ON sante.coronapolitologue USING GIST(geom);\"\"\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2f2b6d0>"
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create table sante.opencovid19fr\n",
    "\n",
    "engine.execute (\"\"\"\n",
    " \n",
    "DROP TABLE IF EXISTS sante.opencovid19fr;\n",
    "  CREATE TABLE sante.opencovid19fr (\n",
    "  gid serial , -- Identifiant unique\n",
    "  date_actualisation varchar , -- Date de la mise à jour des données\n",
    "  granularite character varying(255) , -- Granularité du recensement\n",
    "  maille_code character varying(255)  , -- Code de la maille du recensement\n",
    "  maille_nom character varying(255)  , -- Nom de la maille du recensement\n",
    "  confirmes float DEFAULT 0, -- Total cumulé du nombre de cas confirmés\n",
    "  cas_ehpad float DEFAULT 0, -- Total cumulé du nombre de cas en EHPAD\n",
    "  confirmes_ehpad float DEFAULT 0, -- Total cumulé du nombre de cas confirmés en EHPAD\n",
    "  cas_possibles_ehpad float DEFAULT 0, -- Total cumulé du nombre de cas possibles en EHPAD\n",
    "  deces float DEFAULT 0, -- Total cumulé du nombre de décès\n",
    "  deces_ehpad float DEFAULT 0, -- Total cumulé du nombre de décès en EHPAD (si indiqué)\n",
    "  reanimation float DEFAULT 0, -- Nombre de personnes en réanimation le jour du bulletin\n",
    "  hospitalises float DEFAULT 0, -- Nombre de personnes hospitalisées le jour du bulletin\n",
    "  gueris float DEFAULT 0, -- Total cumulé du nombre de personnes guéries (sorties de l'hôpital)\n",
    "  depistes float DEFAULT 0, -- Cas dépistés dus coronavirus \n",
    "  source_nom character varying(255) , -- Origine de la donnée\n",
    "  source_url text , -- URL de la source\n",
    "  source_archive text , -- Archive source\n",
    "  source_type character varying(255) , -- Type de la source\n",
    "  confirmes_n_classe integer DEFAULT 1, -- Classes jenks pour le total cumulé du nombre de cas confirmés\n",
    "  cas_ehpad_n_classe integer DEFAULT 1, -- Classes jenks pour le total cumulé du nombre de cas en EHPAD\n",
    "  confirmes_ehpad_n_classe integer DEFAULT 1, -- Classes jenks pour le total cumulé du nombre de cas confirmés en EHPAD\n",
    "  cas_possibles_ehpad_n_classe integer DEFAULT 1, -- Classes jenks pour le total cumulé du nombre de décès\n",
    "  deces_n_classe integer DEFAULT 1 , -- Classes jenks pour les décès liés au coronavirus\n",
    "  deces_ehpad_n_classe integer DEFAULT 1 , -- Classes jenks pour le total cumulé du nombre de décès en EHPAD (si indiqué)\n",
    "  reanimation_n_classe integer DEFAULT 1 , -- Classes jenks pour le nnombre de personnes en réanimation le jour du bulletin\n",
    "  hospitalises_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de personnes hospitalisées le jour du bulletin\n",
    "  gueris_n_classe integer DEFAULT 1 , -- Classes jenks pour le total cumulé du nombre de personnes guéries (sorties de l'hôpital)\n",
    "  depistes_n_classe integer DEFAULT 1 , -- Classes jenks pour le total cumulé du nombre de personnes dépistées (testées par PCR)\n",
    "  latitude numeric GENERATED ALWAYS AS (ST_X(geom)) STORED, --Latitude\n",
    "  longitude numeric GENERATED ALWAYS AS (ST_Y(geom)) STORED, -- Longitude\n",
    "  geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    "  \n",
    "  CONSTRAINT opencovid19fr_pkey PRIMARY KEY (gid));\n",
    "\n",
    "\n",
    " \"\"\"\n",
    ")\n",
    "\n",
    "engine.execute(\"\"\"CREATE INDEX opencovid19fr_geom_idx ON sante.opencovid19fr USING GIST(geom);\"\"\")\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2604150>"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Create empty table sante.sursaud_covid19_quotidien_dep;\n",
    "\n",
    "engine.execute (\"\"\"DROP TABLE IF EXISTS sante.sursaud_covid19_quotidien_dep;\n",
    "\n",
    "CREATE TABLE sante.sursaud_covid19_quotidien_dep ( \n",
    " gid serial , -- Identifiant unique\n",
    " code_dep character varying(255) , -- Pays des cas de coronavirus recensés\n",
    " date_actualisation character varying(255) , -- Date de la mise à jour des données\n",
    " sursaud_cl_age_corona varchar, -- Tranche d'âge des patients\n",
    " nbre_pass_corona float DEFAULT 0, -- Nombre de passages aux urgences pour suspicion de COVID-19 \n",
    " nbre_pass_tot float DEFAULT 0, -- Nombre de passages aux urgences total \n",
    " nbre_hospit_corona float DEFAULT 0, -- Nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 \n",
    " nbre_pass_corona_h float DEFAULT 0, -- Nombre de passages aux urgences pour suspicion de COVID-19  - Hommes\n",
    " nbre_pass_corona_f float DEFAULT 0, -- Nombre de passages aux urgences pour suspicion de COVID-19  - Femmes\n",
    " nbre_pass_tot_h float DEFAULT 0, -- Nombre de passages aux urgences total - Hommes\n",
    " nbre_pass_tot_f float DEFAULT 0, -- Nombre de passages aux urgences total - Femmes\n",
    " nbre_hospit_corona_h float DEFAULT 0, -- Nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19  - Hommes\n",
    " nbre_hospit_corona_f float DEFAULT 0, -- Nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - Femmes\n",
    " nbre_acte_corona float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19\n",
    " nbre_acte_tot float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins total\n",
    " nbre_acte_corona_h float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - Hommes\n",
    " nbre_acte_corona_f float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - Femmes\n",
    " nbre_acte_tot_h float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins total - Hommes\n",
    " nbre_acte_tot_f float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins total - Femmes\n",
    " source_nom character varying(255) DEFAULT 'https://www.santepubliquefrance.fr/surveillance-syndromique-sursaud-R', -- Origine de la donnée\n",
    " source_url character varying(255) DEFAULT 'https://www.data.gouv.fr/fr/datasets/donnees-relatives-a-lepidemie-du-covid-19/', -- Origine de la donnée\n",
    " nbre_pass_corona_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19  \n",
    " nbre_hospit_corona_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 \n",
    " nbre_acte_corona_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19\n",
    " nbre_pass_corona_a_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 A\n",
    " nbre_hospit_corona_a_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 A\n",
    " nbre_acte_corona_a_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 A\n",
    " nbre_pass_corona_b_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 B\n",
    " nbre_hospit_corona_b_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 B\n",
    " nbre_acte_corona_b_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 B\n",
    " nbre_pass_corona_c_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 C\n",
    " nbre_hospit_corona_c_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 C\n",
    " nbre_acte_corona_c_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 C\n",
    " nbre_pass_corona_d_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 D\n",
    " nbre_hospit_corona_d_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 D\n",
    " nbre_acte_corona_d_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 D\n",
    " nbre_pass_corona_e_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 E\n",
    " nbre_hospit_corona_e_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 E\n",
    " nbre_acte_corona_e_n_classe integer DEFAULT 1 ,-- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 E\n",
    " latitude numeric GENERATED ALWAYS AS (ST_X(geom)) STORED, --Latitude\n",
    " longitude numeric GENERATED ALWAYS AS (ST_Y(geom)) STORED, -- Longitude\n",
    " geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    " \n",
    " CONSTRAINT sursaud_covid19_quotidien_dep_pkey PRIMARY KEY (gid));\n",
    " \n",
    " \"\"\"\n",
    ")\n",
    "\n",
    "engine.execute(\"\"\"CREATE INDEX sursaud_covid19_quotidien_dep_geom_idx ON sante.sursaud_covid19_quotidien_dep USING GIST(geom);\"\"\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2604210>"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Create empty table sante.sursaud_covid19_quotidien_reg;\n",
    "\n",
    "engine.execute (\"\"\"\n",
    "DROP TABLE IF EXISTS sante.sursaud_covid19_quotidien_reg;\n",
    "CREATE TABLE sante.sursaud_covid19_quotidien_reg ( \n",
    " gid serial , -- Identifiant unique\n",
    " code_reg character varying(255) , -- Pays des cas de coronavirus recensés\n",
    " date_actualisation character varying(255) , -- Date de la mise à jour des données\n",
    " sursaud_cl_age_corona varchar, -- Tranche d'âge des patients\n",
    " nbre_pass_corona float DEFAULT 0, -- Nombre de passages aux urgences pour suspicion de COVID-19 \n",
    " nbre_pass_tot float DEFAULT 0, -- Nombre de passages aux urgences total \n",
    " nbre_hospit_corona float DEFAULT 0, -- Nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 \n",
    " nbre_pass_corona_h float DEFAULT 0, -- Nombre de passages aux urgences pour suspicion de COVID-19  - Hommes\n",
    " nbre_pass_corona_f float DEFAULT 0, -- Nombre de passages aux urgences pour suspicion de COVID-19  - Femmes\n",
    " nbre_pass_tot_h float DEFAULT 0, -- Nombre de passages aux urgences total - Hommes\n",
    " nbre_pass_tot_f float DEFAULT 0, -- Nombre de passages aux urgences total - Femmes\n",
    " nbre_hospit_corona_h float DEFAULT 0, -- Nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19  - Hommes\n",
    " nbre_hospit_corona_f float DEFAULT 0, -- Nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - Femmes\n",
    " nbre_acte_corona float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19\n",
    " nbre_acte_tot float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins total\n",
    " nbre_acte_corona_h float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - Hommes\n",
    " nbre_acte_corona_f float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - Femmes\n",
    " nbre_acte_tot_h float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins total - Hommes\n",
    " nbre_acte_tot_f float DEFAULT 0, -- Nombres d'actes médicaux SOS Médecins total - Femmes\n",
    " source_nom character varying(255) DEFAULT 'https://www.santepubliquefrance.fr/surveillance-syndromique-sursaud-R', -- Origine de la donnée\n",
    " source_url character varying(255) DEFAULT 'https://www.data.gouv.fr/fr/datasets/donnees-relatives-a-lepidemie-du-covid-19/', -- Origine de la donnée\n",
    " nbre_pass_corona_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19  \n",
    " nbre_hospit_corona_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 \n",
    " nbre_acte_corona_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19\n",
    " nbre_pass_corona_a_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 - moins de 15 ans  \n",
    " nbre_hospit_corona_a_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - moins de 15 ans \n",
    " nbre_acte_corona_a_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - moins de 15 ans\n",
    " nbre_pass_corona_b_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 - 15-44 ans\n",
    " nbre_hospit_corona_b_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - 15-44 ans\n",
    " nbre_acte_corona_b_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - 15-44 ans\n",
    " nbre_pass_corona_c_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 - 45-64 ans\n",
    " nbre_hospit_corona_c_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - 45-64 ans\n",
    " nbre_acte_corona_c_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - 45-64 ans\n",
    " nbre_pass_corona_d_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 - 65-74 ans\n",
    " nbre_hospit_corona_d_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - 65-74 ans\n",
    " nbre_acte_corona_d_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - 65-74 ans\n",
    " nbre_pass_corona_e_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre de passages aux urgences pour suspicion de COVID-19 - 75 ans et plus\n",
    " nbre_hospit_corona_e_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombre d'hospitalisations parmi les passages aux urgences pour suspicion de COVID-19 - 75 ans et plus\n",
    " nbre_acte_corona_e_n_classe integer DEFAULT 1 , -- Classes jenks pour le nombres d'actes médicaux SOS Médecins pour suspicion de COVID-19 - 75 ans et plus\n",
    " latitude numeric GENERATED ALWAYS AS (ST_X(geom)) STORED, --Latitude\n",
    " longitude numeric GENERATED ALWAYS AS (ST_Y(geom)) STORED, -- Longitude\n",
    " geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    " \n",
    " CONSTRAINT sursaud_covid19_quotidien_reg_pkey PRIMARY KEY (gid));\n",
    " \n",
    " \"\"\"\n",
    ")\n",
    "\n",
    "engine.execute(\"\"\"CREATE INDEX sursaud_covid19_quotidien_reg_geom_idx ON sante.sursaud_covid19_quotidien_reg USING GIST(geom);\"\"\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2f46e50>"
      ]
     },
     "execution_count": 47,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create table sante.donneeshospitalierescovid19\n",
    "\n",
    "engine.execute (\"\"\"\n",
    " \n",
    "DROP TABLE IF EXISTS sante.donneeshospitalierescovid19;\n",
    "  CREATE TABLE sante.donneeshospitalierescovid19 (\n",
    "  gid serial , -- Identifiant unique\n",
    "  dep character varying(255) , -- Code de département\n",
    "  sexe character varying(5) , -- Sexe\n",
    "  jour character varying(255), -- Date de notification\n",
    "  hosp integer DEFAULT NULL , -- Nombre de personnes actuellement hospitalisées\n",
    "  rea integer DEFAULT NULL , -- Nombre de personnes actuellement en réanimation ou soins intensifs\n",
    "  rad integer DEFAULT NULL , -- Nombre cumulé de personnes retournées à domicile\n",
    "  dc integer DEFAULT NULL , -- Nombre cumulé de personnes décédées à l'hôpital\n",
    "  nom_dep character varying(255) , -- Département\n",
    "  source_nom character varying(255) DEFAULT 'Santé Publique France' , -- Origine de la donnée\n",
    "  source_url text DEFAULT 'https://www.data.gouv.fr/fr/datasets/donnees-hospitalieres-relatives-a-lepidemie-de-covid-19/' , -- URL de la source\n",
    "  hosp_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre total de personnes actuellement hospitalisées\n",
    "  hosp_f_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre de femmes actuellement hospitalisées\n",
    "  hosp_h_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre d'hommes actuellement hospitalisés\n",
    "  rea_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre total de personnes actuellement en réanimation ou soins intensifs\n",
    "  rea_f_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre de femmes actuellement en réanimation ou soins intensifs\n",
    "  rea_h_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre d'hommes actuellement en réanimation ou soins intensifs\n",
    "  rad_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé de personnes retournées à domicile\n",
    "  rad_f_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé de femmes retournées à domicile\n",
    "  rad_h_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé d'hommes retournés à domicile\n",
    "  dc_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé de personnes décédées à l'hôpital\n",
    "  dc_f_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé de femmes décédées à l'hôpital\n",
    "  dc_h_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé d'hommes décédées à l'hôpital\n",
    "  rea_variation integer, -- Variation journalière pour le nombre de personnes actuellement en réanimation ou soins intensifs\n",
    "  rad_variation integer, -- Variation journalière pour le nombre cumulé de personnes retournées à domicile\n",
    "  hosp_variation integer, -- Variation journalière pour le nombre de personnes actuellement hospitalisées\n",
    "  dc_variation integer, -- Variation journalière pour le nombre cumulé de personnes décédées à l'hôpital\n",
    "  rea_variation_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière pour le nombre cumulé de personnes décédées à l'hôpital\n",
    "  rad_variation_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière pour le nombre cumulé de personnes décédées à l'hôpital\n",
    "  hosp_variation_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière pour le nombre cumulé de personnes décédées à l'hôpital\n",
    "  dc_variation_n_classe integer DEFAULT 1, -- Classes jenks pour la variation journalière pour le nombre cumulé de personnes décédées à l'hôpital\n",
    "  tx_rea integer, -- Taux de personnes actuellement en réanimation ou soins intensifs pour 100000 habitants\n",
    "  tx_rad integer, -- Taux de personnes retournées à domicile pour 100000 habitants\n",
    "  tx_hosp integer, -- Taux de personnes actuellement hospitalisées pour 100000 habitants\n",
    "  tx_dc integer, -- Taux de personnes décédées à l'hôpital pour 100000 habitants\n",
    "  tx_rea_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de personnes actuellement en réanimation ou soins intensifs pour 100000 habitants\n",
    "  tx_rad_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de personnes retournées à domicile pour 100000 habitants\n",
    "  tx_hosp_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de personnes actuellement hospitalisées pour 100000 habitants\n",
    "  tx_dc_n_classe integer DEFAULT 1, -- Classes jenks pour le taux de personnes décédées à l'hôpital pour 100000 habitants\n",
    "  latitude numeric GENERATED ALWAYS AS (ST_X(geom)) STORED, --Latitude\n",
    "  longitude numeric GENERATED ALWAYS AS (ST_Y(geom)) STORED, -- Longitude\n",
    "  geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    "  \n",
    "  CONSTRAINT donneeshospitalierescovid19_pkey PRIMARY KEY (gid));\n",
    "  \n",
    "  CREATE INDEX donneeshospitalierescovid19_geom_idx ON sante.donneeshospitalierescovid19 USING GIST(geom);\n",
    "\n",
    " \"\"\"\n",
    ")\n",
    "\n",
    "# create table sante.donneeshospitalieresetablissementscovid19\n",
    "\n",
    "engine.execute (\"\"\"\n",
    " \n",
    "DROP TABLE IF EXISTS sante.donneeshospitalieresetablissementscovid19;\n",
    "  CREATE TABLE sante.donneeshospitalieresetablissementscovid19 (\n",
    "  gid serial , -- Identifiant unique\n",
    "  dep character varying(255) , -- Code de département\n",
    "  jour character varying(255), -- Date de notification\n",
    "  nb integer DEFAULT NULL , -- Nombre cumulé de services hospitaliers ayant déclaré au moins un cas\n",
    "  nom_dep character varying(255) , -- Département\n",
    "  source_nom character varying(255) DEFAULT 'Santé Publique France' , -- Origine de la donnée\n",
    "  source_url text DEFAULT 'https://www.data.gouv.fr/fr/datasets/donnees-hospitalieres-relatives-a-lepidemie-de-covid-19/' , -- URL de la source\n",
    "  nb_n_classe integer DEFAULT 1, -- Classes jenks pour le nombre cumulé de services hospitaliers ayant déclaré au moins un cas\n",
    "  latitude numeric GENERATED ALWAYS AS (ST_X(geom)) STORED, --Latitude\n",
    "  longitude numeric GENERATED ALWAYS AS (ST_Y(geom)) STORED, -- Longitude\n",
    "  geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    "  \n",
    "  CONSTRAINT donneeshospitalieresetablissementscovid19_pkey PRIMARY KEY (gid));\n",
    "  \n",
    "  CREATE INDEX donneeshospitalieresetablissementscovid19_geom_idx ON sante.donneeshospitalieresetablissementscovid19 USING GIST(geom);\n",
    "\n",
    " \"\"\"\n",
    ")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc076fd10>"
      ]
     },
     "execution_count": 48,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create table sante.donneestestscovid19laboquotidien\n",
    "\n",
    "engine.execute (\"\"\"\n",
    " \n",
    "DROP TABLE IF EXISTS sante.donneestestscovid19laboquotidien;\n",
    "CREATE TABLE sante.donneestestscovid19laboquotidien (\n",
    "gid serial , -- Identifiant unique\n",
    "dep character varying(255) , -- Code de département\n",
    "jour character varying(255) , -- Date de notification \n",
    "clage_covid character varying(255) DEFAULT NULL, -- Tranche d'âge des patients \n",
    "nb_test integer, -- Nombre de tests pour recherche de SARS-CoV-2\n",
    "nb_pos integer, -- Nombre de tests positifs pour recherche de SARS-CoV-2\n",
    "nb_test_h integer, -- Nombre de tests pour recherche de SARS-CoV-2 - Hommes\n",
    "nb_pos_h integer, -- Nombre de tests positifs pour recherche de SARS-CoV-2 - Hommes\n",
    "nb_test_f integer, -- Nombre de tests pour recherche de SARS-CoV-2 - Femmes\n",
    "nb_pos_f integer, -- Nombre de tests positifs pour recherche de SARS-CoV-2 - Femmes\n",
    "nom_dep character varying(255) , -- Département\n",
    "source_nom character varying(255) DEFAULT 'Santé Publique France'::character varying, -- Origine de la donnée\n",
    "source_url text DEFAULT 'https://www.data.gouv.fr/fr/datasets/donnees-relatives-aux-tests-de-depistage-de-covid-19-realises-en-laboratoire-de-ville/'::text,-- URL de la source\n",
    "nb_test_n_classe integer DEFAULT 1,-- Classes jenks pour le nombre de tests pour recherche de SARS-CoV-2\n",
    "nb_pos_n_classe integer DEFAULT 1,-- Classes jenks pour le nombre de tests positifs pour recherche de SARS-CoV-2\n",
    "nb_test_h_n_classe integer DEFAULT 1,-- Classes jenks pour le nombre de tests pour recherche de SARS-CoV-2 - Hommes\n",
    "nb_pos_h_n_classe integer DEFAULT 1,-- Classes jenks pour le nombre de tests positifs pour recherche de SARS-CoV-2 - Hommes\n",
    "nb_test_f_n_classe integer DEFAULT 1,-- Classes jenks pour le nombre de tests pour recherche de SARS-CoV-2 - Femmes\n",
    "nb_pos_f_n_classe integer DEFAULT 1,-- Classes jenks pour le nombre de tests positifs pour recherche de SARS-CoV-2 - Femmes\n",
    "pourcentage_testpos integer GENERATED ALWAYS AS (\n",
    "CASE\n",
    "    WHEN (((nb_pos * 100) / NULLIF(nb_test, 0)) IS NULL) THEN 0\n",
    "    ELSE ((nb_pos * 100) / NULLIF(nb_test, 0))\n",
    "END) STORED,-- Taux de tests positif pour recherche de SARS-CoV-2\n",
    "pourcentage_testpos_n_classe integer DEFAULT 1,-- Classes jenks pour le taux de tests positif pour recherche de SARS-CoV-2\n",
    "latitude numeric GENERATED ALWAYS AS (st_x(geom)) STORED,-- Latitude\n",
    "longitude numeric GENERATED ALWAYS AS (st_y(geom)) STORED,-- Longitude\n",
    "geom geometry(Point,4326) DEFAULT NULL , -- Géométrie du point en EPSG 4326\n",
    "  \n",
    "  CONSTRAINT donneestestscovid19laboquotidien_pkey PRIMARY KEY (gid));\n",
    "  \n",
    "  CREATE INDEX donneestestscovid19laboquotidien_geom_idx ON sante.donneestestscovid19laboquotidien USING GIST(geom);\n",
    "\n",
    " \"\"\"\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc26fc150>"
      ]
     },
     "execution_count": 49,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create table sante.transfertspatientscovid19\n",
    "\n",
    "engine.execute (\"\"\"\n",
    "\n",
    "DROP TABLE IF EXISTS sante.transfertspatientscovid19;\n",
    "CREATE TABLE sante.transfertspatientscovid19 (\n",
    "gid serial , -- Identifiant unique\n",
    "debut_transfert DATE , -- Date de début du transfert\n",
    "fin_transfert DATE , -- Date de fin du transfert\n",
    "type_vecteur character varying(255) DEFAULT NULL, -- Moyen de transport utilisé pour le transfert\n",
    "region_depart character varying(255), -- Région de départ\n",
    "region_arrivee character varying(255), -- Région d'arrivée\n",
    "pays_arrivee character varying(255), -- Pays d'arrivée (si en dehors de la France)\n",
    "nombre_patients_transferes integer, -- Effectifs de patients transférés\n",
    "geom_depart geometry(Point,4326) DEFAULT NULL , -- Géométrie du point de depart en EPSG 4326\n",
    "geom_arrivee geometry(Point,4326) DEFAULT NULL , -- Géométrie du point d'arrivée en EPSG 4326\n",
    "    \n",
    "  CONSTRAINT transfertspatientscovid19_pkey PRIMARY KEY (gid));\n",
    "  \n",
    "  CREATE INDEX transfertspatientscovid19_geom_depart_idx ON sante.transfertspatientscovid19 USING GIST(geom_depart);\n",
    "\n",
    " \"\"\"\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2b08ed0>"
      ]
     },
     "execution_count": 50,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create table sante.niveauxexcesmortalitecovid19dep\n",
    "\n",
    "engine.execute (\"\"\"\n",
    "\n",
    "DROP TABLE IF EXISTS sante.niveauxexcesmortalitecovid19dep;\n",
    "CREATE TABLE sante.niveauxexcesmortalitecovid19dep (\n",
    "gid serial , -- Identifiant unique\n",
    "dep character varying(255) DEFAULT NULL , -- Code département\n",
    "an_sem character varying(255) DEFAULT NULL , -- Année / Semaine\n",
    "clave_covid_dc65 character varying(255) DEFAULT NULL, -- Classe d'âge\n",
    "cat_zscore integer, -- Niveaux d'excès de mortalité standardisé\n",
    "nom_dep character varying(255) DEFAULT NULL , -- Département\n",
    "source_nom character varying(255) DEFAULT 'Santé Publique France'::character varying, -- Origine de la donnée\n",
    "source_url text DEFAULT 'https://www.data.gouv.fr/fr/datasets/niveaux-dexces-de-mortalite-standardise-durant-lepidemie-de-covid-19/'::text,-- URL de la source\n",
    "geom geometry(MultiPolygon,4326) DEFAULT NULL , -- Géométrie en EPSG 4326\n",
    "    \n",
    "  CONSTRAINT niveauxexcesmortalitecovid19dep_pkey PRIMARY KEY (gid));\n",
    "  \n",
    "  CREATE INDEX niveauxexcesmortalitecovid19dep_geo_idx ON sante.niveauxexcesmortalitecovid19dep USING GIST(geom);\n",
    "\n",
    " \"\"\"\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "<sqlalchemy.engine.result.ResultProxy at 0x7f7dc2f46390>"
      ]
     },
     "execution_count": 51,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create table sante.niveauxexcesmortalitecovid19reg\n",
    "\n",
    "engine.execute (\"\"\"\n",
    "\n",
    "DROP TABLE IF EXISTS sante.niveauxexcesmortalitecovid19reg;\n",
    "CREATE TABLE sante.niveauxexcesmortalitecovid19reg (\n",
    "gid serial , -- Identifiant unique\n",
    "reg character varying(255) DEFAULT NULL , -- Code région\n",
    "an_sem character varying(255) DEFAULT NULL , -- Année / Semaine\n",
    "clave_covid_dc65 character varying(255) DEFAULT NULL, -- Classe d'âge\n",
    "cat_zscore integer, -- Niveaux d'excès de mortalité standardisé\n",
    "nom_reg character varying(255) DEFAULT NULL , -- Région\n",
    "source_nom character varying(255) DEFAULT 'Santé Publique France'::character varying, -- Origine de la donnée\n",
    "source_url text DEFAULT 'https://www.data.gouv.fr/fr/datasets/niveaux-dexces-de-mortalite-standardise-durant-lepidemie-de-covid-19/'::text,-- URL de la source\n",
    "geom geometry(MultiPolygon,4326) DEFAULT NULL , -- Géométrie en EPSG 4326\n",
    "    \n",
    "  CONSTRAINT niveauxexcesmortalitecovid19reg_pkey PRIMARY KEY (gid));\n",
    "  \n",
    "  CREATE INDEX niveauxexcesmortalitecovid19reg_geom_idx ON sante.niveauxexcesmortalitecovid19reg USING GIST(geom);\n",
    "\n",
    " \"\"\"\n",
    ")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "/home/mfu/Documents/Projets/coronavirus/scripts\n",
      "00_importcsv.sql\n",
      "100_niveauxexcesmortalitecovid19reg.sql\n",
      "10_update_coronapolitologue.sql\n",
      "110_createupdate_caresteouvert.sql\n",
      "20_update_opencovidfr.sql\n",
      "30_update_sursaud_covid19_quotidien_dep.sql\n",
      "40_update_sursaud_covid19_quotidien_reg.sql\n",
      "50_update_donneeshospitalierescovid19.sql\n",
      "60_update_donneeshospitalieresetablissementscovid19.sql\n",
      "70_donneestestscovid19laboquotidien.sql\n",
      "80_donneestestscovid19laboquotidien.sql\n",
      "90_niveauxexcesmortalitecovid19dep.sql\n",
      "executesql.sh\n",
      "executesql.sh: ligne 3: Lancement : commande introuvable\n",
      "TRUNCATE TABLE\n",
      "COPY 11553\n",
      "TRUNCATE TABLE\n",
      "COPY 8352\n",
      "TRUNCATE TABLE\n",
      "COPY 39390\n",
      "TRUNCATE TABLE\n",
      "COPY 7800\n",
      "TRUNCATE TABLE\n",
      "COPY 13032\n",
      "TRUNCATE TABLE\n",
      "COPY 4343\n",
      "TRUNCATE TABLE\n",
      "COPY 27876\n",
      "TRUNCATE TABLE\n",
      "COPY 26\n",
      "TRUNCATE TABLE\n",
      "COPY 800\n",
      "TRUNCATE TABLE\n",
      "COPY 136\n",
      "UPDATE 104\n",
      "UPDATE 11458\n",
      "UPDATE 11458\n",
      "UPDATE 203\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:140: NOTICE:  kmeans_init: there are at least 23 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 3996\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:184: NOTICE:  kmeans_init: there are at least 110 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 9153\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:228: NOTICE:  kmeans_init: there are at least 39 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 7782\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:272: NOTICE:  kmeans_init: there are at least 116 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 9963\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:316: NOTICE:  kmeans_init: there are at least 181 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 11227\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:360: NOTICE:  kmeans_init: there are at least 143 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 11029\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:404: NOTICE:  kmeans_init: there are at least 150 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 11553\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:448: NOTICE:  kmeans_init: there are at least 189 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 11553\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/10_update_coronapolitologue.sql:492: NOTICE:  kmeans_init: there are at least 163 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 11553\n",
      "DROP TABLE\n",
      "SELECT 203\n",
      "ALTER TABLE\n",
      "CREATE INDEX\n",
      "UPDATE 6504\n",
      "UPDATE 1588\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:131: NOTICE:  kmeans_init: there are at least 4 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 258\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:199: NOTICE:  kmeans_init: there are at least 21 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 4322\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:269: NOTICE:  lwgeom_cluster_2d_kmeans: number of non-empty geometries is less than the number of clusters requested, not all clusters will get data\n",
      "UPDATE 0\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:339: NOTICE:  kmeans_init: there are at least 52 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 3465\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:408: NOTICE:  kmeans_init: there are at least 18 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1634\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:476: NOTICE:  kmeans_init: there are at least 7 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1175\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:546: NOTICE:  lwgeom_cluster_2d_kmeans: number of non-empty geometries is less than the number of clusters requested, not all clusters will get data\n",
      "UPDATE 2\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:614: NOTICE:  lwgeom_cluster_2d_kmeans: number of non-empty geometries is less than the number of clusters requested, not all clusters will get data\n",
      "UPDATE 0\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:681: NOTICE:  kmeans_init: there are at least 2 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 2126\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:749: NOTICE:  kmeans_init: there are at least 2 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 956\n",
      "UPDATE 333\n",
      "UPDATE 133\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/20_update_opencovidfr.sql:953: NOTICE:  lwgeom_cluster_2d_kmeans: number of non-empty geometries is less than the number of clusters requested, not all clusters will get data\n",
      "UPDATE 0\n",
      "UPDATE 39390\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/30_update_sursaud_covid19_quotidien_dep.sql:79: NOTICE:  kmeans_init: there are at least 66 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 35995\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/30_update_sursaud_covid19_quotidien_dep.sql:136: NOTICE:  kmeans_init: there are at least 80 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 37301\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/30_update_sursaud_covid19_quotidien_dep.sql:193: NOTICE:  kmeans_init: there are at least 29 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 16300\n",
      "UPDATE 7800\n",
      "UPDATE 7020\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:85: NOTICE:  kmeans_init: there are at least 2 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 837\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:139: NOTICE:  kmeans_init: there are at least 2 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1192\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:196: NOTICE:  kmeans_init: there are at least 36 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1693\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:247: NOTICE:  kmeans_init: there are at least 5 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1260\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:293: NOTICE:  lwgeom_cluster_2d_kmeans: number of non-empty geometries is less than the number of clusters requested, not all clusters will get data\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:293: NOTICE:  kmeans_init: there are at least 2 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 872\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:338: NOTICE:  kmeans_init: there are at least 3 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1414\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:384: NOTICE:  kmeans_init: there are at least 3 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 845\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:433: NOTICE:  kmeans_init: there are at least 6 duplicate inputs, number of output clusters may be less than you requested\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "UPDATE 1548\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:478: NOTICE:  kmeans_init: there are at least 4 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 997\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:524: NOTICE:  kmeans_init: there are at least 5 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 696\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:573: NOTICE:  kmeans_init: there are at least 3 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 2136\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:618: NOTICE:  kmeans_init: there are at least 7 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 970\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:664: NOTICE:  kmeans_init: there are at least 6 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 873\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:713: NOTICE:  kmeans_init: there are at least 5 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 2077\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:758: NOTICE:  kmeans_init: there are at least 3 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1359\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:804: NOTICE:  kmeans_init: there are at least 3 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 913\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:850: NOTICE:  kmeans_init: there are at least 3 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1317\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/40_update_sursaud_covid19_quotidien_reg.sql:895: NOTICE:  kmeans_init: there are at least 4 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 1445\n",
      "UPDATE 13029\n",
      "UPDATE 13029\n",
      "UPDATE 101\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:155: NOTICE:  kmeans_init: there are at least 50 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 9820\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:208: NOTICE:  kmeans_init: there are at least 71 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 8789\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:261: NOTICE:  kmeans_init: there are at least 53 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 9755\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:311: NOTICE:  kmeans_init: there are at least 84 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 12697\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:365: NOTICE:  kmeans_init: there are at least 7 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 2212\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:418: NOTICE:  kmeans_init: there are at least 17 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 3689\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:471: NOTICE:  kmeans_init: there are at least 20 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 3149\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:521: NOTICE:  kmeans_init: there are at least 40 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 4741\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:575: NOTICE:  kmeans_init: there are at least 20 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 8633\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:628: NOTICE:  kmeans_init: there are at least 37 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 9414\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:681: NOTICE:  kmeans_init: there are at least 31 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 8859\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:731: NOTICE:  kmeans_init: there are at least 60 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 12446\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:786: NOTICE:  kmeans_init: there are at least 32 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 4776\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:839: NOTICE:  kmeans_init: there are at least 23 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 5217\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:890: NOTICE:  kmeans_init: there are at least 46 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 10684\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:942: NOTICE:  kmeans_init: there are at least 17 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 3926\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:995: NOTICE:  kmeans_init: there are at least 83 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 101\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:1047: NOTICE:  kmeans_init: there are at least 62 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 101\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:1099: NOTICE:  kmeans_init: there are at least 66 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 101\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/50_update_donneeshospitalierescovid19.sql:1151: NOTICE:  kmeans_init: there are at least 84 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 101\n",
      "UPDATE 4343\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/60_update_donneeshospitalieresetablissementscovid19.sql:84: NOTICE:  kmeans_init: there are at least 71 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 4033\n",
      "UPDATE 27876\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:85: NOTICE:  kmeans_init: there are at least 53 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 24709\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:140: NOTICE:  kmeans_init: there are at least 86 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 26289\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:195: NOTICE:  kmeans_init: there are at least 65 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 26663\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:250: NOTICE:  kmeans_init: there are at least 93 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 26828\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:305: NOTICE:  kmeans_init: there are at least 59 duplicate inputs, number of output clusters may be less than you requested\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "UPDATE 25133\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:360: NOTICE:  kmeans_init: there are at least 89 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 26730\n",
      "psql:/home/mfu/Documents/Projets/coronavirus/scripts/70_donneestestscovid19laboquotidien.sql:415: NOTICE:  kmeans_init: there are at least 85 duplicate inputs, number of output clusters may be less than you requested\n",
      "UPDATE 22937\n",
      "UPDATE 26\n",
      "UPDATE 18\n",
      "UPDATE 2\n",
      "UPDATE 3\n",
      "ALTER TABLE\n",
      "ALTER TABLE\n",
      "ALTER TABLE\n",
      "ALTER TABLE\n",
      "UPDATE 26\n",
      "UPDATE 800\n",
      "/home/mfu/Documents/Projets/coronavirus/data/sources\n",
      "/home/mfu/Documents/Projets/coronavirus/data/sources_traitees\n",
      "/home/mfu/Documents/Projets/coronavirus/data/sources\n"
     ]
    }
   ],
   "source": [
    "# Exécuter un fichier bash\n",
    "## Méthode 1\n",
    "\n",
    "#import subprocess\n",
    "\n",
    "#subprocess.Popen(['sh','/home/mfu/Documents/Projets/coronavirus//scripts/executesql.sh'])\n",
    "\n",
    "## Méthode 2\n",
    "### change le répertoire courrant\n",
    "%cd scripts/ \n",
    "### affiche les fichiers/dossiers à l'intérieur\n",
    "!ls\n",
    "### exécute le script bash\n",
    "! bash executesql.sh\n",
    "### supprime les données sources et sources traitées\n",
    "%cd /home/mfu/Documents/Projets/coronavirus/data/sources\n",
    "%rm *.csv\n",
    "%rm *.xlsx\n",
    "%cd /home/mfu/Documents/Projets/coronavirus/data/sources_traitees\n",
    "%rm *.csv\n",
    "### revient à la racine du projet\n",
    "%cd -"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}