first commit for thuinderstorm outlook

outlook update

update for the thunderstorm outlooks

flake8 thing

flake8 and logic for empty outlooks

rmv trailing comma

debian/conffiles

@@ -8,3 +8,4 @@
 /opt/msc-pygeoapi/etc/sarracenia/aqhi-realtime.conf
 /opt/msc-pygeoapi/etc/sarracenia/metnotes.conf
 /opt/msc-pygeoapi/etc/sarracenia/umos-realtime.conf
+/opt/msc-pygeoapi/etc/sarracenia/thunderstorm-outlook.conf

debian/msc-pygeoapi.cron.d

@@ -50,4 +50,7 @@ MAILTO=""
 0 3 * * * geoadm . /local/home/geoadm/.profile && /usr/bin/find $MSC_PYGEOAPI_CACHEDIR -type d -empty -delete > /dev/null 2>&1
 
 # every day at 0800h, clean umos realtime data older than 7 days
-0 8 * * * geoadm . /local/home/geoadm/.profile && msc-pygeoapi data umos-realtime clean-indexes --dataset all --days 7 --yes
+0 8 * * * geoadm . /local/home/geoadm/.profile && msc-pygeoapi data umos-realtime clean-indexes --dataset all --days 7 --yes
+
+# every hour at 00h, clean expired thunderstorm outlooks
+0 * * * * geoadm . /local/home/geoadm/.profile && msc-pygeoapi data thunderstorm-outlook clean-outlooks --yes

deploy/default/msc-pygeoapi-config.yml

@@ -4076,6 +4076,41 @@ resources:
     #           data: ${MSC_PYGEOAPI_ES_URL}/discovery-metadata
     #           id_field: identifier
 
+    thunderstorm_outlook:
+        type: collection
+        title:
+            en: Thunderstorm Outlook
+            fr: Potentiel orageux
+        description:
+            en: The Thunderstorm Outlook is a graphical or GeoJSON forecast product, which depicts the expected geographic areas of thunderstorms in Canada. Thunderstorm Outlooks are issued by storm prediction centres across Canada during the convective season (May to October) each year. Both the graphical and GeoJSON products use the same source data that forecasters enter through the Ninjo software. Thunderstorm Outlooks are issued once per day at around 12:00 pm regional local time. Since each office has their own standards of procedure, the forecasters are not required to send it at 12:00 pm. Nonetheless, the timestamp in the data is preconfigured to say it is issued at 12:00 pm in the GeoJSON product. Subsequent amendments to existing Thunderstorm Outlooks are issued on an as-needed basis during the day. Each amendment generates a new GeoJSON file and graphical product. The Thunderstorm Outlook may not be updated with active severe weather alerts. Users are asked to check with the latest watches and warnings for the most current conditions.
+            fr: Le Potentiel orageux est un produit de prévision graphique ou en GeoJSON qui décrit les zones géographiques prévues pour les orages au Canada. Les Potentiels orageux sont émis par les centres de prévision des intempéries à travers le Canada pendant la saison convective (mai à octobre) chaque année. Les produits graphiques et en GeoJSON utilisent les mêmes données sources que les prévisionnistes entrent dans le logiciel Ninjo. Les Potentiels orageux sont émis une fois par jour vers 12h00, heure locale régionale. Puisque chaque bureau a ses propres normes de procédure, les prévisionnistes ne sont pas tenus de l'envoyer à 12h00. Néanmoins, l'horodatage des données est préconfiguré pour indiquer qu'elles sont émises à 12h00 dans le produit GeoJSON. Les amendements ultérieures des Potentiels orageux existants sont émis selon les besoins au cours de la journée. Chaque amendement génère un nouveau fichier GeoJSON et un nouveau produit graphique. Le Potentiel orageux pourrait ne pas être à jour avec les alertes de temps violent en cours. Les utilisateurs sont priés de consulter les dernières veilles et avertissements pour connaître les conditions les plus récentes.
+        keywords:
+            en: [Thunderstorm, Outlook, Rain, Tornado, Hail, Gust, Severity, Atmospheric Conditions]
+            fr: [Orage, Potentiel, Pluie, Tornade, Grêle, Rafale, Sévérité, Conditions atmosphériques]
+        crs:
+            - CRS84
+        links:
+            - type: text/html
+              rel: canonical
+              title:
+                en: Meteorological Service of Canada open data
+                fr: Données ouvertes du Service météorologique du Canada
+              href:
+                en: https://eccc-msc.github.io/open-data/msc-data/readme_en
+                fr: https://eccc-msc.github.io/open-data/msc-data/readme_fr
+              hreflang:
+                en: en-CA
+                fr: fr-CA
+        extents:
+            spatial:
+                bbox: [-145.27, 37.3, -48.11, 87.61]
+                crs: http://www.opengis.net/def/crs/OGC/1.3/CRS84
+        providers:
+            - type: feature
+              name: Elasticsearch
+              data: ${MSC_PYGEOAPI_ES_URL}/thunderstorm_outlook
+              id_field: id
+
     wis2-discovery-metadata:
         type: collection
         title: WMO WIS2 discovery metadata (experimental)

deploy/default/sarracenia/thunderstorm-outlook.conf

@@ -0,0 +1,20 @@
+# TODO: Update for HPFX once the data is on HPFX
+broker amqps://anonymous:[email protected]
+queue_name q_${BROKER_USER}.${PROGRAM}.${CONFIG}.${HOSTNAME}
+
+subtopic thunderstorm-outlooks.#
+
+mirror True
+
+discard on
+
+plugin ${MSC_PYGEOAPI_METPX_EVENT_FILE_PY}
+
+directory ${MSC_PYGEOAPI_CACHEDIR}
+
+loglevel ${MSC_PYGEOAPI_LOGGING_LOGLEVEL}
+
+report_back False
+
+instances 2
+accept .*

msc_pygeoapi/loader/__init__.py

@@ -70,7 +70,8 @@ def metadata():
     ('msc_pygeoapi.loader.cumulative_effects_hs', 'cumulative_effects_hs'),
     ('msc_pygeoapi.loader.radar_coverage_realtime', 'radar_coverage_realtime'),
     ('msc_pygeoapi.loader.nwp_dataset_footprints', 'nwp_dataset_footprints'),
-    ('msc_pygeoapi.loader.umos_realtime', 'umos_realtime')
+    ('msc_pygeoapi.loader.umos_realtime', 'umos_realtime'),
+    ('msc_pygeoapi.loader.thunderstorm_outlook', 'thunderstorm_outlook')
 )
 
 for module, name in commands: