From b088e4fc3045a4f6d67c329e1d8ad06a54fa29c0 Mon Sep 17 00:00:00 2001 From: Just van den Broecke Date: Fri, 9 Feb 2024 15:34:09 +0100 Subject: [PATCH] #364 BRT met TOP10NL docs aangepast --- doc/source/algemeen.rst | 7 +-- doc/source/brtextract.rst | 94 ++++++++++++++++++++++++++++++++++ doc/source/index.rst | 2 +- doc/source/stetl-framework.rst | 5 +- doc/source/top10extract.rst | 86 ------------------------------- 5 files changed, 102 insertions(+), 92 deletions(-) create mode 100644 doc/source/brtextract.rst delete mode 100644 doc/source/top10extract.rst diff --git a/doc/source/algemeen.rst b/doc/source/algemeen.rst index daee7e0d..8bcfaaeb 100644 --- a/doc/source/algemeen.rst +++ b/doc/source/algemeen.rst @@ -18,9 +18,10 @@ Waarom NLExtract ? Nederlandse overheidsinstellingen zoals Het Kadaster en Rijkswaterstaat stellen hun (geo) data meer en meer beschikbaar als Open Data. Bijvoorbeeld de BAG (Basisregistratie Adressen en Gebouwen, www.kadaster.nl/BAG) levert je alle -adressen en gebouwen in Nederland met hun coordinaten. De Top10NL -(www.kadaster.nl/top10nl) bevat gegevens voor de gehele topografie van -Nederland, veel gedetailleerder dan Google Maps dat biedt. +adressen en gebouwen in Nederland met hun coordinaten. +De `BRT, bijv Top10NL `_ +bevat gegevens voor de gehele topografie van +Nederland, op meerdere schalen, veel gedetailleerder dan Google Maps dat biedt. Dat is dus prachtig, want nu kan iedereen deze data zelf downloaden en naar eigen believen gebruiken...Ok, downloaden, maar dan ? Wat je op dit moment geleverd diff --git a/doc/source/brtextract.rst b/doc/source/brtextract.rst new file mode 100644 index 00000000..8e86ee23 --- /dev/null +++ b/doc/source/brtextract.rst @@ -0,0 +1,94 @@ +.. _brtextract: + +*********** +BRT-Extract +*********** + +Hieronder staat de handleiding voor het gebruik van de tools om de diverse BRT datasets, zoals TOP10NL, te extraheren. Deze tools +heten kortweg ``BRT-Extract`` of soms ``NLExtract-BRT``. + + NB: als je alleen interesse hebt om een PostGIS versie van de laatste BRT bijv TOP10NL te hebben, kun + je deze ook (betaald) downloaden als PostGIS dumpfile via de link via de link https://geotoko.nl/. + De dump file (``.dump`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdmin``. + Dan hoef je alle zaken hieronder niet uit te voeren :-). + +Om gespecialiseerde extracties bijv naar andere databases zoals Oracle te doen, neem contact op +met het NLExtract-team, zie "Ondersteuning": https://nlextract.nl + +Handleiding BRT-Extract +======================= + +Algemeen +-------- + +De `BRT Levering van Kadaster via PDOK `_ +bestaat uit 6 (Vector) datasets, ieder voor specifieke schaal: TOP10NL, TOP50NL, TOP100NL, TOP250NL, TOP500NL, TOP1000NL. +Voor gemak hieronder als TOP-NL aangeduid. + + +Dus bijv TOP10NL is onderdeel van de `Kadaster Basisregistratie Topografie (BRT) `_. + +``BRT-Extract`` bevat de tools om de TOP-NL GML-bronbestanden, zoals geleverd door het Kadaster (bijv via PDOK), +om te zetten naar hanteerbare formaten, zoals PostGIS. Tevens bevat BRT-Extract visualisatie-bestanden +(onder de map `style/` ) voor QGIS en SLDs om kaarten te maken. (NB deze zijn nu nog gebaseerd op TOP10NL 1.0!). + +TOP-NL (v1.2) wordt via PDOK geleverd d.m.v. `OGC Download APIs `_. + +Zie `Bestandswijzer_GML_TOP10NL_2012.pdf `_ +voor de kaartbladindeling. + +Er zijn 13 typen TOP10NL objecten. Zie voor de beschrijving van de structuur en verdere bijzonderheden voor de GML bestandsindeling in +`BRT_Catalogus_Productspecificaties.pdf `_ (nog gebaseerd op versie 1.1.1). + +TOP-NL downloaden +----------------- + +TOP-NL brondata in GML kun je +via de `PDOK OGC Download APIs `_ downloaden. + +`NB: het is heel belangrijk om de laatste versie van bijv TOP10NL te gebruiken. Dit is versie 1.2.` Deze wordt geleverd +met ingang van november 2015. Alleen deze versie wordt ondersteund door de huidige versie +BRT-Extract. Met ingang van deze datum is ook het Kadaster volledig overgeschakeld. De oude +versies van TOP10NL worden niet meer ondersteund. Mocht je toch de oude versie willen inlezen, +gebruik dan een oude release van NLExtract. + +BRT-Extract downloaden +---------------------- + +Vind altijd de laatste versie op: +https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip. + +Omdat NLExtract voortdurend in ontwikkeling is, kun je ook de actuele broncode, een `snapshot`, downloaden +en op dezelfde manier gebruiken als een versie: + +- snapshot via git: git clone http://github.com/opengeogroep/NLExtract.git +- snapshot als .zip: https://github.com/nlextract/NLExtract/archive/master.zip + +BRT-Extract draaien +------------------- + +Zie `per dataset de READMEs `_. + +Ontwerp +------- + +In eerste instantie wordt de GML geconverteerd en geladen naar PostGIS. Dit gebeurt met de GDAL/OGR tool +ogr2ogr binnen Stetl. Echter, er zijn 2 belangrijke zaken die dit lastig maken: + +- meerdere geometrieën per object, bijv een Waterdeel GML element kan een punt, een lijn of een vlak bevatten +- meerdere voorkomens van een attribuut (attribute multiplicity), bijv. een Wegdeel GML element kan meerdere element-attributen genaamd "nWegnummer" bevatten + +Voorheen werd met een XSLT script de +GML-elementen uitgesplitst naar geometrie, zodat ieder element een enkele geometrie bevat. Bijvoorbeeld +Wegdeel kent maar liefst 5 geometrie-attributen. Dit wordt opgesplitst naar Wegdeel_Lijn, Wegdeel_Vlak etc. +Een nieuw GML-bestand wordt hiermee opgebouwd. + +Echter momenteel wordt middels Stetl en +een `GDAL GFS bestand `_ (voorbeeld TOP10NL) +TOP-NL direct in PostGIS ingelezen met alle geometrieën per tabel (=object-type). +Daarna wordt de uitsplitsing naar één geometrie per tabel +met `SQL-postprocessing `_ gedaan. + +Met ingang van de november-release van de BRT (2015R11) wordt +alleen het Stetl-framework ondersteund voor BRT-Extract. +Zie verder :doc:`stetl-framework` voor de werking van BRT-Extract. diff --git a/doc/source/index.rst b/doc/source/index.rst index ce4e1755..e144c376 100644 --- a/doc/source/index.rst +++ b/doc/source/index.rst @@ -25,9 +25,9 @@ Inhoud: services.rst bagextract.rst bagv2extract.rst - top10extract.rst bgtextract.rst brkextract.rst + brtextract.rst stetl-framework.rst instructie.rst links.rst diff --git a/doc/source/stetl-framework.rst b/doc/source/stetl-framework.rst index 9b343baa..8ef170ee 100644 --- a/doc/source/stetl-framework.rst +++ b/doc/source/stetl-framework.rst @@ -5,13 +5,14 @@ Stetl-framework *************** -NLExtract gaat steeds meer gebruik maken van de ETL framework Stetl, zie http://stetl.org. +NLExtract maakt voor alle datasets gebruik van het ETL framework Stetl, zie https://stetl.org. Hierdoor hoeft niet meer per dataset een apart programma worden gemaakt. De volgende extract-tools maken gebruik van het Stetl-framework: -* :doc:`top10extract` +* :doc:`bagv2extract` * :doc:`bgtextract` * :doc:`brkextract` +* :doc:`brtextract` Stetl maakt i.h.a. gebruik van Python voor alle scripts. De Python-scripts voor de extract-tools die gebruik maken van het Stetl-framework roepen `native` tools aan: diff --git a/doc/source/top10extract.rst b/doc/source/top10extract.rst deleted file mode 100644 index 17595eaf..00000000 --- a/doc/source/top10extract.rst +++ /dev/null @@ -1,86 +0,0 @@ -.. _TOP10extract: - - -************* -TOP10-Extract -************* - -Hieronder staat de handleiding voor het gebruik van de tools om de BRT TOP10NL te extraheren. Deze tools -heten kortweg ``TOP10-Extract`` of soms ``NLExtract-TOP10``. - - NB: als je alleen interesse hebt om een PostGIS versie van de laatste TOP10NL te hebben, kun - je deze ook (betaald) downloaden als PostGIS dumpfile via de link via de link https://geotoko.nl/. - De dump file (``.dump`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``. - Dan hoef je alle zaken hieronder niet uit te voeren :-). - -Om gespecialiseerde extracties bijv naar andere databases zoals Oracle te doen, neem contact op -met het NLExtract-team, zie "Ondersteuning": http://www.nlextract.nl/issues. - -Handleiding TOP10-Extract -========================= - -Algemeen --------- - -TOP10NL is onderdeel van de Kadaster Basisregistratie Topografie (BRT). Vind algemene info -over TOP10NL op http://www.kadaster.nl/web/artikel/productartikel/TOP10NL.htm. - -``TOP10-Extract`` bevat de tools om de TOP10NL GML-bronbestanden, zoals geleverd door het Kadaster (bijv via PDOK), -om te zetten naar hanteerbare formaten, zoals PostGIS. Tevens bevat TOP10-Extract visualisatie-bestanden -(onder de map `style/` ) voor QGIS en SLDs om kaarten te maken. (NB deze zijn nu nog gebaseerd op TOP10NL 1.0!). - -TOP10NL (v1.2) wordt geleverd door het Kadaster als een .zip file van plm 2 GB. Voor de landsdekkende -versies zijn er 2 soorten .zip-bestanden, een op basis van kaartbladen en een .zip file op basis van -"GML FileChunks" waarbij de totale GML is opgedeeld in files van 300 MB. Zie `Bestandswijzer_GML_TOP10NL_2012.pdf `_ voor de kaartbladindeling. - -Er zijn 13 typen TOP10NL objecten. Zie voor de beschrijving van de structuur en verdere bijzonderheden voor de GML bestandsindeling in -`BRT_Catalogus_Productspecificaties.pdf `_ (nog gebaseerd op versie 1.1.1). - -TOP10NL downloaden ------------------- - -TOP10NL brondata in GML kun je via `PDOK TOP10NL Downloads `_ downloaden. - -Er zijn twee download varianten: de "GML File Chunks" en "50D Kaartbladen". De eerste is de totale verzameling opgesplitst -in 300MB GML Files, de tweede bevat de GML bestanden per kaartblad. Download de Kaartbladen alleen als je bijv. een enkel -gebied wilt inlezen of om te testen. Beide ZIP-bestanden zijn ca. 2 GB groot. Het is ook mogelijk om de TOP10NL via PDOK-services te downloaden, bijv. via WFS. Het inlezen van deze gegevens via NLExtract wordt niet ondersteund. - -Als je heel Nederland wilt inlezen, kun je het beste de "GML File Chunks" gebruiken. -De directe link is http://geodata.nationaalgeoregister.nl/TOP10nlv2/extract/chunkdata/TOP10nl_gml_filechunks.zip?formaat=gml. - -Voor de kaartbladen is dat: http://geodata.nationaalgeoregister.nl/TOP10nlv2/extract/kaartbladtotaal/TOP10nl.zip?formaat=gml. - - -`NB: het is heel belangrijk om de laatste versie van TOP10NL te gebruiken. Dit is versie 1.2.` Deze wordt geleverd -met ingang van november 2015. Alleen deze versie wordt ondersteund door de huidige versie -TOP10-Extract. Met ingang van deze datum is ook het Kadaster volledig overgeschakeld. De oude -versies van TOP10NL worden niet meer ondersteund. Mocht je toch de oude versie willen inlezen, -gebruik dan een oude release van NLExtract. - -TOP10-Extract downloaden ------------------------- - -Vind altijd de laatste versie op: https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip. - -Omdat NLExtract voortdurend in ontwikkeling is, kun je ook de actuele broncode, een `snapshot`, downloaden -en op dezelfde manier gebruiken als een versie: - -- snapshot via git: git clone http://github.com/opengeogroep/NLExtract.git -- snapshot als .zip: https://github.com/nlextract/NLExtract/archive/master.zip - -Ontwerp -------- - -In eerste instantie wordt de GML geconverteerd en geladen naar PostGIS. Dit gebeurt met de GDAL/OGR tool -ogr2ogr. Echter, er zijn 2 belangrijke zaken die dit lastig maken: - -- meerdere geometrieën per object, bijv een Waterdeel GML element kan een punt, een lijn of een vlak bevatten -- meerdere voorkomens van een attribuut (attribute multiplicity), bijv. een Wegdeel GML element kan meerdere element-attributen genaamd "nWegnummer" bevatten - -Om het eerste probleem op te lossen worden middels een XSLT script (etl/xsl/TOP10-split_v1_2.xsl) de -GML-elementen uitgesplitst naar geometrie, zodat ieder element een enkele geometrie bevat. Bijvoorbeeld -Wegdeel kent maar liefst 5 geometrie-attributen. Dit wordt opgesplitst naar Wegdeel_Lijn, Wegdeel_Vlak etc. -Een nieuw GML-bestand wordt hiermee opgebouwd. Vervolgens wordt via ogr2ogr dit uitgesplitste GML bestand -in PostGIS geladen. - -Met ingang van de november-release van de BRT (2015R11) wordt alleen het Stetl-framework ondersteund voor TOP10-Extract. Zie verder :doc:`stetl-framework` voor de werking van TOP10-Extract.