#366 finalizing BRK DKK v4 to v5 - doc and download URL

brk/etl/README.md

@@ -1,5 +1,5 @@
 # NLExtract - BRK - DKK
-BRK inlezen met [Stetl ETL framework](http://stetl.org).
+BRK inlezen met [Stetl ETL framework](https://stetl.org).
 
 door: Just van den Broecke en Frank Steggink
 
@@ -17,15 +17,15 @@ aanwezig zijn. Bij het klonen van de GitHub komt Stetl als volgt mee:
 Stetl hoeft niet apart geinstalleerd, alleen de Stetl-dependencies.
 
 Dependencies van Stetl installeren, zie
-http://www.stetl.org/en/latest/install.html
+https://stetl.org/en/latest/install.html
 
-Meer over Stetl: http://stetl.org
+Meer over Stetl: https://stetl.org
 
 ## Downloaden GML
 
-Met het hulpscript [download-brk.sh <doelmap>](download-brk.sh) kan de BRK-DKK eerst gedownload worden naar een doelmap.
+Met het hulpscript [download-brk.sh <doelmap>](download-brk.sh) kan de BRK-DKK eerst gedownload worden naar het doelbestand `dkk-gml-nl-nohist.zip`.
 
-Onder Windows: [download-brk.cmd <doelmap>](download-brk.cmd)
+Onder Windows: [download-brk.cmd <doelmap>](download-brk.cmd)   NEEDS FIXING!!!
 
 NB, soms zijn de gedownloade files 0 bytes. Oorzaak is vreemd HTTPS probleem bij PDOK vermoedelijk. Dit is
 ondervangen door het downloaden met wget in een loop uit te voeren en vervolgens met unzip de inhoud
@@ -51,11 +51,8 @@ Stetl configuratie, hoeft niet gewijzigd, alleen indien bijv andere output gewen
 
 Een aantal opties kunnen op 2 manieren vervangen worden:
 
-1- Impliciet: Overrule default opties (database params etc) met een eigen lokale file gebaseerd op
-je lokale hostnaam: ``options/<jouw host naam>.args``
-
-2- Expliciet op command line via  ``./etl.sh <mijn opties file>.args``
-                                  Windows: ``etl-brk.cmd <mijn opties file>.args``
+* Impliciet: Overrule default opties (database params etc) met een eigen lokale file gebaseerd op je lokale hostnaam: ``options/<jouw host naam>.args``
+* Expliciet: op command line via  ``./etl.sh <mijn opties file>.args`` Windows: ``etl-brk.cmd <mijn opties file>.args``
 
 Indien methode 2 gebruikt wordt, prevaleren de expliciete opties-file boven 1 en de default opties!
 

brk/etl/download-brk.sh

@@ -1,20 +1,6 @@
 #!/bin/bash
 
-# ID's van 32x32 km gebieden om de BRK te downloaden. Let op, de ID's mogen geen voorloopnullen bevatten.
-#blocks="39 45 48 50 51 54 55 56 57 58 59 60 61 62 63 74 75 96 97 98 99 104 105 106 107 110 111 145 148 149 150 151 156 157 158 159 180 181 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 224 225 228 229 230"
-
 DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
 
-# [ -z "$1" ] && pushd leveringen/latest || pushd $1
-#for block in ${blocks}
-#do
-#  echo "Downloading BRK-blok ${block} ..."
-#  block_url="https://www.pdok.nl/download/service/extract.zip?extractname=kadastralekaartv3&extractset=gml&excludedtypes=undefined&history=false&tiles=%7B%22layers%22%3A%5B%7B%22aggregateLevel%22%3A4%2C%22codes%22%3A%5B${block}%5D%7D%5D%7D"
-
-#  ${DIR}/robust-download.sh ${block_url} brk_${block}.zip
-#done
-
-${DIR}/robust-download.sh https://www.pdok.nl/download/service/cache/kadastralekaartv3-gml-nl-nohist.zip kadastralekaartv3-gml-nl-nohist.zip
-
-# popd
+${DIR}/robust-download.sh https://api.pdok.nl/kadaster/kadastralekaart/download/v5_0/full/predefined/kadastralekaart-gml-nl-nohist.zip dkk-gml-nl-nohist.zip
 

doc/source/brkextract.rst

@@ -2,52 +2,67 @@
 
 
 ***********
-BRK-extract
+BRK-Extract
 ***********
 
-Hieronder staat de handleiding voor het gebruik van de tools om BRK te extraheren. Deze tools
-heten kortweg ``Brk-extract`` of soms ``NLExtract-BRK``.
+Hieronder staat de handleiding voor het gebruik van de tools om de BRK Digitale Kadastrale Kaart  te extraheren. Deze tools
+heten kortweg ``BRK-Extract`` of soms ``NLExtract-BRK``.
 
    NB: als je alleen interesse hebt om een PostGIS versie van de laatste BRK te hebben, kun
    je deze ook (betaald) downloaden als PostGIS dumpfile via de link https://geotoko.nl/.
-   De dump file (``.dump`` bestand)  kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
+   De dump file (``.dump`` bestand)  kun je direct inlezen in PostGIS, bijv met ``PGAdmin``.
    Dan hoef je alle zaken hieronder niet uit te voeren :-).
 
 Om gespecialiseerde extracties bijv naar andere databases zoals Oracle te doen, neem contact op
-met het NLExtract-team, zie "Ondersteuning": http://www.nlextract.nl/issues.
+met het NLExtract-team, zie "Ondersteuning": https:/nlextract.nl.
 
-Handleiding BRK-extract
+Handleiding BRK-Extract
 =======================
 
 Algemeen
 --------
 
-Brk-extract is onderdeel van de NLExtract tools voor het inlezen en verrijken van de Basisregistratie Kadaster (BRK). Deze open dataset bestaat uit een aantal GML-bestanden en wordt (voorlopig) ingelezen in een PostgreSQL/PostGIS database.
+BRK-Extract is onderdeel van de NLExtract tools voor het inlezen en verrijken van de Digitale Kadastrale Kaart van Kadaster.
+Dit betreft o.a. grenzen, percelen en perceelnummers uit
+de `Basisregistratie Kadaster <https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/stelsel-van-basisregistraties/10-basisregistraties/brk/>`_ (BRK),
+maar bijv geen eigendomsinformatie.
+
+Via `PDOK wordt Digitale Kadastrale Kaart <(https://www.pdok.nl/downloadviewer/-/article/kadastrale-kaart>`_ in verschillende vormen als Open Data uitgeleverd.
+
+De "download" bestaat uit GML-bestanden en wordt door BRK-Extract ingelezen in een PostGIS database. De huidige versie van Digitale Kadastrale Kaart is "v5".
 
-Er zijn vier typen BRK-objecten (featureklassen). Iedere featureklasse heeft een groot aantal attributen. Drie hiervan, Annotatie, Bebouwing en Kadastrale Grens, hebben één geometrie, maar Perceel heeft twee geometrieën (perceelgrens en labelpunt).
 
 BRK downloaden
 --------------
 
-De brondata van de BRK in GML kun je via `PDOK Downloads Kadastrale Kaart <https://service.pdok.nl/kadaster/cp/atom/v1_0/downloads/cadastralparcels.zip>`_ downloaden. Voor NLExtract zijn reeds downloadscripts gemaakt, voor zowel Linux als Windows.
+De brondata van de BRK in GML kun je via `PDOK Kadastralekaart Download API <https://api.pdok.nl/kadaster/kadastralekaart/download/v5_0/ui/>`_ downloaden.
+Voor NLExtract zijn reeds downloadscripts gemaakt, voor zowel Linux als Windows.
+
+De BRK wordt via PDOK geleverd in ZIP-bestanden.
 
-De BRK wordt via PDOK geleverd in ZIP-bestanden. Deze worden per provincie beschikbaar gesteld. De bestanden bevatten geen overlappende gegevens. Ieder ZIP-bestand bevat vier GML-bestanden: één bestand per featureklasse. Het is mogelijk om de kadastrale kaart via PDOK-services te downloaden, bijv. via WFS. Het inlezen van deze gegevens via NLExtract wordt niet ondersteund. De ZIP-bestanden zijn samen ca. 4 GB groot.
 
-Brk-extract downloaden
+BRK-Extract downloaden
 ----------------------
 
 Vind altijd de laatste versie op: https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip.
 
 Omdat NLExtract voortdurend in ontwikkeling is, kun je ook de actuele broncode, een `snapshot`, downloaden
 en op dezelfde manier gebruiken als een versie:
 
-- snapshot via git: git clone http://github.com/opengeogroep/NLExtract.git
+- snapshot via git: git clone https://github.com/NLExtract/NLExtract.git
 - snapshot als .zip: https://github.com/nlextract/NLExtract/archive/master.zip
 
+Maar handiger is om Docker te gebruiken.
+
 Ontwerp
 -------
 
+Zie https://github.com/nlextract/NLExtract/tree/master/brk .
+
 In eerste instantie wordt de GML geconverteerd en geladen naar PostGIS. Dit gebeurt met de GDAL/OGR tool
-ogr2ogr. GDAL/OGR versie 1.11 is de minimale versie. Hiermee kunnen ook de meerdere geometrieën van een perceel ingelezen worden. Het GFS-bestand, een stuurbestand voor het inlezen van GML-data via ogr2ogr, is hierop aangepast.
+ogr2ogr binnen Stetl. Hiermee kunnen ook de meerdere geometrieën van een perceel ingelezen worden. Het GFS-bestand, een
+`GDAL stuurbestand <https://github.com/nlextract/NLExtract/blob/master/brk/etl/gfs/brk.gfs>`_
+voor het inlezen van GML-data via ogr2ogr, is hierop aangepast.
+
 
-Zie verder :doc:`stetl-framework` voor de werking van Brk-extract.
+Zie verder :doc:`stetl-framework` voor de werking van BRK-Extract.