stetl.sh stopt zonder reden

[30c4]

Ik probereerde vanochtend de laatste versie van de docker container uit en deze leek te werken tot het abrupt stopte.

De laatste regel geeft alleen aan dat het proces gekilled is.
Verder komen er in de logs ook geen errors voor.

Mijn setup is als volgt:

• Docker NLExtract
• Docker PostGIS met port binding 5432

Het script maakt de benodigde tabellen aan maar daar blijft het wel bij.
Ik gebruik het Heel Nederland Extract van maart.

Is er een manier om verbose output te krijgen?

Dit is de log

INFO: 21-04-01 13:30:55 - Using options_file=/nlx/bagv2/etl/options/docker.args and user_args=-c conf/etl-imbag-2.1.0.cfg
2021-04-01 13:30:56,095 util INFO Found lxml.etree, native XML parsing, fabulous!
2021-04-01 13:30:56,151 util INFO Found GDAL/OGR Python bindings, super!!
2021-04-01 13:30:56,158 main INFO Stetl version = 2.1.dev0
2021-04-01 13:30:56,159 main INFO Found args file at: /nlx/bagv2/etl/options/common.args
2021-04-01 13:30:56,160 main INFO Found args file at: /nlx/bagv2/etl/options/docker.args
2021-04-01 13:30:56,161 ETL INFO INIT - Stetl version is 2.1.dev0
2021-04-01 13:30:56,161 ETL INFO Config/working dir = /nlx/bagv2/etl/conf
2021-04-01 13:30:56,161 ETL INFO Reading config_file = conf/etl-imbag-2.1.0.cfg
2021-04-01 13:30:56,162 ETL INFO Substituting 18 args in config file from args_dict: ['password', 'bag_input_file', 'pg_db', 'bag_file_ext', 'pg_user', 'pg_port', 'feat_per_tx', 'multival_opts', 'pg_host', 'srs_opts', 'schema', 'bag_obj_file_pat', 'spatial_extent', 'open_opts', 'layer_creation_opts', 'config_opts', 'cbs_gemeenten_jaar', 'bag_file_wildcard']
2021-04-01 13:30:56,162 ETL INFO Substituting args OK
2021-04-01 13:30:56,163 ETL INFO START
2021-04-01 13:30:56,163 util INFO Timer start: total ETL
2021-04-01 13:30:56,163 chain INFO Assembling Chain: input_sql_pre|output_postgres_sql...
2021-04-01 13:30:56,171 input INFO cfg = {'class': 'stetl.inputs.fileinput.StringFileInput', 'file_path': 'sql/create-schema.sql,sql/create-meta.sql,sql/create-tables.sql', 'format_args': 'schema:test'}
2021-04-01 13:30:56,171 fileinput INFO file_list=['sql/create-schema.sql', 'sql/create-meta.sql', 'sql/create-tables.sql']
2021-04-01 13:30:56,186 output INFO cfg = {'class': 'stetl.outputs.dboutput.PostgresDbOutput', 'database': 'bagv2', 'host': 'host.docker.internal', 'port': '5432', 'user': '<hidden>', 'password': '<hidden>', 'schema': 'test'}
2021-04-01 13:30:56,186 chain INFO Running Chain: input_sql_pre|output_postgres_sql
2021-04-01 13:30:56,186 fileinput INFO Read/parse for start for file=sql/create-schema.sql....
2021-04-01 13:30:56,187 fileinput INFO Read/parse ok for file=sql/create-schema.sql
2021-04-01 13:30:56,187 dboutput INFO executing SQL
2021-04-01 13:30:56,187 postgis INFO Connecting to dbname=bagv2 user=postgres host=host.docker.internal port=5432
2021-04-01 13:30:56,211 postgis DEBUG Connected to database bagv2
2021-04-01 13:30:56,228 dboutput INFO executed SQL, rowcount=-1
2021-04-01 13:30:56,229 fileinput INFO Read/parse for start for file=sql/create-meta.sql....
2021-04-01 13:30:56,230 fileinput INFO Read/parse ok for file=sql/create-meta.sql
2021-04-01 13:30:56,230 dboutput INFO executing SQL
2021-04-01 13:30:56,230 postgis INFO Connecting to dbname=bagv2 user=postgres host=host.docker.internal port=5432
2021-04-01 13:30:56,240 postgis DEBUG Connected to database bagv2
2021-04-01 13:30:56,268 dboutput INFO executed SQL, rowcount=1
2021-04-01 13:30:56,268 fileinput INFO Read/parse for start for file=sql/create-tables.sql....
2021-04-01 13:30:56,269 fileinput INFO Read/parse ok for file=sql/create-tables.sql
2021-04-01 13:30:56,269 fileinput INFO all files done
2021-04-01 13:30:56,269 dboutput INFO executing SQL
2021-04-01 13:30:56,269 postgis INFO Connecting to dbname=bagv2 user=postgres host=host.docker.internal port=5432
2021-04-01 13:30:56,278 postgis DEBUG Connected to database bagv2
2021-04-01 13:30:56,350 dboutput INFO executed SQL, rowcount=1
2021-04-01 13:30:56,351 component INFO StringFileInput invokes=3 time(total, min, max, avg) = 0.003 0.001 0.001 0.001
2021-04-01 13:30:56,351 component INFO PostgresDbOutput invokes=3 time(total, min, max, avg) = 0.161 0.038 0.081 0.054
2021-04-01 13:30:56,351 chain INFO DONE - 3 rounds - chain=input_sql_pre|output_postgres_sql 
2021-04-01 13:30:56,351 chain INFO Assembling Chain: input_bag_leveringsdoc_file|convert_vsi_to_etree_doc|transformer_xslt_leveringsdoc|output_ogr_postgis...
2021-04-01 13:30:56,352 input INFO cfg = {'class': 'stetl.inputs.fileinput.VsiZipFileInput', 'file_path': 'test/data/lv/BAGNLDL*.zip', 'name_filter': 'Leveringsdocument-BAG-Extract.xml'}
2021-04-01 13:30:56,353 fileinput INFO file_list=['test/data/lv/BAGNLDL.zip']
2021-04-01 13:30:56,364 output INFO cfg = {'class': 'stetl.outputs.ogroutput.Ogr2OgrOutput', 'temp_file': 'temp/bagger.xml', 'ogr2ogr_cmd': 'ogr2ogr\n-append\n-lco LAUNDER=YES -lco PRECISION=NO -lco FID=gid -lco SPATIAL_INDEX=NONE\n-f PostgreSQL\n"PG:dbname=bagv2 host=host.docker.internal port=5432 user=<hidden> password=<hidden> active_schema=test"\n-oo GFS_TEMPLATE=gfs/imbag-2.1.0.gfs\n-oo WRITE_GFS=NO\n-a_srs EPSG:28992\ntemp/bagger.xml'}
2021-04-01 13:30:56,365 chain INFO Running Chain: input_bag_leveringsdoc_file|convert_vsi_to_etree_doc|transformer_xslt_leveringsdoc|output_ogr_postgis
2021-04-01 13:30:56,367 fileinput DEBUG MATCH: ['/vsizip/{test/data/lv/BAGNLDL.zip}', 'Leveringsdocument-BAG-Extract.xml']
2021-04-01 13:30:56,367 fileinput DEBUG ADD ENTRY: /vsizip/{test/data/lv/BAGNLDL.zip}/Leveringsdocument-BAG-Extract.xml
/nlx/bagv2/etl/stetl.sh: line 49:    15 Killed                  ${STETL_HOME}/bin/stetl -a ${common_options_file} -a ${options_file} ${user_args}
/nlx

[justb4]

Meestal is dit een geheugenprobleem. Probeer eerst een enkele kleine Gemeente bijv Doesburg te verwerken.

[30c4]

Het ziet er inderdaad naar uit dat het een memory issue is aangezien individuele gemeentes en dagmutaties wel runnen.

Ik zit op een machine met 32GB aan RAM, is er enig inzicht in hoeveel geheugen er nodig is om het extract van heel Nederland te laten lopen?

Ik heb ook geprobeerd de optie max_features aan te passen maar dat hielp niet.
Is er een andere manier waarop er een max aan geheugen meegegeven kan worden?

[justb4]

32GB moet genoeg zijn, zelfs 16GB. Je zegt niets over je omgeving: OS versie, Docker installatie etc. Sommige Docker installaties, ik weet van Mac OSX, krijgen standaard beperkt geheugen. Dat is te verhogen.

[30c4]

Toevallig had ik net inderdaad gezien dat MacOS een standaard van 2GB aan docker geeft. Stom...
Het lijkt nu te werken dus ik close de issue.
Bedankt voor het meedenken @justb4!

[jhpoosthoek]

Bij het inladen van de BRK ZIP in een PostgreSQL database met NLExtract stopt het proces abrupt:

2024-08-07 07:23:51,799 fileinput INFO zip file read : ../../../kadastralekaart-gml-nl-nohist.zip filecount=5
2024-08-07 07:23:51,799 fileinput INFO Pop file record: {'file_path': '../../../kadastralekaart-gml-nl-nohist.zip', 'name': 'kadastralekaart_perceel.gml'}
./etl.sh: line 43: 68307 Killed                  python $STETL_HOME/stetl/main.py -c conf/etl-brk.cfg -a $options_file

Ik gebruik een VPS met deze config: 4 GB Memory / 2 Intel vCPUs / 120 GB Disk / Ubuntu 24.04 (LTS) x64

Ligt dit aan het geheugen van de VPS? Het inladen van de BAG via NLExtract lukt daarentegen wel...

[justb4]

Bij het inladen van de BRK ZIP in een PostgreSQL database met NLExtract stopt het proces abrupt:

2024-08-07 07:23:51,799 fileinput INFO zip file read : ../../../kadastralekaart-gml-nl-nohist.zip filecount=5
2024-08-07 07:23:51,799 fileinput INFO Pop file record: {'file_path': '../../../kadastralekaart-gml-nl-nohist.zip', 'name': 'kadastralekaart_perceel.gml'}
./etl.sh: line 43: 68307 Killed                  python $STETL_HOME/stetl/main.py -c conf/etl-brk.cfg -a $options_file

Ik gebruik een VPS met deze config: 4 GB Memory / 2 Intel vCPUs / 120 GB Disk / Ubuntu 24.04 (LTS) x64

Ligt dit aan het geheugen van de VPS? Het inladen van de BAG via NLExtract lukt daarentegen wel...

Kan aan veel zaken liggen. Handig te vermelden of je Docker gebruikt en welke versie van NLExtract (Docker Image). En hoeveel geheugen Docker krijgt, is op sommige systemen heel behoudend. 4 GB Memory / 2 Intel vCPUs is voor Basisregistratie ETL wel wat zuinig...

Meest voor de hand is geheugenprobleem. BRK verwerking is veel zwaarder. Recent is GFSPreparationFilter toegevoegd zoals al jaren voor BGT gebruikt. Dit zou e.e.a. sneller moeten maken, o.a. door aantal Features in GFS bestand te zetten, maar lijkt ook wel een resource bottleneck...maar zou je in de log-output moeten zien. Voor BAG wordt de GDAL BAG Driver bijv gebruikt, zijn ook meerdere kleinere bestanden.

[jhpoosthoek]

Ik gebruik miniconda (voor gdal) en gebruik git om de nieuwste NLExtract te downloaden. Geheugen leek me inderdaad al de bottleneck inderdaad. Waar vind ik de log-output?

[justb4]

Log output gaat gewoon naar standaard out zoals je boven al liet zien. Neem aan dat dat niet hele output is. Zou handig zijn die ook hier te 'pasten' (wachtwoorden worden niet getoond). Maar wat ik daar zie is dat het proces wordt afgebroken bij het "unzippen" van 'kadastralekaart_perceel.gml'. Dat is een zeer groot bestand (GML comprimeert goed...) dus daar gaat het al mis, nog voor verwerking. De overige bestanden zijn wel goed verwerkt?

[jhpoosthoek]

Ja inderdaad, toch echt een memory probleem. Zodoende nog even beter online naar oplossing gezocht. Ik heb een swapfile aangemaakt van 4GB. Fingers crossed, maar het lijkt te lukken, de ETL output is nu bij 2024-08-13 12:31:12,443 gfspreparationfilter INFO calling ogrinfo.