Skip to content

Fix/csv quoted fields - #11

Open
ehzguevara wants to merge 2 commits into
ax-meyer:mainfrom
ehzguevara:fix/csv-quoted-fields
Open

ehzguevara wants to merge 2 commits into
ax-meyer:mainfrom
ehzguevara:fix/csv-quoted-fields

Conversation

@ehzguevara

Copy link
Copy Markdown

Ursache

Der NRW-Grundsteuer-Export ist semikolongetrennt und enthält quotierte Textfelder.
In lagebeztext können Semikolons vorkommen, z. B.:
image

"Teil1; Teil2"

Die bisherige Verarbeitung mit String.Split(';') behandelte dieses Semikolon fälschlich als Spaltentrenner. Dadurch wurden nachfolgende Adressfelder verschoben und Orts- bzw. Straßenwerte wie Up'n Esch" konnten als PLZ importiert werden.

Änderungen

  • Quote-fähiges Parsen der NRW-CSV-Felder statt String.Split
    • Semikolons innerhalb von "..." bleiben Bestandteil des Feldwerts.
    • Escapte Anführungszeichen ("") werden unterstützt.
    • Nach den benötigten Spalten endet das Parsen; große JSON-Felder am Zeilenende werden nicht unnötig verarbeitet.
  • Regressionstests für lagebeztext mit eingebettetem Semikolon ergänzt.
  • Unvollständige Adressdatensätze werden weiterhin verworfen.
  • Npgsql-CommandTimeout für den mehrmillionenzeiligen NRW-COPY-Import deaktiviert.
  • Fehlgeschlagene Import-Logs werden entfernt, damit derselbe Import erneut gestartet werden kann.

Validierung

Die verbleibenden nichtnumerischen PLZ-Werte stammen ausschließlich aus dem Quellsystemwert uneindeutig und sind nicht Folge einer verschobenen CSV-Spalte.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant