DATEN aus unterschiedlichen Quellen erstellen, abgleichen und bereinigen für eine Datenbank?
Hallo zusammen, für unseren wachsenden Verein erstelle ich gerade eine Adressliste aus Kraut und Rüben Quellen. Meine Frage ist, wie bzw. mit welchem Tool/Software/KI kann ich eine Basis für eine Datenbank (CSV oder Excel als Ergebnis) aus unterschiedlichen Quellen erstellen. Also als Basis habe ich Tabellen in ganz unterschiedlichen Formaten, die ich zu einer Datei zusammenführen möchte. Beispiel: eine Adresse ist bei einer Quelle komplett in einer Spalte (Straße Hausnummer PLZ und Ort) bei einer anderen Quelle ist alles in einzelnen Spalten oder auch PLZ und Ort in einer.... also wild alles. Ich möchte diese Daten in einer Tabelle/Datenbank zusammenfassen. Welche automatisierten Tools gibt es hier? 1000000 Dank
Wie hoch ist denn das Volumen, also von welcher Größenordnung ist die Anzahl der Datensätze?
aktuell ca. 4000 in aus ca 150 quellen.
Kannst Du selbst programmieren?
leider nein.
3 Antworten
Für Adressen gibt es spezialisierte Tools, die auch aus großen und heterogenen Datenbeständen das Beste herausholen. Sowas zum Beispiel https://www.dataqualityapps.de/dublettenabgleich.html
Vielen Dank, wenn ich die Demos sehe, geht es hier eher um Dublettenabgleich. weniger um Import unterschiedlicher quellen, aber ich schau es mir noch mal genauer an.
Kannst Du programmieren? So ein Tool würde ich mir in Perl schreiben. In Python und anderen Sprachen geht es auch. Perl-Module, die Excel, CSV u.ä. verarbeiten können, gibt es, z.B.: https://metacpan.org/pod/DBD::CSV Um einige Fleißarbeit kommt man bei 150 Quellen in ganz unterschiedlichen Formaten nicht herum. Man muß eben für jede Quelle eine zu ihr passende Input-Schnittstelle schreiben, über die man die Daten in die Datenbank einlesen kann. Zum Bereinigen der Daten verwendet man Reguläre Ausdrücke. Der Output im CSV- oder Excel-Format ist dann das Einfachste.
leider kann ich nicht programmieren. aber vielen dank für die hilfe
Es wird Dir dann nichts anderes übrig bleiben als Deine Daten in Blöcken zu konvertieren.
Adresse in einer Zelle, da bietet sich: Daten - Text in Spalten - Getrennt ... an
bei anderer Darstellung ... die müsste man kennen.
Danke - ich hoffe doch sehr inzwischen gibt es andere Lösungen als per Hand. CRM Tools, KI Tools oder ähnliches. Muss auch nicht umsonst sein.