Daten von Website extrahieren?
Guten Tag zusammen,
ich bin aktuell dabei meine Masterthesis zu verfassen und möchte hierzu gern die Umsetzung von ökologischen Maßnahmen an Wasserkraftwerken in BW auswerten.
Die Daten hierzu sind auf einer Website zu finden: Karte: Maßnahmendokumentation Hydromorphologie - Daten- und Kartendienst der LUBW (baden-wuerttemberg.de)
Nun zu meiner Frage - ist es möglich, evtl. mithilfe eines Programms oder bspw. Python die Daten von hier zu extrahieren und in einer Excel Tabelle darzustellen?
Besten Dank im voraus
1 Antwort
Ich kann nicht auf die Siete zugreifen. Aber wahrscheinlich gibt es da ein API, das man nutzen kann, musst du die Browserkonsole durchforsten.
Oder du schreibst den zuständigen einfach mal eine E-Mail und fragst nach, ob sie dir die Rohdaten zukommen lassen können.
Schau dir mal in der Browserkonsole an, was da beim Laden der Seite für Aufrufe passieren.
Interessant dürften die JSON-Dateien sein und die mit unbekanntem Format mit "LAYER" in der URL/in den Parametern (wobei die nicht verwendbar aussehen. Dekodiert mit base64 ergibt sich vorne überall "PNG", dann irgendein Mist, also vielleicht nur die Info an den Browser, wo die Bilder dazu liegen).
Evtl. sind die Bilder auch relevant.
Manche Anfragen lassen sich aber nicht wiederholt durchführen, sind womöglich an die Seite gebunden. Da müsste man entweder vortäuschen, die Seite zu sein, oder ein Browserscript verwenden um die nNfragen abzufangen.
Oder, wenn es nur wenige Daten sind, diese einfach selbst kopieren.
Danke für die ausführliche Antwort! Es geht um Daten mehreren Tausend Kraftwerken - die Karte gibt wenn man einen Standort anklickt Daten zu jeweilig getroffenen Maßnahmen wieder, und ob die gesetzlichen Auflagen erfüllt sind, dies wollte ich in eine Excel übernehmen. Da eine händische Auswertung hier den zeitlichen Rahmen sprengt dachte ich mir dass es hierzu evtl. eine Möglichkeit gäbe da ich auch schon von Scraping gehört hatte.
Das habe ich schon gemacht - ich wollte eben auch ausloten ob es eine andere Option gibt...aber so wie es scheint ist diese zu Aufwendig.
Naja, musst du wissen.
Also eines der JSON-Teile scheint zu sagen, wie die Map-Teile angeordnet werden. Die anderen sind wohl für das UI da.
Ich sehe auch beim weiteren testen, dass man anscheinend eine Karte erhält mit Positionen für das Overlay. Es werden also nicht die einzelnen Punkte übermittelt.
Sprich da müsstest du dann tatsächlich anfragen an den Server senden in hoher auflösung und dann die Positionen aus den Grafiken extrahieren.
Das geht auch in realistischer Zeit, ist aber tatsächlich etwas aufwendig.
Vielen Dank für die Antwort - habe hier nochmals den Link.
https://udo.lubw.baden-wuerttemberg.de/projekte/q/2bwUuvztMbHU3Pznu5Tn1r