BeautifulSoup / YouTube: Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Hey Leute,

ich habe eine Frage zu Python und BeautifulSoup. Mein Webcrawler funktioniert eigentlich ganz gut, nur wenn ich damit versuche, Video-URLs zu extrahieren, geht nichts.

def get_linked_urls(self, url, html):
  soup = BeautifulSoup(html, 'html.parser')
  for link in soup.find_all('a'):
    path = link.get('href')
    print(path)

    if path and path.startswith('/watch?'):
      path = urljoin(url, path)

    yield path

"commandMetadata": {
  "webCommandMetadata": {
    "url": "/watch?v=HmP_wGYw1_g\u0026list=PLu0ocO48LFms5WsI1ipaeanxqRjn2fC_5\u0026index=2",

Ich habe vergessen, dass JavaScript natürlich ausgeführt wird, also funktioniert es nicht, wenn ich die Elemente anspreche, die ich unter den untersuchten Elementen gefunden habe.

Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Gut wäre, wenn man noch https://www.youtube.com hinzufügen könnte.

1 Antwort

regex9

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

HTML, programmieren, Python

09.06.2022, 21:42

BeautifulSoup parst nur den HTML-Code, den du übergibst. Das HTML wird nicht in der Form evaluiert, sodass vorher noch einmal Skripte o.ä. ausgewertet werden würden.

Du kannst stattdessen Selenium nutzen, um Inhalte aus der Webseite zu ziehen. Das Framework erlaubt die automatisierte Ausführung von Aktionen in einem Browser. Das heißt, du kannst darauf warten, bis die Webseite komplett geladen wurde und danach die Links herausziehen.

Ähnliche Fragen

Python BeautifulSoup Website Crawler?

Hallo,

ich wollte mal nachfragen, ob hier jemand mit BeautifulSoup Erfahrung hat. Ich versuche den Inhalt einer Website zu crawlen. Das funktioniert auch. Bei manchen Seiten aber überhaupt nicht. Da scheint der page content einfach nicht zu existieren.

Woran könnte das liegen? Am Code kanns ja nicht liegen. Aber der Vollständigkeit halber, hier der Code:

page = requests.get(url)
soup = BeautifulSoup(page.content, "html.parser")
for tag in soup.find_all('title'):
    print("Tag found!")

Es ist sogar so, dass sich dann sogar die Anwendung beendet.

Folgendes wird in der Konsole ausgegeben:

Process finished with exit code -1073740791 (0xC0000409)

Ich schätze dass es bereits bei dem request ein Problem gibt. Könnten dass irgendwelche Sicherheitsmechanismen sein?

...zur Frage

Wie bekomme ich diesen Wert mit BS4?

Seite: Pegelstand Salzach, Mittersill (pegelalarm.at)

HTML Code:

from re import S
import requests
from bs4 import BeautifulSoup
import csv
  
URL = "https://pegelalarm.at/paw/chart.html?commonid=203075-at"
r = requests.get(URL)
  
soup = BeautifulSoup(r.content, 'html5lib')
  
value = soup.find('div', attrs = {'id':'d2l2'}).get_text()

print(value)

Ouptut:

{{station.yvalue|numberpa}} {{yUnit}}

Ich habe schon alles probiert bekomme aber immer statt dem Wert "257 cm" den Output {{station.yvalue|numberpa}} {{yUnit}}.

Hoffe es kann mir jemand weiterhelfen :)

...zur Frage

Wie kan nich das Kachel problem lösen?

import requests

from bs4 import BeautifulSoup

import csv

output_file = csv.writer(open('prem_table_bs.csv', 'w'))

output_file.writerow(['Position', 'Team', 'Played', 'Won', 'Drawn', 'Lost', 'For', 'Against', 'GD', 'Points'])

result = requests.get("https://www.bbc.co.uk/sport/football/tables")

src = result.content

soup = BeautifulSoup(src, 'html.parser')

table = soup.find_all("table")

league_table = table[0]

teams = league_table.find_all("tr")

for team in teams[1:21]:

stats = team.find_all("td")

position = stats[0].text

team_name = stats[2].text

played = stats[3].text

won = stats[4].text

drawn = stats[5].text

lost = stats[6].text

for_goals = stats[7].text

against_goals = stats[8].text

goal_diff = stats[9].text

points = stats[10].text

output_file.writerow([position, team_name, played, won, drawn, lost, for_goals, against_goals, goal_diff, points])

...zur Frage

.html Endung der url entfernen

Ich habe im internet schon ziemlich viele codes gesehen, um die dateiendungen aus der URL zu entfernen aber weiss nicht richtig wie man diese einsetzt. Ich habe jetzt diesen code mal gesehen:

RewriteEngine on.
RewriteCond %{REQUEST_FILENAME} !-d.
RewriteCond %{REQUEST_FILENAME}.html -f.
RewriteRule ^(.*)$ $1.html.
Replace html with your file extension, eg: php, htm, asp

aber ich weiss nicht ob ich eine eigene php datei für das machen muss oder ob ich es einfach in php tags ins html einbinden kann und ob ich "RequestFilname" mit meinem Dateinamen ersetzten soll.

...zur Frage

Webseiten Scraper in Python?

Ich würde gerne einen WebScraper programmieren, jedoch bekomme ich es nicht hin. Ich würde gerne von einer Webseite die Frequenz von unserem Stromnetz auslesen, bekomme aber als Ausgabe nur "None". Hier ist mein Python-Code:

from bs4 import BeautifulSoup

import requests, time

url = f'https://www.apg.at/de/markt/Markttransparenz/Netzregelung/Netzfrequenz'

page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')

table = soup.find('h3', attrs={'class':'mb-0 text-danger ng-tns-c64-1'})

print(table)

Ich habe vor 2 Stunden mit Python angefangen, habe aber bereits gute Kenntnisse in C++ und Java etc. Hat jemand eine Idee, wie ich das Problem lösen kann oder hat jemand bereits was ähnliches programmiert?

LG

...zur Frage

Python Webseite auslesen (BeautifulSoup, Requests)?

Ich versuche gerade mit Python eine Webseite auszulesen (https://www.srf.ch/meteo/wetter/Zurich/47.3797,8.5342?geolocationNameId=1192045f06b811b701d8d7fcfd9dec64) und habe dazu eine Frage:

Wie kann ich einen Code schreiben, der je nach dem welches Symbol hier (siehe Bild) angezeigt wird, einen anderen Wert ausgibt. Z.B. 1 für Sonne, 2 für Wolke usw.

Könnte jemand einen konkreten Code schicken (mit BeautifulSoup, Requests usw)

Danke schon einmal im Voraus

...zur Frage

HTML Code verschlüsseln & crypten?

Hey Leute ich habe eine Frage zu HTML. Ich möchte gerne meinen HTML Code verschlüsseln bzw. so verändern das er vollkommen unleserlich ist und keine Rückschlüsse gezogen werden können was dieser tut. Ferner soll es einem nicht möglich sein ihn zu decodieren.

Ist das möglich ?

Wenn ja wie ?

...zur Frage

Data Scraping: Wieso wird keine Auslastung angegeben?

Hi,

mein Fitnessstudio hat auf seiner Webseite einen Zähler, wie viele freie Plätze es gibt. ich wollte mir diese "scrapen" und einen Graph erstellen, sodass ich weiß, wann am wenigsten los ist.

Ich habe folgenden Code geschrieben:

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

url = "https://www.jumpers-fitness.com/studios/augsburg-haunstetten"
try:
  while True:
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")
    auslastung_element = soup.find("span", class_="js-free-spots")

    if auslastung_element is None:
      print("Das Auslastungselement wurde nicht gefunden.")
    else:
      auslastung = auslastung_element.text.strip()
print(auslastung)
      timestamp = pd.Timestamp.now()
      data = pd.DataFrame({"Timestamp": [timestamp], "Auslastung": [auslastung]})
      data.to_csv("auslastung.csv", mode="a", index=False, header=False)

    time.sleep(60) # 1 Stunde = 3600 Sekunden
except Exception as e:
  print("Fehler aufgetreten:", e)
  input("Drücke Enter, um das Programm zu beenden.")

Dieser funktioniert aber nicht und gibt keine Auslastung an.

Kann mir jemand helfen?

Danke

...zur Frage

Bild-Direktlink Größe ändern in der URL?

An die Nerds :P

Wie ändert man in der URL eines Bildes die Anzeigegröße? Beispielsweise habe ich eine URL die so aussieht: www.example.com/bild.jpg

Ich glaube shconmal URLs gesehen zu haben, bei denen noch so Art "Befehle" hinten dran standen, z.B. um die Größe zu ändern

In etwa www.example.com/bild.jpg&width=100&height=100 (das ist sicher Falsch, aber so in etwa muss das gehen, denke ich?)

Grüße

...zur Frage

PHP Navigation ohne das #section in der URL?

Hallo liebe Entwickler,

ich stelle mir die Frage, wie ich nach Absenden eines Formulares so navigieren kann, dass das #section in der URL nicht angezeigt wird. Zuerst ein Beispiel:

<html>
  <form action="#section" method="post" id="section">
    <input type="submit" value="Senden" name="sub"/>
  </form>
</html>
<?php if (isset($_POST['sub'])) { doSomeStuff(); } ?>

Wenn ich also (wie im Code ersichtlich) auf Senden klicke, wird die Seite neu geladen und ich werde zu #section navigiert (also in der URL dann example.com/#section).

Besteht die Möglichkeit so zu navigieren, dass man den Abschnitt in der URL nicht sieht?

Eventuell durch JS oder etwas anderes?

Vielen Dank im Voraus.

...zur Frage

Javascript Ajax Php kein Wert?

Console:

HTML javascript Code ajax:

function send(text){
   console.log("Text kurz vor versenden:\n" +text);
//hier hat er noch einen wert
   $.ajax({
     method: "POST",
     url: "DataSender.php",
     data: { text: text}
   }).done(function( response ) {
       console.log(response);
     console.log("weiterleitung

Php Code Ajax Übertragung wo es nicht geht:

      $text = $_POST['text'];
      $sql = "INSERT INTO `Xss-Data` (`ID`,`DATA`, `created_at`) VALUES (null, '{$text}' , CURRENT_TIMESTAMP)";

      if (empty($text)) {
              //das ist empty!
              echo("Error:\nEs ist leer\nText wäre\n$text");
          } else

Sind die wichtigen Code snippets

Der String hat keinen Wert. Warum? Wie löst man das?

...zur Frage

PHP mit HTML in Wordpress [Elementor] einfügen?

Hi, Ich habe eine Wordpress website wo ich zum designen Elementor nutze. Ich möchte jetzt gerne ein Stück HTML und PHP Code hinzufügen, was dann oben im Header sein soll. Ich habe schon verschiedenes mit Plugins versucht aber da kommt immer das raus, alles ist doppelt da und nur eins zeigt das Richtige an und es fehlen Bilder usw. Nun ist meine frage ob jemand mir sagen kann, was genau ich verändern müsste, oder wie ich das angehen sollte?

Hier ist einmal wie was für dateien alles Drin sind. Index HTML, ConfigPHP.

Und dann noch die Icon Bilder sowie weitere CSS Dateien und Java Dateien.

Ich Freue mich über jeden Tipp. :)

...zur Frage

JQuery Bei Scrollen Datensätze nachladen

Hallol, ich möchte gerne Datensätze in einem DIV mit overflow: auto und einer festen Höhe nachladen über AJAX. Bisher ist es mit dem nachfolgenden Code so, dass nur nachgeladen wird wenn man auf der Seite nach unten scrollt.

Wie muss man den Code verändern, dass wenn man in dem DIV runterscrollt, die Datensätzte geladen werden?

    $(document).ready(function() {
    start = 0;
    count = 5;
    for (var i = 0; i < 1; i++){
        loadcontent(); 
    }
});
 
function loadcontent() {
    $("div.loader").show();    
     
    $.ajax({
        type: 'get',
        url: '/includes/ajax.php',
        async: false,
        data: { start : start, count : count },
        success: function (html){
            if(html){
                $('.container').append(html);
                start = start + 5;
            }else{
                $('.end').html('<p>Keine weiteren Posts!</p>');
            }
        }
         
    }) 
 
    $("div.loader").fadeOut('normal');     
}
 
$(window).scroll(function(){
    if ($(window).scrollTop() == $(document).height() - $(window).height()){       
            loadcontent();         
    }
});

Vielen Dank.

...zur Frage

Designsoftware wie Adobe XD die auch Code ausgibt?

Guten Tag,

ich suche ein Programm, dass im Grunde so wie Adobe XD funktioniert... aber auch fertigen Code ausgibt (diese Funktion gibt es bei XD soweit ich weiß nicht)... man baut sozusagen die Webseite wie bei XD, und das Programm spuckt am Ende fertigen HTML/CSS Code aus...

Danke für alle Vorschläge

...zur Frage

Was möchtest Du wissen?

Deine Frage stellen