Wieso kann ich die Video URL nicht extrahieren?

Ich habe folgendes Programm für die Seite Vivo geschrieben, dies soll in erster Linie die url aus der Hauptseite extrahieren, da ich für den rest schon alles habe. Ich habe hierfür lxml benutzt, da bs4 keine xpaths unterstützt und ich keinen browser starten möchte also ist selenium auch raus. Das hier ist mein derzeitiger Code:

import requests

import lxml.html

mainurl = "https://vivo.sx/videoid"

html = requests.get(mainurl + "/")

doc = lxml.html.fromstring(html.content)

xpath1 = doc.xpath('//video/@src')

print(xpath1)

Ich bekomme aber nur "[]" zurück. wie kann ich mir den inhalt von //video/@src anzeigen lassen, da sich dort die videourl befindet.

Mfg Elias

1 Antwort

regex9

Von gutefrage auf Grund seines Wissens auf einem Fachgebiet ausgezeichneter Nutzer

Python

13.08.2020, 03:09

Die Inhalte werden doch bestimmt mit JavaScript erst später in die Seite geladen. Versuche es mit der requests-html-Bibliothek. Erst holst du dir den Response, dann renderst du diesen (wie das geht, wird auf der verlinkten Seite gezeigt) und parst daraufhin. XPath-Selektoren unterstützt die Bibliothek ebenso.

Ähnliche Beiträge

Python Selenium xpath ul / li?

Hallo Zusammen,

ich versuche aktuell über Selenium eine Website auszulesen. Zum Auslesen nutze ich Selenium xpath. Es geht um folgende Bespielseite: https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1

Der von Chrome kopierte xpath lautet:
//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span

Sobald in diesem Pfad ein ...ul/li/... vorkommt bekomme ich keine Ergebnisse mehr. Wo ist hier mein Denkfehler?

from selenium import webdriver
from selenium.webdriver.common.by import By#

url= 'https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1'

driver = webdriver.Chrome()
driver.get(url)

xpath = '//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span'
elements = driver.find_element(by=By.XPATH, value=xpath)

...zum Beitrag

Wie bekomme ich diesen Wert mit BS4?

Seite: Pegelstand Salzach, Mittersill (pegelalarm.at)

HTML Code:

from re import S
import requests
from bs4 import BeautifulSoup
import csv
  
URL = "https://pegelalarm.at/paw/chart.html?commonid=203075-at"
r = requests.get(URL)
  
soup = BeautifulSoup(r.content, 'html5lib')
  
value = soup.find('div', attrs = {'id':'d2l2'}).get_text()

print(value)

Ouptut:

{{station.yvalue|numberpa}} {{yUnit}}

Ich habe schon alles probiert bekomme aber immer statt dem Wert "257 cm" den Output {{station.yvalue|numberpa}} {{yUnit}}.

Hoffe es kann mir jemand weiterhelfen :)

...zum Beitrag

Wie kan nich das Kachel problem lösen?

import requests

from bs4 import BeautifulSoup

import csv

output_file = csv.writer(open('prem_table_bs.csv', 'w'))

output_file.writerow(['Position', 'Team', 'Played', 'Won', 'Drawn', 'Lost', 'For', 'Against', 'GD', 'Points'])

result = requests.get("https://www.bbc.co.uk/sport/football/tables")

src = result.content

soup = BeautifulSoup(src, 'html.parser')

table = soup.find_all("table")

league_table = table[0]

teams = league_table.find_all("tr")

for team in teams[1:21]:

stats = team.find_all("td")

position = stats[0].text

team_name = stats[2].text

played = stats[3].text

won = stats[4].text

drawn = stats[5].text

lost = stats[6].text

for_goals = stats[7].text

against_goals = stats[8].text

goal_diff = stats[9].text

points = stats[10].text

output_file.writerow([position, team_name, played, won, drawn, lost, for_goals, against_goals, goal_diff, points])

...zum Beitrag

API Request geht nicht?

Ich verstehe nicht ganz warum meine Anfrage immer nur mit einer Standard-Antwort (paar random Lebensmittel) beantwortet wird. Kann jemand erfahrenes mir weiterhelfen?
Die Dokumentation hilft mir gerade gar nicht weiter.

https://openfoodfacts.github.io/openfoodfacts-server/api/ref-v2/#get-/api/v2/search

import requests, requests.utils
import os
product = input("Wie heißt das Produkt? ")
encoded_product = requests.utils.quote(product)
url = f"https://world.openfoodfacts.org/api/v2/search?product_name=fuze+tea&fields=product_name"

response = requests.get(url)

with open("response.json", "w") as file:
    file.write(response.text)

    
print(response.json())

...zum Beitrag

python selenium-browser mit bestimmter URL öffnen?

Hallo python und programmierfreunde allgemein.

Ich bin neulich auf Python Selenium gestoßen und habe ein paar Probleme bei der Verwendung damit.
Eigentlich will ich erst mal nur den Chrome Browser starten mit einem bestimmten Link.
Dazu habe ich:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://www.google.de')

stehen.

jetzt schmiert der aber schon bei der zweiten Zeile ab.

Was funktioniert ist:

from selenium import webdriver
driver = webdriver.Chrome("C:\Program Files\Google\Chrome\Application\chrome.exe")
driver.get('http://www.google.de')

Aber, Chrome öffnet dabei immer ein neuen Browser und auch immer nur mit der Startseite und nicht mit mit dem angegebenen link.

Ich würde gerne, wenn der Browser schon offen ist einen neuen Tab öffnen, was aber nicht so wichtig ist, wichtige wäre es, das er den richtigen Link öffnet.

Freue mich über Hilfe und stehe für Fragen offen.
Liebe Grüße

...zum Beitrag

Data Scraping: Wieso wird keine Auslastung angegeben?

Hi,

mein Fitnessstudio hat auf seiner Webseite einen Zähler, wie viele freie Plätze es gibt. ich wollte mir diese "scrapen" und einen Graph erstellen, sodass ich weiß, wann am wenigsten los ist.

Ich habe folgenden Code geschrieben:

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

url = "https://www.jumpers-fitness.com/studios/augsburg-haunstetten"
try:
  while True:
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")
    auslastung_element = soup.find("span", class_="js-free-spots")

    if auslastung_element is None:
      print("Das Auslastungselement wurde nicht gefunden.")
    else:
      auslastung = auslastung_element.text.strip()
print(auslastung)
      timestamp = pd.Timestamp.now()
      data = pd.DataFrame({"Timestamp": [timestamp], "Auslastung": [auslastung]})
      data.to_csv("auslastung.csv", mode="a", index=False, header=False)

    time.sleep(60) # 1 Stunde = 3600 Sekunden
except Exception as e:
  print("Fehler aufgetreten:", e)
  input("Drücke Enter, um das Programm zu beenden.")

Dieser funktioniert aber nicht und gibt keine Auslastung an.

Kann mir jemand helfen?

Danke

...zum Beitrag

Webseiten Scraper in Python?

Ich würde gerne einen WebScraper programmieren, jedoch bekomme ich es nicht hin. Ich würde gerne von einer Webseite die Frequenz von unserem Stromnetz auslesen, bekomme aber als Ausgabe nur "None". Hier ist mein Python-Code:

from bs4 import BeautifulSoup

import requests, time

url = f'https://www.apg.at/de/markt/Markttransparenz/Netzregelung/Netzfrequenz'

page = requests.get(url)

soup = BeautifulSoup(page.content, 'html.parser')

table = soup.find('h3', attrs={'class':'mb-0 text-danger ng-tns-c64-1'})

print(table)

Ich habe vor 2 Stunden mit Python angefangen, habe aber bereits gute Kenntnisse in C++ und Java etc. Hat jemand eine Idee, wie ich das Problem lösen kann oder hat jemand bereits was ähnliches programmiert?

LG

...zum Beitrag

Python Selenium findet Button nicht?

Hi, ich habe ein Script geschrieben welches nacheinander auf verschiedene Buttons klickt und sich einloggt. Beim letzen Button kommt allerdings immer die Fehlermeldung, dieser sei nicht gefunden worden. Habe es sowohl mit Link_Text als auch mit ID versucht.

from selenium import webdriver
from selenium.webdriver.common.by import By
import selenium.webdriver.common
import selenium.webdriver.common.actions
from selenium.webdriver.support import expected_conditions as EC
from pynput.keyboard import Key, Controller
import time
from selenium.webdriver.support.wait import WebDriverWait
import win32clipboard

keyboard = Controller()

PATH = "C:\Program Files (x86)\chromedriver.exe"
driver = webdriver.Chrome(PATH)

driver.get("https://04101643.moodle.belwue.de/moodle/blocks/exa2fa/login/")
driver.maximize_window()

username = driver.find_element_by_id("username")
password = driver.find_element_by_id("password")

username.send_keys("---")  #Name und Passwort hab ich natürlich nur zum hochladen hier entfernt ;)
password.send_keys("---")

login = driver.find_element_by_id("loginbtn")
login.click()

time.sleep(5)

fach = driver.find_element_by_partial_link_text("Mathematik")
fach.click()

time.sleep(3)

bbb = driver.find_element_by_xpath('//img[contains(@src,"https://04101643.moodle.belwue.de/moodle/theme/image.php/boost/bigbluebuttonbn/1609841251/icon")]')
bbb.click()

time.sleep(3)

teilnehmen = driver.find_element_by_id("join_button_input")
teilnehmen.click()

time.sleep(5)

keyboard.press(Key.ctrl)
keyboard.press('l')
time.sleep(1)
keyboard.release(Key.ctrl)
keyboard.release('l')
time.sleep(1)
keyboard.press(Key.ctrl)
keyboard.press('c')
time.sleep(1)
keyboard.release(Key.ctrl)
keyboard.release('c')

win32clipboard.OpenClipboard()
page = win32clipboard.GetClipboardData()    #Muss man hier das Fenster wechseln?
win32clipboard.CloseClipboard()             #Hinweis beim Klicken auf den vorherigen Button wird der Link in einem neuen Tab geöffnet

driver.get(page)                                 #Hier geht es dann zu BigBlueButton (Videochat Seite) auf der der letzte Button gedrückt werden soll

time.sleep(1)

keyboard.press(Key.ctrl)
keyboard.press('w')
time.sleep(1)
keyboard.release(Key.ctrl)
keyboard.release('w')

time.sleep(3)

mode = driver.find_element_by_partial_link_text("Nur")  #Den hier findet es nicht (falls es jemand kennt: Ist der ,,Nur zuhören" Button von BigBlueButton, habe den Code leider nicht da
mode.click()

Für Hinweise oder Lösungen des Problems wäre ich sehr dankbar. Falls es Unklarheiten gibt, gerne einen Kommentar schreiben.

...zum Beitrag

Videos bei Vivo mit Linux herunterladen?

Nachdem https://video-download.co/site/vivo.sx wohl nicht mehr funktioniert,
onlinevideoconverter.com, als auch youtube-dl (über das Terminal) keine vivo-Videos annehmen und
das Firefox Plug-in "Video Download Helper" immer nach ca. 30 % abbricht, suche ich einen neuen Weg um an Videos bei vivo zu kommen.
Wer hat mit Linux diesbezüglich Erfahrungen gemacht?
Mit dem Video Download Helper, direkt über Firefox, funktionierte es bis vor einem Monat eigentlich immer recht gut. Doch jetzt bricht es einfach immer wieder ab.
Ich benutze Linux Mint 18.3 Cinnamon (auf einem Acer Aspire E 15).
Die Datei an die ich seit Wochen versuche heranzukommen ist:
https://vivo.sx/7f5ce8b0ac
Vielen Dank!

...zum Beitrag

OpenWeatherMap Python?

import requests

API_KEY = "xyz"

city = "Berlin"

url = 'https://api.openweathermap.org/data/2.5/weather?q={city}&appid={API_KEY}&units=metric'

data = requests.get(url).json()

temp = ['main']['temp]-273.15

print('Temperatur: ' + temp )

Code gibt es so im Internet. Allerdings kommt bei mir folgender Error:

Traceback (most recent call last):

File "/xyz/wetter.py", line 9, in <module>

temp = data['main']['temp']-273.15

KeyError: 'main'

Irgendwelche Ideen an was das liegen kann?

...zum Beitrag

Selenium WebDriver wird von Instagram erkannt?

Ich benutze Selenium um einen headless Chrome browser zu starten und dann auf eine Instagram video seite zu gehen um die url des quellvideos zu scrapen.

Das geht auch ohne Probleme. Aber sobald es zur url des kontos navigiert, wird Selenium sofort von Instagram erkannt und meine ip-adresse wird direkt blockiert.

Manipulation des user agents, Löschung der js signatur, deaktivierung experimenteller Optionen usw. helfen nicht. Außerdem bewegt sich der Scraper auf der Webseite langsam mit zufälligen delays, womit es eigentlich keine Anzeichen für einen Bot gibt.

Woran könnte es liegen?
Ist ein Proxy wirklich das einzige was hier noch hilft

...zum Beitrag

PermissionError: [WinError 5] Zugriff verweigert?

Hi ich weiß nicht wie ich das Problem lösen soll. Ich führe Python als Administrator aus. (Win 7)

Code:

from selenium import webdriver

import time

url = 'https://youtube.com/'

driver = webdriver.Chrome(r'C:\Users\Lars\Downloads\chromedriver_win32')

driver.get(url)

Fehler:

Traceback (most recent call last):

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start

stdin=PIPE)

File "C:\Program Files (x86)\Python37-32\lib\subprocess.py", line 775, in __init__

restore_signals, start_new_session)

File "C:\Program Files (x86)\Python37-32\lib\subprocess.py", line 1178, in _execute_child

startupinfo)

PermissionError: [WinError 5] Zugriff verweigert

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "C:\Users\Lars\Desktop\emails.py", line 5, in <module>

driver = webdriver.Chrome(r'C:\Users\Lars\Downloads\chromedriver_win32')

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 73, in __init__

self.service.start()

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\common\service.py", line 88, in start

os.path.basename(self.path), self.start_error_message)

selenium.common.exceptions.WebDriverException: Message: 'chromedriver_win32' executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chromedriver/home

...zum Beitrag

Video stream lädt nicht im chrome browser?

Hi
Hab ein kleines Problem, wenn ich Videos von streaminganbietern wie z.b Vivo etc abspielen will, lädt der Browser Chrome das Video nicht. Allerdings wenn ich die URL in edge beispielsweise einfüge funktioniert alles tadellos! Am Router liegt es daher nicht (keine Sperre etc.) Chrome wurde bereits neu installiert.
Youtube, Twitch etc geht alles!
An der Netzwerkgeschwindigkeit liegts auch nicht! Bandbreite 50k / meist 6.0 - 6.6 MB/s.

...zum Beitrag

BeautifulSoup / YouTube: Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Hey Leute,

ich habe eine Frage zu Python und BeautifulSoup. Mein Webcrawler funktioniert eigentlich ganz gut, nur wenn ich damit versuche, Video-URLs zu extrahieren, geht nichts.

def get_linked_urls(self, url, html):
  soup = BeautifulSoup(html, 'html.parser')
  for link in soup.find_all('a'):
    path = link.get('href')
    print(path)

    if path and path.startswith('/watch?'):
      path = urljoin(url, path)

    yield path

"commandMetadata": {
  "webCommandMetadata": {
    "url": "/watch?v=HmP_wGYw1_g\u0026list=PLu0ocO48LFms5WsI1ipaeanxqRjn2fC_5\u0026index=2",

Ich habe vergessen, dass JavaScript natürlich ausgeführt wird, also funktioniert es nicht, wenn ich die Elemente anspreche, die ich unter den untersuchten Elementen gefunden habe.

Hat jemand eine Idee, was ich an dem Code verändern müsste, damit der alle /watch-Links extrahiert und diese ausgibt?

Gut wäre, wenn man noch https://www.youtube.com hinzufügen könnte.

...zum Beitrag

Was möchtest Du wissen?

Deinen Beitrag erstellen