Selenium WebDriver wird von Instagram erkannt?

Ich benutze Selenium um einen headless Chrome browser zu starten und dann auf eine Instagram video seite zu gehen um die url des quellvideos zu scrapen.

Das geht auch ohne Probleme. Aber sobald es zur url des kontos navigiert, wird Selenium sofort von Instagram erkannt und meine ip-adresse wird direkt blockiert.

Manipulation des user agents, Löschung der js signatur, deaktivierung experimenteller Optionen usw. helfen nicht. Außerdem bewegt sich der Scraper auf der Webseite langsam mit zufälligen delays, womit es eigentlich keine Anzeichen für einen Bot gibt.

Woran könnte es liegen?
Ist ein Proxy wirklich das einzige was hier noch hilft

1 Antwort

Kelec

11.01.2024, 16:44

Schon alleine das dein Bot keinen Mouse Jitter hat und keine Menschliche Mausbewegung zeichnet ihn bereits als solchen aus.

Es gibt etliche Methoden die hier zur Anwendung kommen können um einen Bot von einem Menschen zu unterscheiden.

raleD

Beitragsersteller

11.01.2024, 16:45

Denke nicht dass es daran liegt, sonst würde es doch schon bei der video seite scheitern

Kelec

11.01.2024, 16:47

@raleD

Kommt auf die Test drauf an und wann diese greifen, aber dein Bot wird am Ende eben als solcher erkannt und ich denke dass es ist weil er sich eben nicht genau gleich wie ein Mensch verhält.

Dieser Botcheck von Google wo du einfach nur Anhaken musst, dass du kein Bot bist funktioniert zB unter anderem so.

raleD

Beitragsersteller

11.01.2024, 16:59

@Kelec

Ja das weiß ich ja aber wie gesagt er tut ja nichts. Er betritt einfach nur die Webseite und wird sofort blockiert. also wirklich einfach nur die webseite aufgerufen, garnichts getan

Das passiert auch nur wenn man eine seite eines kontos betreten will sonst kann es bei instagram alles machen was es will

Kelec

11.01.2024, 17:02

@raleD

Ja aber es kann ja sein dass diese Sperre erst bei bestimmten Aktionen ausgelöst wird und nicht bei allen.

Ich weiß nicht wie die Überprüfung bei Instagram genau funktioniert aber ich nehme einfach mal an, dass eben genau daran erkannt wird dass es ein Bot ist. Der Aufruf der Seite triggert dann einfach nur noch die Sperre.

raleD

Beitragsersteller

11.01.2024, 17:14

@Kelec

Es gibt nichts an Aktionen zum überprüfen. Der Bot tut absolut gar nichts. Er macht wirklich nichts als die Seite aufzurufen. Es gibt keine Aktionen. Das ist genau so als würde ich jetzt einfach Instagram aufrufen und nichts tun

Also es kann nicht daran liegen, dass der Bot irgendwas suspektes macht. Es muss ja an irgendeinem anderen Erkennungsmerkmal liegen als das Verhalten des Bots weil er eben nichts tut

Kelec

11.01.2024, 21:47

@raleD

Also er wählt nur die URL an und macht dann absolut gar nichts? Also interagiert mit nichts, spielt kein Video ab oder dergleichen?

Führt der Bot das Javascript auf der Seite aus?

Akzeptiert der Bot Cookies?

Wie meldet Javascript den Useragent Windowsize, Betriebssystem usw?

raleD

Beitragsersteller

11.01.2024, 21:52

@Kelec

Der bot macht gar nichts, richtig. Er navigiert zur URL und sofort ohne dass der Bot überhaupt Zeit hat irgendwas zu machen wird die IP blockiert.

                    List<string> userAgentArray = new List<string>
                    {
                        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
                        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"
                    };


                    foreach (string userAgent in userAgentArray)
                    {
                        browser.ExecuteCdpCommand("Network.setUserAgentOverride", new Dictionary<string, object> { { "userAgent", userAgent } });
                    }

Kelec

11.01.2024, 21:57

@raleD

Lass deinen Bot mal zu einer Webseite von dir navigieren und sieh nach was dir Javascript für den Bot für Werte liefert.

In dem Fall gehe ich einfach von Fingerprinting aus. Also Javascript meldet für den Browser einfach bestimmte Infos wie Window Size, Betriebssystem, etc. die Eindeutig auf Selenium hinweisen.

https://datadome.co/threat-research/detecting-selenium-chrome/

Vielleicht noch interessant:

https://www.zenrows.com/blog/selenium-avoid-bot-detection

raleD

Beitragsersteller

11.01.2024, 22:05

@Kelec

Ja, dass es um einen Fingerprint geht hab ich mir auch schon gedacht. Diese beiden Links hab ich mir tatsächlich schon angeschaut - leider keine Lösung gefunden bzw wird immernoch erkannt aber trotzdem danke.

Ist halt komisch weil Instagram es wirklich NUR erkennt wenn ich auf einen Account gehe. Also wenn ich auf irgendein video gehe dann kann ich machen was ich will ohne erkannt zu werden. Außerdem ist die IP dann nur dafür gesperrt, accounts zu besuchen. Also ich kann lediglich keine Accounts mehr sehen sonst funktioniert die Seite noch einwandfrei

Kelec

11.01.2024, 23:07

@raleD

Naja es kann ja durchaus bewusst so sein dass Instagram eben nur bestimmte Aktionen und nicht automatisch alle sperrt.

raleD

Beitragsersteller

11.01.2024, 23:23

@Kelec

Ja, muss wohl der Fall sein, wieso auch immer die das so tun

Ähnliche Beiträge

Python Selenium xpath ul / li?

Hallo Zusammen,

ich versuche aktuell über Selenium eine Website auszulesen. Zum Auslesen nutze ich Selenium xpath. Es geht um folgende Bespielseite: https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1

Der von Chrome kopierte xpath lautet:
//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span

Sobald in diesem Pfad ein ...ul/li/... vorkommt bekomme ich keine Ergebnisse mehr. Wo ist hier mein Denkfehler?

from selenium import webdriver
from selenium.webdriver.common.by import By#

url= 'https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1'

driver = webdriver.Chrome()
driver.get(url)

xpath = '//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span'
elements = driver.find_element(by=By.XPATH, value=xpath)

...zum Beitrag

PermissionError: [WinError 5] Zugriff verweigert?

Hi ich weiß nicht wie ich das Problem lösen soll. Ich führe Python als Administrator aus. (Win 7)

Code:

from selenium import webdriver

import time

url = 'https://youtube.com/'

driver = webdriver.Chrome(r'C:\Users\Lars\Downloads\chromedriver_win32')

driver.get(url)

Fehler:

Traceback (most recent call last):

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\common\service.py", line 76, in start

stdin=PIPE)

File "C:\Program Files (x86)\Python37-32\lib\subprocess.py", line 775, in __init__

restore_signals, start_new_session)

File "C:\Program Files (x86)\Python37-32\lib\subprocess.py", line 1178, in _execute_child

startupinfo)

PermissionError: [WinError 5] Zugriff verweigert

During handling of the above exception, another exception occurred:

Traceback (most recent call last):

File "C:\Users\Lars\Desktop\emails.py", line 5, in <module>

driver = webdriver.Chrome(r'C:\Users\Lars\Downloads\chromedriver_win32')

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\chrome\webdriver.py", line 73, in __init__

self.service.start()

File "C:\Program Files (x86)\Python37-32\lib\site-packages\selenium\webdriver\common\service.py", line 88, in start

os.path.basename(self.path), self.start_error_message)

selenium.common.exceptions.WebDriverException: Message: 'chromedriver_win32' executable may have wrong permissions. Please see https://sites.google.com/a/chromium.org/chromedriver/home

...zum Beitrag

Instagram Url, trotz Deaktivierung?

Hallo,

mein Instagram Account wurde Deaktiviert, ich kann jedoch noch in einem Formular Einspruch einlegen. In diesem Formular wird meine Url benötigt da mein Account jedoch momentan deaktiviert ist wird dieser als nicht vorhanden angezeigt.

weiß echt nicht was ich tun soll :/

...zum Beitrag

python selenium-browser mit bestimmter URL öffnen?

Hallo python und programmierfreunde allgemein.

Ich bin neulich auf Python Selenium gestoßen und habe ein paar Probleme bei der Verwendung damit.
Eigentlich will ich erst mal nur den Chrome Browser starten mit einem bestimmten Link.
Dazu habe ich:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get('http://www.google.de')

stehen.

jetzt schmiert der aber schon bei der zweiten Zeile ab.

Was funktioniert ist:

from selenium import webdriver
driver = webdriver.Chrome("C:\Program Files\Google\Chrome\Application\chrome.exe")
driver.get('http://www.google.de')

Aber, Chrome öffnet dabei immer ein neuen Browser und auch immer nur mit der Startseite und nicht mit mit dem angegebenen link.

Ich würde gerne, wenn der Browser schon offen ist einen neuen Tab öffnen, was aber nicht so wichtig ist, wichtige wäre es, das er den richtigen Link öffnet.

Freue mich über Hilfe und stehe für Fragen offen.
Liebe Grüße

...zum Beitrag

Frage zu Selenium (Bot Entwicklung)?

Ich würde mich gerne zu einer Veranstaltung anmelden, wo es leider nur limitierte Plätze gibt. Bei den letzten Terminen war ich leider immer zu spät dran, weshalb ich fragen wollte, ob es möglich ist einen Bot zu programmieren der mich automatisch anmeldet, wenn eine neue Veranstaltung verfügbar ist. (Der Bot muss nur meinen Namen, Adresse & Telefonnummer auf der Webseite eingeben und das möglichst schnell.) Jetzt wollte ich fragen, ob das vielleicht mit Selenium möglich ist dass ich so einen Bot programmiere? Und falls ja wie lange das ungefähr dauern würde? Eher ein paar Tage oder Monate? (Ich kann bereits die Grundlagen in Java und C).

Würde mich sehr über eine Antwort freuen. :)

Liebe Grüße

Terroka

...zum Beitrag

Wie kann ich Selenium WebDriver verwenden, ohne dass der Browser dies erkennt?

Wenn man z.B: Chrome mit Selenium Webdriver fernsteuert, dann "weiß" die Chrome.

Gibt es eine Lösung, dies zu vermeiden?

...zum Beitrag

Funktion ohne time.sleep verlangsamen Python?

Wie kann ich in eine Funktion ein delay zwischen den verschiedenen Dingen einbauen ohne die time.sleep Methode zu verwenden?

Vielen Dank für die Antworten?

...zum Beitrag

PHP Navigation ohne das #section in der URL?

Hallo liebe Entwickler,

ich stelle mir die Frage, wie ich nach Absenden eines Formulares so navigieren kann, dass das #section in der URL nicht angezeigt wird. Zuerst ein Beispiel:

<html>
  <form action="#section" method="post" id="section">
    <input type="submit" value="Senden" name="sub"/>
  </form>
</html>
<?php if (isset($_POST['sub'])) { doSomeStuff(); } ?>

Wenn ich also (wie im Code ersichtlich) auf Senden klicke, wird die Seite neu geladen und ich werde zu #section navigiert (also in der URL dann example.com/#section).

Besteht die Möglichkeit so zu navigieren, dass man den Abschnitt in der URL nicht sieht?

Eventuell durch JS oder etwas anderes?

Vielen Dank im Voraus.

...zum Beitrag

Data Scraping: Wieso wird keine Auslastung angegeben?

Hi,

mein Fitnessstudio hat auf seiner Webseite einen Zähler, wie viele freie Plätze es gibt. ich wollte mir diese "scrapen" und einen Graph erstellen, sodass ich weiß, wann am wenigsten los ist.

Ich habe folgenden Code geschrieben:

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time

url = "https://www.jumpers-fitness.com/studios/augsburg-haunstetten"
try:
  while True:
    response = requests.get(url)
    soup = BeautifulSoup(response.content, "html.parser")
    auslastung_element = soup.find("span", class_="js-free-spots")

    if auslastung_element is None:
      print("Das Auslastungselement wurde nicht gefunden.")
    else:
      auslastung = auslastung_element.text.strip()
print(auslastung)
      timestamp = pd.Timestamp.now()
      data = pd.DataFrame({"Timestamp": [timestamp], "Auslastung": [auslastung]})
      data.to_csv("auslastung.csv", mode="a", index=False, header=False)

    time.sleep(60) # 1 Stunde = 3600 Sekunden
except Exception as e:
  print("Fehler aufgetreten:", e)
  input("Drücke Enter, um das Programm zu beenden.")

Dieser funktioniert aber nicht und gibt keine Auslastung an.

Kann mir jemand helfen?

Danke

...zum Beitrag

PyCharm Selenium Fehlermeldung?

Hallo ich habe ein Problem.. Ich bekomme eine Fehlermeldung:

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

Ich habe alle xpath überprüft sie gehen alle aber dennoch kommt dieser Fehler

wie behebe ich diesen Fehler ? Bitte um Hilfe

...zum Beitrag

MicroPython : Wie bekommt man Selenium und Webbrowser mit MicroPython?

Morgen,

ich habe ein Skript geschrieben, um eine Verbindung zu einer Website herzustellen, Screenshots zu machen und diese über einen Telegramm-Bot zu senden, unter Verwendung von Selenium und Webbrowser. Auf Computer funktioniert der Code perfekt. Aber natürlich, wenn ich es zu meinem ESP32 (Espressif WROOM 32) übertragen muss, fehlen die Librairies Selenium und Webbrowser.

Ich habe "mip" benutzt, um sie zu importieren, aber sie sind nicht in MicroPython Bibliotheken.

Frage:

Wie kann ich sie in MicroPython importieren?

Connection successful

Installing webbrowser (latest) from https://micropython.org/pi/v2 to /lib

Package not found: https://micropython.org/pi/v2/package/6/webbrowser/latest.json

Package may be partially installed

Installing selenium (latest) from https://micropython.org/pi/v2 to /lib

Package not found: https://micropython.org/pi/v2/package/6/selenium/latest.json

Package may be partially installed

Traceback (most recent call last):

File "<stdin>", line 23, in <module>

ImportError: no module named 'webbrowser'

...zum Beitrag

Wie schwierig ist es, einen Trading Bot selbst zu programmieren?

Frage an Programmierer, wie schwer stuft ihr sowas ein?

Ich habe schon versucht einen solchen Bot erstellen zu lassen, jedoch funktioniert dieser nicht so, wie ich es will obwohl relativ eng zusammen gearbeitet wurde (hat etwa 2k gekostet)

Nun habe ich mir überlegt, mir das evtl. selbst bei zu bringen. Für wie wahrscheinlich halten die Programmierer unter euch es, dass ich sowas eigenständig erlernen kann und was würde mir dabei helfen? Ich werde Python nutzen.

...zum Beitrag

Javascript undefined nach funktion?

Hallo,

ich möchte einen webScraper schreiben, nachdem ich hier aber die init() für die browser und page instanzen aufrufe, werden die als undefined zurückgeliefert. Innerhalb der funktion ist typeof browser und page "object", wenn ich die Werte dann ausserhalb aufrufen möchte, sind sie "undefined". Ich benutze Nodejs und Puppeteer

async function init() {
  try {
    browser = await puppeteer.launch({
      headless: true,
      args: ["--disable-setuid-sandbox"],
      ignoreHTTPSErrors: true,
    });
    page = await browser.newPage();
    console.log(typeof browser);
    console.log(typeof page);
  } catch (err) {
    console.log(err.message);
  }
  return {
    first: page,
    second: browser,
  };
}
var retvals = init();
browser = retvals.second;
page = retvals.first;
console.log("here: ");
console.log(typeof retvals.second);
console.log(typeof retvals.first);
scrapeSite(urls[0]);

Verstehe nicht wirklich, was daran nicht funktionieren sollte, liegt aber vermutlich daran, dass ich wenig JS kenntnisse habe :D

MfG und danke im Voraus.

...zum Beitrag

Selenium Python Elemente finden durch klasse finden?

Ich habe folgendes Problem ich möchte einen Bot programmieren der mich auf einer Seit anmeldet und ein paar Sachen dort für mich macht während ich etwas anderes mache, jedoch weiß ich nicht wie ich den Button finden soll per Klasse.

Button = driver.find_element_by_class_name()

Habe ich benutzt dort dann den Klassennamen eingetragen, jedoch gibt es diese Klasse öfter und wenn ich

Button.click()

mache passiert nix, der Button hat sonst keine ID oder ähnliches

er hat eine <span data-v-(Zahlenfolge)
bin leider nicht so im ganzen HTML ding drin kann nur die basics, habe python erst seit heute gelernt also ist das auch noch nicht so gut.
Freue mich auf jede Antwort

...zum Beitrag

Was möchtest Du wissen?

Deinen Beitrag erstellen