Mithilfe eines Algorithmuses Website-Informationen prüfen?

Moin,

ich habe grundlegende Programmiererfahrung aber nicht genügend um meinem Projekt auf die Sprünge zu helfen.

Ich möchte einen Algorithmus erstellen, der für die folgende Website:

https://groups.roproxy.com/v1/groups/Irgendeine_ID

(Beispiel: https://groups.roproxy.com/v1/groups/4329537 )

die Daten erkennt und etwas damit anfangen kann.

Hierfür möchte ich jeweils eine Information (beispielsweise isLocked = true?) checken, indem ich für die ID am Ende der URL eine Nummer von 100000 - ~ einfüge.

Das bedeutet also, dass ich tausende dieser URLs mit verschiedenster ID aber gleichem Data-Aufbau in geringster Zeit checken will.

Jetzt meine Frage: Welche Programmiersprache und -Programm eignen sich dazu am besten um das ganze in einem kurzen Zeitraum zu checken?

VG Luis

1 Antwort

Annonym000

17.09.2023, 23:16

Moin,

für dein Projekt, in dem du tausende URLs checken willst, könnten mehrere Programmiersprachen in Frage kommen. Python mit der `requests`-Bibliothek wäre eine gute Wahl, weil es einfach zu lernen und sehr effizient für Web-Scraping ist. Node.js mit `axios` oder `fetch` wäre auch eine Option, vor allem, wenn du schon JavaScript-Kenntnisse hast.

Programm: Je nach Sprache könntest du eine IDE wie PyCharm für Python oder Visual Studio Code für mehrere Sprachen verwenden.

Wegen der hohen Anzahl von URLs, die du checken willst, solltest du auf jeden Fall auch Threading oder Asynchronität in Betracht ziehen, um das Ganze schneller zu machen.

Woher ich das weiß:Berufserfahrung

Annonym000

17.09.2023, 23:22

Edit: Aber Achtung, wenn du dies Privat machst, also nicht für den Webseiten Betreiber arbeitest oder sogar bist, muss du aufpassen.

Es gibt 2 Problem die ich sofort sehe:

1. Nutzungsbedingungen und oder Copyright

Es kann sein, dass durch die vielen Abfragen auf dich aufmerksam wird und eventuell Abmahnt oder sogar Anzeigt.

2. Ddos-attake:

Durch soviele Abfragen, könnte es sein das du ungewollt einen DDOS machst. Bedeutet hohe Summen Strafe und oder Gefängnis.

Luis78743

Beitragsersteller

17.09.2023, 23:30

@Annonym000

danke für die info hätte da erstmal nicht dran gedacht aber behalte das definitiv im hinterkopf

Ähnliche Beiträge

HTML: Wie kann ich Eingabefeld erstellen, mit dessen Eingabe eine Weiterleitung zu einer bestimmten URL erfolgt?

Hey.

Also ich weiß nicht, ob das möglich ist. Ich bin null in HTML drin, aber:

Was ich grob will ist ein Eingabefeld und wenn man Enter drückt, kommt man auf einen Link, der von der Eingabe abhängt.

Beispiel:

Ich gebe ins Feld "123" ein und auf Enter komme ich auf die Website https://localhost/link-123.

Wenn ich "abc" eingebe, komme ich auf https://localhost/link-abc.

...zum Beitrag

Hilfe Virenwebseite?

Ich wollte google.com öffnen unf habe mich vertippt und habe googe.com geschrieben und gelffnet. Ich habe die Website Url bei einem Website Safety Check gepürft und da stand dass die Webseite gefährlich sei. Ich habe befürchtungen auf ein Virus oder ein Drive-by-Download. Könnte ihr mir helfen oder ist das möglich durch betreten Webseite? Könnte vielleicht jemand der Ahnung hat mit einem Scriptblocker nachschauen?

...zum Beitrag

javascript api probleme?

Hallo,

guckt euch mal meinen Code an.

JAVASCRIPT:

// INPUT
const login = document.getElementById("loginInput");
const password = document.getElementById("passwordInput");
const button = document.getElementById("sendButton");


// FETCH
const url = "https://crudcrud.com/api/4b3acc467d8c47d8a608bb9820171935/todos"



const dataRender = (array) => {
  if (array === undefined) {
    console.log("Loading results...");
  } else {
    let dataList = array.map((item) => {
      return `
      <div class="users">
        <p>${item.login}</p>
        <button onclick="deleteRequest(${item.id})">Delete</button>
        </div>
        `;
    });
    const getHtml = document.getElementById("userTable");
    getHtml.innerHTML = dataList.join("");
  }
};


const fetchData = async () => {
  try {
    const response = await fetch(url);
    const data = await response.json();
    dataRender(data);
  } catch (error) {
    console.error(error);
  }
};



fetchData();


const postRequest = async () => {
  const data = {
    login: login.value,
    password: password.value,
    isLogin: false,
  };


  try {
    const response = await fetch(url, {
      method: "POST",
      headers: {
        "Content-Type": "application/json",
      },
      body: JSON.stringify(data),
    });


    const results = await response.json();
    console.log(results.message);
  } catch (error) {
    console.error(error);
  }


};


button.addEventListener("click", postRequest);


const deleteRequest = async (id) => {
  try {
    const response = await fetch(`${url}/${id}`, {
      method: "DELETE",
      headers: {
        "Content-Type": "application/json",
      }
    })
    const results = await response.json()
    console.log(results.message);
  }
  catch (error) {
    console.error(error);
  }
}

HTML:

<!DOCTYPE html>
<html lang="en">
<head>
  <meta charset="UTF-8">
  <meta name="viewport" content="width=device-width, initial-scale=1.0">
  <title>CRUD</title>
  <script  defer src="./script.js"></script>
</head>
<body>
  <form>
    <input id="loginInput" type="text" placeholder="Login">    
    <input id="passwordInput" type="password" placeholder="Password">    
    <button onclick="" id="sendButton">Send</button>


    <div id="userTable">
      
    </div>
  </form>
</body>
</html>

Mein Ziel:

Wenn ihr auf das button "Send" drückt, dann erscheint ja der value von dem input "login" auf HTML (innerHTML heisst das glaube ich). Und zusammen mit dem value erscheint auch ein anderer Button namens "Delete". Mein Ziel ist es, dass wenn ich auf "Delete" drücke, dann sollte das item aus Backend-Server und aus HTML gelöscht werden. Aber das klappt bei mir die ganze Zeit nicht. Einfacher ist es wenn ihr meinen Code einfügt und selber mal den Code testet, dann werdet ihr verstehen, was ich machen will.

Bitte helft mir! Ich sitze schon wirklich lange dranrum und ohne Erfolg!

Dankeschön im Voraus!

MfG

MrOsmo

...zum Beitrag

Website Formular über URL ausfüllen

Hallo, wie kann ich auf einer Website bestimmte Häckchen setzen, Textfelder ausfüllen und Buttons betätigen und das nur über die URL? Also das die URL praktisch schon alle Informationen beinhaltet die ich eingeben möchte. Danke für Antworten.

...zum Beitrag

Google: "Diese Website ist nicht zur Anzeigenauslieferung bereit"?

Auf meiner Website https://MitteCrew.eu können laut Google keine Anzeigen geliefert werden. Kann jemand die Website checken und mir sagen warum? Danke an alle <3

...zum Beitrag

PHP/Passwortvergleich: Warum kommt immer wieder eine Fehlermeldung?

Hallo!

Ich will ein Passwort, das eingegeben wird, vergleichen. Doch es kommt immer wieder diese Fehlermeldung:

Eingegebenes Passwort: n1234
admin:238 Benutzername: nadine
admin:242 Uncaught ReferenceError: form is not defined
  at validatePassword (admin:242:18)
  at HTMLButtonElement.onclick (admin:161:100)

Der Code im AdminController sieht so aus:

public function validatePassword(Request $request, $userName) {
  try {
    $password = $request->input('password');

    // Benutzer anhand des Benutzernamens finden
    $user = User::where('username', $userName)->first();

    // Debugging-Informationen in das Log schreiben
    \Log::info('Benutzername: ' . $userName);
    \Log::info('Benutzer gefunden: ' . ($user ? 'Ja' : 'Nein'));

    if (!$user) {
      return response()->json(['valid' => false, 'message' => 'Benutzer nicht gefunden']);
    }

    // Überprüfen, ob das gespeicherte Passwort im Bcrypt-Format ist
    $passwordInfo = password_get_info($user->password);
    \Log::info('Passwort-Algorithmus: ' . $passwordInfo['algoName']);

    if ($passwordInfo['algoName'] !== 'bcrypt') {
      return response()->json(['valid' => false, 'message' => 'Das gespeicherte Passwort verwendet nicht den Bcrypt-Algorithmus.']);
    }

    // Passwortüberprüfung
    $passwordCheck = Hash::check($password, $user->password);
    \Log::info('Passwort korrekt: ' . ($passwordCheck ? 'Ja' : 'Nein'));

    if ($passwordCheck) {
      return response()->json(['valid' => true]);
    }
    else {
      return response()->json(['valid' => false, 'message' => 'Ungültiges Passwort']);
    }
  }
  catch (\Exception $e) {
    \Log::error('Fehler bei der Passwortvalidierung: ' . $e->getMessage());
    return response()->json(['valid' => false, 'message' => 'Serverfehler. Bitte versuchen Sie es später erneut.'], 500);
  }
}

Und im admin blade so:

function showPasswordModal(route, userName) {
  console.log('showPasswordModal() wurde aufgerufen mit Route:', route);
  $('#passwordModal').modal('show');
  $('#passwordForm').attr('action', route); // Setze die Aktion des Passwort-Formulars auf die gewählte Route
  $('#passwordForm').data('userName', userName);
  console.log(userName);
}

function validatePassword() {
  console.log('validatePassword() wurde aufgerufen');
  var enteredPassword = document.getElementById('passwordInput').value;
  var userName = $('#passwordForm').data('userName');
  console.log('Eingegebenes Passwort:', enteredPassword);
  console.log('Benutzername:', userName);

  $.ajax({
    type: 'POST',
    url: form.action,//$('#passwordForm').attr('action'), // Stellen Sie sicher, dass dies die richtige Route ist
    data: {
      '_token': '{{ csrf_token() }}',
      'password': enteredPassword
    },
    success: function(response) {
      console.log('Server-Antwort:', response);

      if (response.valid) {
        $('#payForm').submit();
      }
      else {
        alert(response.message || 'Falsches Passwort! Bitte versuche es erneut.');
      }
    },
    error: function(xhr, status, error) {
      console.error('AJAX-Fehler:', error);
      alert('Fehler beim Validieren des Passworts. Bitte versuche es später erneut.');
    }
  });

Warum kommt immer wieder eine Fehlermeldung? Ich habe schon alles probiert und das schon seit Stunden! Danke.

...zum Beitrag

Wie bekomme ich diesen Wert mit BS4?

Seite: Pegelstand Salzach, Mittersill (pegelalarm.at)

HTML Code:

from re import S
import requests
from bs4 import BeautifulSoup
import csv
  
URL = "https://pegelalarm.at/paw/chart.html?commonid=203075-at"
r = requests.get(URL)
  
soup = BeautifulSoup(r.content, 'html5lib')
  
value = soup.find('div', attrs = {'id':'d2l2'}).get_text()

print(value)

Ouptut:

{{station.yvalue|numberpa}} {{yUnit}}

Ich habe schon alles probiert bekomme aber immer statt dem Wert "257 cm" den Output {{station.yvalue|numberpa}} {{yUnit}}.

Hoffe es kann mir jemand weiterhelfen :)

...zum Beitrag

Gibt es eine Möglichkeit eine Random URL innerhalb einer Website aufzurufen?

Also das was beispielsweise auf Wikipedia der "Zufällige Artikel" Link macht auf anderen Websites die keinen Random Button haben...

Ich suche also eine einfach Art eines Zufallsbuttons der auf Seiten angewendet werden kann die keine Zufallsbuttons in ihr UI integriert haben.

Gibt es so etwas in der Art? Also beispielsweise, man gibt einen teil einer url ein bsp: "https://www.abcde.net/..." und statt "..." wird man dann auf eine unterseite weitergeleitet.

...zum Beitrag

Python Selenium xpath ul / li?

Hallo Zusammen,

ich versuche aktuell über Selenium eine Website auszulesen. Zum Auslesen nutze ich Selenium xpath. Es geht um folgende Bespielseite: https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1

Der von Chrome kopierte xpath lautet:
//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span

Sobald in diesem Pfad ein ...ul/li/... vorkommt bekomme ich keine Ergebnisse mehr. Wo ist hier mein Denkfehler?

from selenium import webdriver
from selenium.webdriver.common.by import By#

url= 'https://www.westernwelt.com/Cowboyhut-3X-von-Resistol-aus-Filz_1'

driver = webdriver.Chrome()
driver.get(url)

xpath = '//*[@id="product-offer"]/div[2]/div/div[2]/div[2]/div/dl/dd[2]/div/div/div/ul/li[3]/a/span/span/span'
elements = driver.find_element(by=By.XPATH, value=xpath)

...zum Beitrag

Wie verpackt man die URL für einer REST-Abfrage richtig?

Ich habe ein Java-Programm, was Daten von einer REST-Api bezieht. Fürs erste hab ich das zum testen ganz simpel in etwa so gemacht:

String id = 5;
String url = "https://...where=ID%3D" + id + "..."; //seeehr lang
JsonObjectRequest request = new JsonObjectRequest(..., url, ...);

Nun muss das endlich mal schön gemacht werden. Ich kann nicht mehrere URLs so hässlich mitten in der Klasse stehen lassen. Ich weiß aber gar nicht, wie man sowas "professionell" macht. Eigentlich gehört das doch irgendwie in eine eigene Klasse? Packt man die Domain in irgendeine eigene Quelldatei (res)? IDE=Android Studio. Sollte man noch was beachten (sollte man parsen oder so)?

Nehme gerne auch Links zu Hilfeseiten, ich habe nur keine Ahnung, wie ich sowas googeln soll.

...zum Beitrag

Muss man noch www oder m in die URL schreiben?

Mir ist aufgefallen, dass viele Websites kein www oder m mehr nach dem https in der URL haben. Ist das www zwingend notwendig, damit die Website laden kann?

...zum Beitrag

Website Datenschutz Cloudflare?

Ich habe eine eigene Website also Domain und Hosting, auf der Webseite sind nur drei Knöpfe die zu meinen Sozialen-Medien Accounts führen. Ich benutze kostenloses Hosting von GitHub Pages. Meine Domain ist von Namecheap, da ich dort kein kostenloses SSL (httpS) bekomme habe ich meine Website mit Cloudflare verbunden, dort hab ich dann kostenlos SSL zu meiner Website hinzugefügt.

Aber jetzt muss ich doch auch in der Datenschutzerklärung meiner Website hinzufügen dass Cloudflare Daten sammelt (z.b IP-Adresse) oder? Und muss ich zuerst die Einstimmung der Websitebesucher bekommen? Und wenn mir jetzt ein Websitebesucher schreibt dass ich alle Daten die die Website von ihm gesammelt hat löschen soll was mache ich dann, weil nur Cloudflare hat ja dann persönliche Informationen gesammelt, aber wie soll ich das von Cloudflare löschen?

...zum Beitrag

Wie kann ich mehrere Unterseiten mit php erstellen?

Ich möchte eine website erstellen. Ich habe schon eine index.php erstellt und dort mit dem include Befehl die anderen php seiten eingefügt:

if($id=="news") {  
   include('news.php'); 
}

Die id wird vorher noch deklariert :

$id = $_GET["id"];

Die id steht dann hinterher auch so in der URL. Hab dies mit der .htaccess festgelegt. Jetzt möchte ich eine news-seite erstellen. Wie kann ich das so machen, dass die URL dann so aussieht:

www.example.com/news/artikelnummer

ich möchte, dass es für news praktisch eine Startseite gibt: example.com/news , die immer dann erscheint wenn ich oben im Menü auf news klicke. auf dieser Startseite kann man dann den Artikel anklicken und es wird der Artikel geladen und die URL ändert sich auf news/Artikelnummer. kann man das mit dem include Befehl machen oder gibt es da andere Möglichkeiten?

LG Calamann

...zum Beitrag

curl get in html einfügen?

Ich habe vor kurzem mit html und Website coding begonnen. Seit dem mein Freund Brawl Stars Spielt will er dass ich sein Clan auf meiner Webiste anzeigen lasse und ich mache mich schon bei der Brawl stars api seite angemeldet und auch schon alles gemacht aber jetzt brauche ich hilfe mit curl get weil die Website empfiehlt mir also ich muss

curl -X GET --header 'Accept: application/json' --header "authorization: Bearer <API token>" 'https://api.brawlstars.com/v1/clubs/C0C9UJQV'

und das anwenden

https://api.brawlstars.com/v1/clubs/C0C9UJQV

damit es geht und da es wie JavaScript aussieht und ich mich nicht mit JavaScript auskenne wollte ich euch fragen. Also wenn ihr eine Antwort habt dann bitte melden

...zum Beitrag

Was möchtest Du wissen?

Deinen Beitrag erstellen