Python | Beleidigungen / Links / Bilder filtern?

1 Antwort

Vom Beitragsersteller als hilfreich ausgezeichnet

Automatisiert ist eine Wortliste das einfachste Entwicklungszenario, die evt. auch Wildcards oder reguläre Ausdrücke unterstützt. Folgend müsste je Ausdruck auf der Liste getestet werden, ob er im zu überprüfenden Text vorkommt.

Ebenso gibt es bereits APIs, die das Filtern von Schimpfwörtern und dergleichen anbieten.

Beispiele:

Text in Bildern kann man wiederum via OCR herauslesen. Schau dir konkret pytesseract an. Die Wahrscheinlichkeit, dass jemand es dennoch schafft, beleidigende Wörter in Bildern zu verstecken, sehe ich wiederum als hoch an.

Generell solltest du berücksichtigen, dass du mit all diesen Methoden (auch einer AI) kaum alles herausfiltern kannst, was sich ein Nutzer so als Eingabe ausdenken mag. Wer jemanden anders beleidigen möchte, wird das irgendwie auch schaffen. Wörter können zudem mit der Zeit und je Kontext eine neue Bedeutung annehmen, was ein Programm wiederum nicht erfassen kann.

Die sicherste Option ist es, eine manuelle Prüfung in den Prozess zu integrieren (zumindest für solche Texte, bei denen ein Filterprogramm zu keinem eindeutigen Ergebnis gekommen ist) und ebenso nachträgliche Prüfungen nicht auszuschließen.

Die Nutzung von Bildern könnte man im Übrigen direkt verbieten. Oder (und das gilt auch für Texte) man erschwert es Nutzern, Inhalte zu verschicken, indem man eine vorherige Anmeldung verlangt, bei der sich der Nutzer erst mit echten Daten (Foto von Personalausweis, u.ä.) identifizieren lassen muss. Ein weiteres Präventivmittel wäre irgendeine Art an Bewertungssystem, welches darüber entscheidet, ob einem Nutzer bestimmte Rechte entweder gegeben oder wieder genommen werden.