Ist ChatGPT das Ende der Möchtegern-Faktenchecker auf gutefrage.net und anderen PlattformenCo?
Leider sind auf gutefrage.net viele Pseudofaktenchecker unterwegs, die sich selbst kaum an die Fakten halten und dies noch nicht einmal einsehen wollen.
Doch mittlerweile beantwortet die aktuelle Version 4o von ChatGPT antworten auf dem selben Level der Genauigkeit und Richtigkeit, wie eine echter menschlicher Experte auf einem bestimmten Fachgebiet.
Und irgendwann kommt einmal auch die Zeit, wo ChatGPT Fragen sogar noch besser beantworten wird als ein menschlicher Experte.
Zwar hat man besonders bei kontroversen Themen wie Reinkarnationsforschung (mit widersprüchlichen Trainigsdaten) immer noch die Möglichkeit Antworten so zu erhalten, wie sie einem passen. Aber durch genauere und kritische Nachfragen klären sich mit ChatGPT dann doch viele Dinge auf, die im öffentlichen Diskurs (und auch auf gutefrage.net) viel Verwirrung stiften.
Gegenüber dem Reinkarnationsforscher Ian Stevenson wurde aus dem Lager der GWUP und Skeptiker-Bewegung immer wieder vorgeworfen, seine Forschungen seien nutzlos, weil dieser angeblich Suggestivfagen an die Probanden gestellt hätte.
Zwar war mir aufgrund meiner intensiven Studien dieser Forschungergebnisse klar, dass dieser Vorwurf nur zeigt, dass man sich nie wirklich mit dem Thema auseinander gesetzt hatte. Aber mit Hilfe von ChatGPT kann man auch diesen Punkt jetzt endlich schnell und effizient auflösen bzw. widerlegen.
Wo man sich früher, auch wenn man sich mit dem Thema auskennt, viel Schreibarbeit hätte machen müssen, um dies als Humbug zu entlarven und selbst diese Arbeit dann doch trotzt bester Recherche und Argumente wieder zerrissen worden wäre, durch die Möchtegern-Faktenchecker.
Nach dem Motto: Du hast eh keine Ahnung. Alles Unsinn, was Du schreibst.
https://chatgpt.com/share/66ed8d81-c5a4-8003-a616-8abf8db7fae7
https://chatgpt.com/share/66ed8daa-6e74-8003-b045-1ab4f1787d8d
11 Stimmen
5 Antworten
ie eine echter menschlicher Experte auf einem bestimmten Fachgebiet.
Das bekommt Chat ja gerade nicht hin.
Chat bekommt Antworten hin die für einen Laien korrekt aussehen aber jemand mit Fachkentnissen bekommt etliche Fehler mit.
Die Überschrift spricht von der Verständlichkeit der Sprache.
Dann hast Du wohl wahrscheinlich auch nur die Überschrift gelesen :-)
Da du ja so schlau bist könntest du ja einfach mal korekt zitieren.
Oder ist das zu schwer ?
Wenn du Sekunden nach einem Post eine Quelle bringst die selbst lt. Überschrift schon zu gar nichts von deiner Behauptung passt solltest du nicht erwarten das der gegenüber die Quelle stundenlang studiert. Den die Chance das du das gemacht hast läuft gegen 0.
Bei dem MMLU Score handelt es sich um einen Multiplechoice-Fragetest mit einer Zufallstrefferquote von 25%.
Es geht also viel mehr als nur um Textverständnis, sondern auch darum, dass korrekte Anworten auf die gestellten Fragen gegeben werden.
Und dort schneidet die Version 4o mittlerweile ungefähr genauso gut ab wie ein menschlicher Experte :-)
Doch!
Nein. Erstens erzielt auch das Modell GPT-4o immer noch schlechtere Ergebnisse als ein Experte (vgl. Hendrycks et al., 2020), zweitens bezieht sich MMLU auf den angloamerikanischen Sprachkreis. Bezüglich regional unterschiedlichen Themen, bekommst du teilweise überhaupt keine sinnigen Antworten, insbesondere wenn keine Trainingsdaten vorliegen, da diese nur auf Papier oder hinter Paywalls existieren. Zum Beispiel in Bezug auf deutsches Recht machst ChatGPT enorm viele Fehler.
Und erhrlich gesagt, kann sowas nur von jemandem kommen, der seit der Markteinführung von Version 3.5 diese Software nicht mehr genutzt hatte
Du hast in deinen tollen Demonstrationen oben Suggestivfragen an die KI gestellt und dies als Beleg für deine abstrusen Behauptungen aufgefasst – die Ironie merkst du selber, oder? Ein LLM wie ChatGPT generiert das am wahrscheinlichsten auf das vorherige Wort folgende Wort und ist nicht in der Lage, eigenes Unwissen oder Fehler zu erkennen.
Bezüglich regional unterschiedlichen Themen, bekommst du teilweise überhaupt keine sinnigen Antworten, insbesondere wenn keine Trainingsdaten vorliegen, da diese nur auf Papier oder hinter Paywalls existieren
zweitens bezieht sich MMLU auf den angloamerikanischen Sprachkreis.
Das ist mir schon klar. Aber ich bezog dies meist eher auf Wissenschaftsfragen. Und dort ist die Sprache Englisch und das sogar in einem Land wie Japan.
Mir ist völlig klar, dass es spezielle Sachen gibt, wo man ChatGPT eher nicht Fragen sollte :-)
ChatGPT wurde nicht mit Trainingsdaten aus wissenschaftlichen Journalen gefüttert, denn diese sind, wie bereits gesagt, so gut wie immer nur auf Papier und hinter einer Paywall zugänglich. Und das Problem des menschlichen Faktors bleibt bestehen, wie du selbst eindrücklich bestätigt hast. Durch Suggestivfragen kann man ein LLM dazu bringen, so gut wie jeden unwissenschaftlichen Unsinn zu behaupten.
ChatGPT wurde nicht mit Trainingsdaten aus wissenschaftlichen Journalen gefüttert... so gut wie immer nur auf Papier und hinter einer Paywall zugänglich
Immer dann wenn ich ChatGPT 4o nach Quellen frage, kommen immer wissenschaftliche Quellen, die zwar etwas andere Titel als in Echt aufweisen, aber die Namen der Autoren dieser Studien stimmen immer und das Jahr der Veröffentlichungen stimmt fast immer.
Und mit den richtigen Keywords findet man diese Studien auch über Google Scholar sehr leicht um sich ein eigenes Bild zu machen.
Außerdem verfügt ChatGPT auch über Infos aus Büchern.
Ich denke, das sinnvolle Zusammenspiel beider "Komponenten" ist die effektivste Methode. Warum? ChatGPT z. B. antwortet einfach völlig emotionslos, ohne Vorurteile und hat keinerlei, ich nenne es mal "Koryphäen-Allüren".
Dafür kann es zu "Halluzinationen" neigen, kann nicht wirklich die Plausibilität, die Richtigkeit in der Weise checken wie es Menschen könn(t)en.
Wenn KI nicht die nach wie vor nötige NI (=natürliche Intelligenz) ersetzt sondern ergänzt, dann kann das allemal zu besseren, sachbezogeneren Ergebnissen führen
teilweise. Chatgpt kann persönliche Fragen nicht alleine lösen
Eine KI ist niemals aktuell und wirft zu viele Fehler auf
Das geht so nicht
Auch Falschinformationen lassen sich durch Plattformen wie gf verhindern da manche ja noch gut recherchieren
Gruß Gummikugel
Das ist noch lange nicht der Fall. Ich bemerke immer wieder Fehler. Besonders häufig sehe ich logische Widersprüche in Argumentationen.
Das witzige bei deinen Fragen an ChatGPT ist, dass du Suggestivfragen gestellt hast. Du kannst von ChatGPT jede Antwort bekommen, wenn du die Frage nur richtig stellst.
Hahaha! Du machst genau das, was man Ian Stevenson vorwirft.
Ist auch interessant, dass du dich nur auf die Suggestivfragen versteifst. Es gibt viele andere Schwächen in seinen Untersuchungen.
Mal ganz davon abgesehen. Du solltest die Kritik an den Studien ja kennen. Was hältst du davon diese Kritik zu nehmen, das Studiendesign zu verbessern und diese zu wiederholen?
Du solltest die Kritik an den Studien ja kennen. Was hältst du davon diese Kritik zu nehmen, das Studiendesign zu verbessern und diese zu wiederholen?
Weil die vermeintliche Kritik nicht gerechtfertigt ist und es keine Hinweise gibt, dass Stevenson schlampig gearbeitet hätte.
Es hatte auch Fälle gegeben, wo andere Psychologen und Psychiater vor Ort in der Lage waren, die Aussagen der Kinder genau zu dokumentieren, noch bevor die frühere Person ausfindig gemacht werden konnte.
https://psycnet.apa.org/record/1989-18534-001
Und im Durchschnitt waren die Erinnerungen genauso präzise (mit der selben Anfälligkeit für Erinnerungsverfälschungen) wie in den Fällen, die Stevenson untersucht hatte, wo vorher schon zwischen den beiden Familien bereits Kontakt bestand.
Man kann es also sehr gut widerlegen, dass die Vorwürfe gegen Stevenson selbst haltlos sind.
Das witzige bei deinen Fragen an ChatGPT ist, dass du Suggestivfragen gestellt hast.
Solltest Du auch mal machen, dann würdest Du auch feststellen, dass ChatGPT schon lange nicht mehr so auf Suggestivfragen reinfällt wie früher mal :-)
Besonders häufig sehe ich logische Widersprüche in Argumentationen.
Und woher willst Du wissen, dass dies nicht darauf zurück zu führen, dass es vielleicht nicht Deine Logik ist, die widersprüchlich ist?
Ich kenne mich mit Ian Stevenson und seinen Studien nicht so gut aus. Ich hatte damals aufgehört mich mit seiner Forschung zu beschäftigen, als ich "Interviews" gelesen habe. Interviews können noch so methodisch sauber durchgeführt worden sein, sie können niemals als ausreichender Beweis für eine Hypothese genommen werden. Dafür ist qualitative Forschung auch nicht da. Qualitative Forschung wird meist zu Beginn einer Forschungsfrage verwendet.
"Schwache Leistung von Dir. Gerade bei dem Vorwurf der Suggestivfragen gibt es fast keine Belege, dass dieser Vorwurf überhaupt haltbar ist!"
Ist das von dir? Das ist nicht einmal mehr eine Suggestivfrage. Das ist schon fast: "ChatGPT, sag mir das Gegenteil von dem, was du eben gesagt hast."
Und woher willst Du wissen, dass dies nicht darauf zurück zu führen, dass es vielleicht nicht Deine Logik ist, die widersprüchlich ist?
Logik ist Logik. Es gibt hier keine "meine oder deine" Logik. Wenn ChatGPT "A" sagt und dann 2 Absätze "Nicht-A", dann ist das ein Logikfehler.
Solche large language Programme verstehen Logik auch nicht. Sie geben dir nur aufgrund von Wahrscheinlichkeitsfunktionen eine Antwort.
Für die faktischen Antworten, gilt wie bei fast jedem Programm: "Shit in, shit out." Also je nachdem mit welchen Daten man das Programm trainiert, bekommt man bessere oder schlechtere Antworten.
Doch! Da gibt es sehr genaue und wissenschaftlich präzise Untersuchungen drüber:
https://paperswithcode.com/sota/multi-task-language-understanding-on-mmlu
Und erhrlich gesagt, kann sowas nur von jemandem kommen, der seit der Markteinführung von Version 3.5 diese Software nicht mehr genutzt hatte.
Und sie schon im Vorfeld als unsining abgetan hatte, ohne zu berücksichtigen, dass es sich um eine Technologie (3.5) handelt, die noch in den Kinderschuhen steckte.
Und sich seitdem nicht mehr damit auseinander gesetzt hat???