Wie ist sowas wie ChatGPT möglich?
Ich hab mir das auf mein Handy runtergehen und dieses Programm kann wirklich alles beantworten und man kann sie z.T. von menschliche Antworten schon überhaupt nicht mehr unterscheiden... Ich finde das unglaublich
Wie funktioniert das, wie ist das möglich?
4 Antworten
An sich ist eine KI nichts anderes als ganz viel Stochastik, also Wahrscheinlichkeit.
Die KI wird mit Trainingsdaten gefüttert und dann trainiert. So ist es dann möglich, auf die Fragen der Nutzer (im Falle von GPT), mittels Wahrscheinlichkeit die möglichst passenste Antwort zu liefern.
Und bei der Antwort ist vorsicht geboten, denn wenn GPT keine passende Antwort findet, wird einfach etwas generiert. Das ist auch nicht falsch, denn es handelt sich um ein Sprachmodell, kein Wissensmodell. ChatGPT wird daher in den meisten Fällen falsch angewendet, gibt dennoch in vielen Fällen die korrekte Antwort, aber nicht immer.
Intelligenz ist da tatsächlich keine dahinter. Die Technologie für KI bestand grossteisl auch bereits in den 80ern und 90ern. Man hatte damals nur noch nicht genügend Rechenkapazität um die Mathematik dahinter kommerziell und für die grosse Masse zu nutzen.
Forscher gehen übrigends von etwa 550 Tonnen CO2 aus um GPT 3.5 zu trainieren, zum Vergleich, ein Auto stösst im Jahr ca 2 Tonnen aus. Das ist der Stromverbrauch von 320 Vierfamillienhaushalten.
Nun, wenn du es genau wissen willst, wirst du praktisch um ein Informatikstudium nicht herum kommen.
Das Grundprinzip - einfach erklärt - ist eine extrem breite Datenbasis, auf die die KI zurückgreifen kann. Neu - im Unterschied zu bisherigen Suchmaschinen - ist, dass durch entsprechende Programmierung (Stichwort: Algorithmen) die KI selbständig Verknüpfungen erstellen kann zwischen den Daten, so dass praktisch unvorhersehbare und kreative Ergebnisse auf der Grundlage unglaublich viel vorhandenen Wissens entstehen können. Dabei kann sich das System ständig selbst verbessern, sozusagen 'dazulernen'.
Im Grundstudium Informatik (Bachelor) muss man Glück haben, eine Vorlesung zu haben, die solch modernen Technologien umfangreich behandelt, da sie sich doch von traditionellen KIs unterscheiden. Im Master mit einer Spezialisation auf KIs kann das natürlich anders aussehen.
Gibt mittlerweile einige Unis und Hochschulen die auch speziell einen Bachelor Studiengang Aritifical Intelligence anbietet, oder zumindest eine Fachvertiefung im BSc Informatik zu AI.
Na, da hast du dich ja - dank deiner (bisherigen) Informatikkenntnisse ? - schwer ins Zeug gelegt ... (Vielleicht hätte es ein freundlicherer Grundton dabei auch getan).
Aber mal zu deinen Argumenten:
"Die Grundfunktionsweise ist nicht besonders schwer ... (etc.)." - Dann stellt sich allerdings die Frage, wieso das nicht schon vor Jahrzehnten funktionsfähig entwickelt wurde. Hast du da eine Erklärung dafür?
"(Die KI) wurde entwickelt auf der Datenbasis ..." - EBEN. Somit nutzt sie eben genau das als Ausgangspunkt.
"Die Modelle sind nicht dazu ausgelegt zu lernen ..." - Da kann man aber laufend entsprechende Aussagen in diesem Sinne dazu lesen.
"Kreativ" sind solche Ergebnisse von KI immer wieder - indem nämlich Verknüpfungen vorgenommen, bzw. Verbindungen zwischen Daten "gesehen" werden, die von Menschen bisher nicht entdeckt wurden. (Ich habe dazu Beispiele aus der Medizin gelesen; die Quellen müsste ich aber erst wieder recherchieren).
Der Kommentar zeugt eigentlich nur erneut von Ignoranz gegenüber der Technologie und meiner Kritik an deiner Antwort. Ich habe nicht vor, mit dir noch eine großartige Diskussion zu führen.
Na, da hast du dich ja - dank deiner (bisherigen) Informatikkenntnisse ? - schwer ins Zeug gelegt
Ich weiß nicht, ob du wirklich in einer Position bist, mich aufgrund meines Studiums zu kritisieren.
Dann stellt sich allerdings die Frage, wieso das nicht schon vor Jahrzehnten funktionsfähig entwickelt wurde
Nur weil etwas nicht kompliziert ist, heißt es nicht, dass die Erfindung einfach war. Heute lernt jedes Kind in der Schule die Erkenntnisse, welche die Menschheit über Jahrtausende gesammelt hat. Ich habe von den Grundzügen der Funktionsweise der Technologie gesprochen, nicht von den Implementierungsdetails.
EBEN. Somit nutzt sie eben genau das als Ausgangspunkt
Generative KIs nutzen eine Datenbasis als Grundlage; die Aussage, dass sie aktiv darauf zugreift, ist aber inakkurat.
Da kann man aber laufend entsprechende Aussagen in diesem Sinne dazu lesen.
Wie ich in meiner Antwort geschrieben habe, muss man das Lernen während dem Training und das Lernen nach Trainingsende unterscheiden. Modelle, die einmal veröffentlicht werden, lernen nur durch Training. Das sind dann effektiv andere Modelle. "Ich habe xyz gehört" widerlegt außerdem nicht meine Beschreibung der Funktionsweise.
"Kreativ" sind solche Ergebnisse von KI immer
Gut, ich sehe Kreativität als rein menschliche Eigenschaft, aber wenn du ihr das zusprechen willst.
Verknüpfungen vorgenommen, bzw. Verbindungen zwischen Daten "gesehen" werden, die von Menschen bisher nicht entdeckt wurden. (Ich habe dazu Beispiele aus der Medizin gelesen; die Quellen müsste ich aber erst wieder recherchieren).
Ich möchte nochmals klarstellen, dass wir hier von generativen KIs, also Large Language Modellen, sprechen. In den Naturwissenschaften werden traditionelle KI-Modelle eingesetzt, die für diese Aufgaben geeignet(er) sind. Das sind grundsätzlich unterschiedliche Technologien. Firmen und Medien schmeißen die fürs Marketing inzwischen oftmals in einen Topf und es ist verständlich, dass man als Laie schnell verwirrt ist. Genau deshalb war aber meine Kernaussage, das es wichtig ich, sich über solche Themen zu informieren. Es ist nicht schwer, wenn man es will.
Es gibt natürlich sehr viele Ebenen dazu, aber ich versuche es mal, die grundsätzliche Funktionsweise sehr einfach zu erklären:
Eine generative KI wie ChatGPT benötigt zunächst Milliarden Tokens (kannst du dir als eine Art Wort vorstellen) Trainingsdaten. Diese können aus Webseiten, Bücher, oder Foreneinträge aus dem Internet kommen. Darauf basierend werden Wahrscheinlichkeiten berechnet: wie wahrscheinlich ist es, dass ein Wort in einem bestimmten Kontext auf ein anderes Wort folgt? Wenn man jetzt der KI eine neue Eingabe (Prompt genannt) gibt, kann es basierend darauf und seinem Training (also den Wahrscheinlichkeiten) eine Ausgabe erzeugen, Wort für Wort. Mit einem Parameter, den man Temperatur nennt, kann man zudem die KI dazu bringen, manchmal nicht das wahrscheinlichste Wort zu wählen – so kommt Variation in die Antwort, dieselbe Eingabe führt nicht immer zur selben Ausgabe. Die KI hat dabei kein Verständnis von dem, was sie schreibt, wie wir Menschen es haben; es ist alles eine Sache der Wahrscheinlichkeiten, basierend auf Trainingsdaten. So kommt es oft zu sogenannten Halluzinationen, wenn die KI etwas generiert, das zwar linguistisch gesehen so Sinn ergibt, inhaltlich allerdings kompletter Schwachsinn ist. Deshalb sollte man den Ausgaben generativer KIs immer kritisch gegenüberstehen.
Moderne Large Language Model wie ChatGPT 4 sind deutlich komplexer und bestehen teilweise auch aus mehreren Teilen, welche für spezielle Aufgaben trainiert wurden und diese besonders gut lösen können. In diesem Feld wird momentan konstant geforscht und es gibt viele Durchbrüche, aber auch noch viele ungelöste (oder unlösbare) Probleme. Grundsätzlich basieren sie aber immer noch auf diesem Prinzip. Wenn dich das Thema interessiert, gibt es viele schöne Videos auf Seiten wie YouTube.
Das ist das Ergebnis von Jahrzehnte langem forschen und entwickeln. Machine Learning gibt es ja nicht erst seit gestern.
Im wesentlichen werden Daten in Vektoren unterteilt, diese werden in eine Zahl übersetzt und ab da geht es fast nur noch um Wahrscheinlichkeit.
So sind KI Modelle wie GPT auch in der Lage Kontexte zu erfassen und basierend darauf die am wahrscheinlichsten richtige Antwort zu liefern.
Ich bin momentan ein Informatikstudent und halte diese Antwort für ziemlichen Schwachsinn. Die Grundfunktionsweise von generativen künstlichen Intelligenzen ist nicht besonders schwer, und die Technologie als Hexenwerk zu identifizieren, dass nur ausgebildete Informatiker verstehen könnten, finde ich mehr als nur fragwürdig. Nur, wenn man sich mit solchen Technologien beschäftigt, kann man die Chancen und Risiken als Privatperson richtig abschätzen. Das ist nicht kompliziert, es gibt tausende fantastische und einfach zu verstehende Webseiten und Videos zu dem Thema. Im Grundstudium Informatik (Bachelor) muss man Glück haben, eine Vorlesung zu haben, die solch modernen Technologien umfangreich behandelt, da sie sich doch von traditionellen KIs unterscheiden. Im Master mit einer Spezialisation auf KIs kann das natürlich anders aussehen.
Aber um zu der Antwort zurückzukommen: die generative KI hat in der Regel keinen Zugriff auf die Datenbasis, sie wurde trainiert auf der Datenbasis und die Ergebnisse des Trainings sind nun Teil des LLMs.
Die Vergleiche mit traditionellen Suchmaschinen hinkt auch ein wenig. Suchmaschinen verschwenden schon lange Algorithmen, die wir als Künstliche Intelligenz bezeichnen könnten (die tatsächliche Definition ist sehr umstritten). Verknüpfungen zwischen Daten bestehen von Natur aus auch bei Suchmaschinen, und die wurden auch schon seit Jahrzehnten von der KI ermittelt. Die Modelle sind außerdem in der Regel nicht darauf ausgelegt, nach ihrem initialen Training zu "lernen", Eingaben der Vergangenheit wird einfach zu zusätzlichem Kontext als Teil der Eingabe in dem jeweiligen Chat (in dem Fall von ChatGPT, Gemini etc.). So gesagt lernt eine Suchmaschine mehr dazu als ein LLM, da sie konstant neue Webseiten bewerten und ranken muss.
Im Grunde haben LLMs aber auch nicht viel mit Suchmaschinen zu tun und auch wenn es die Chefs im Silicon Valley gerne anders hätten, denke ich auch nicht, dass LLMs Suchmaschinen ersetzen können – oder sollten. LLMs sind einfach mathematische Modelle, die basierend auf ihren Trainingsdaten Wahrscheinlichkeiten berechnen und mit ein bisschen Varianz ("Temperatur") basierend darauf Ausgaben erzeugen, die nicht faktisch richtig sein müssen, auch wenn sie in der Regel linguistisch korrekt sind. Kreativität als menschliche Eigenschaft sehe ich da nicht, auch wenn die Ausgaben "einzigartig" sein können.
Es ist weder Zauberei noch eine seriöse oder kreative Informationsquelle.