Wie verarbeiten KIs Texte?
Hallo allerseits. Ich wollte gerne Wissen, wie es möglich ist, dass Chat KIs, wie GPT, LLAMA usw Ihre "Trainings-Texte" verarbeiten können. Ich habe die Theorie aufgestellt, dass diese irgendwie grammatikalisch "gescannt" werden. Beispiel:
Der Satz den die KI bekommt: "Äpfel sind rot"
Die KI "scannt" dann den Satz grammatikalisch mit einem Algorithmus, welcher Subjekt und Prädikat herausfindet und irgendwo abspeichert. Aber ich nehme an es gibt da noch andere, klügerere Lösungen. Weiß da jemand bescheid?
2 Antworten
KIs verarbeiten Texte, indem sie große Mengen davon analysieren und Muster lernen. Sie zerlegen Text in kleinere Teile, sogenannte Tokens und wandeln diese in Vektoren um. Während des Trainings lernen die KIs Beziehungen zwischen Wörtern zu verstehen. Nach dem Training können sie auf neue Texte angewendet werden, um sinnvolle Ausgaben zu generieren, basierend auf den gelernten Mustern.
Na ja, so in etwa. Jedoch ist das Finden dieser Regeln / Zusammenhänge erlernt und nicht vorgegeben; es folgt also nicht strikt unseren Grammatikregeln.
Die Basis für den "LLM-Boom" ist das Transformer-Modell, welches uns dieses Paper geliefert hat: "Attention Is All You Need", Vaswani et al. https://arxiv.org/abs/1706.03762
https://en.wikipedia.org/wiki/Attention_Is_All_You_Need
Hierbei sind sogenannte "attention" Blöcke zentral, welche quasi genau das tun, was du hier beschreibst. In einem mehrschrittigen Verfahren können Tokens (Wörter / Wortschnipsel) mit ihren Nachbarn kommunizieren und so ihre tatsächliche Bedeutung verfeinern.
Figur 3: "Beispiel der Verfeinerung eines Worts" (frei & vereinfacht übersetzt)
Figur 5: "Auszug des Effekts zweier Ebenen dieses Verfahrens auf einen gesamten Satz" (frei & vereinfacht übersetzt)
