Wie kann man die Performance von Deep Learning Modellen verbessern, wenn man nur begrenzte Trainingsdaten zur Verfügung hat?
Wenn man Deep Learning Modelle trainiert, benötigt man normalerweise eine große Menge an Trainingsdaten, um eine hohe Genauigkeit zu erreichen. Aber was passiert, wenn man nur begrenzte Trainingsdaten hat? Wie kann man die Performance des Modells verbessern, ohne mehr Daten zu sammeln? Gibt es spezielle Techniken oder Methoden, die man anwenden kann?
1 Antwort
Über diese Frage zerbrechen sich derzeit viele KI-Forscher/Entwickler den Kopf. Denn wie es aussieht, gehen uns bald die hochwertigen Daten aus, um KI zu trainieren: https://1e9.community/t/den-ki-firmen-gehen-wohl-bald-die-daten-aus/20172
Aber es gibt bereits einige Techniken, die derzeit erprobt oder sogar in der Praxis eingesetzt werden.
Beim Training von Bildmodellen können Bilder beispielsweise doppelt genutzt werden. Zum Beispiel indem sie zusätzlich gespiegelt, mit einem anderen Bildausschnitt oder leicht verrauscht zum Training verwendet werden. Ganz ähnlich funktioniert es bei Texten, wo bereits verwendete Texte von einer KI „umformuliert“ werden ... und so aus einem Text plötzlich zwei werden.
Insbesondere bei Bildmodellen kann die Leistung auch durch eine Verbesserung der Metadaten der verwendeten Bilder gesteigert werden. OpenAI hat dies beispielsweise beim Training von DALL-E 3 getan. Es ließ einen Image Captioner die Bilder im Dataset analysieren und mit deutlich ausführlicheren Beschreibungen versehen, die nicht nur den Bildinhalt, sondern auch Ästhetik, Stil und Stimmung sehr detailliert beschreiben.
Hier kannst du etwas dazu nachlesen: https://cdn.openai.com/papers/dall-e-3.pdf
Darüber hinaus wird auch an speziellen Techniken geforscht, um Modelle besser aus vorhandenen Daten lernen zu lassen. Das Unternehmen Datology AI forscht beispielsweise am sogenannten Curriculum Learning, bei dem Daten einer KI so präsentiert werden, dass die „Lerninhalte“ aufeinander aufbauen und die KI optimal davon profitiert. Dabei soll Klasse statt Masse zählen. Statt 100 Artikeln zu einem Thema sollen beispielsweise die 10 besten Artikel zu einem Thema ausreichen, um ein besseres Lernergebnis zu erzielen.
Es wird aber auch daran geforscht, die Architektur der Modelle selbst so zu optimieren, dass sie mehr aus den vorhandenen Daten lernen. Denn dass so große Datenmengen benötigt werden, liegt natürlich auch an den Modellen selbst. Und auch hier gibt es Fortschritte. Das von Meta entwickelte CM3Leon, eine KI zur Bildgenerierung, soll nicht mehr Milliarden, sondern „nur“ Millionen von Bildern als Trainingsinhalte benötigen, um robuste Ergebnisse zu liefern.
Hier gibt’s dazu Infos: https://ai.meta.com/blog/generative-ai-text-images-cm3leon/