Ist es nicht erstaunlich, als wie überlegen sich der Open-Source-Ansatz sogar noch für KI erweist?
|
Der ehemalige Google-China-Chef und KI-Unternehmer Kai-Fu Lee richtet sein KI-Start-up 01.AI neu aus und setzt dabei voll auf Open-Source-Modelle (von Deepseek).
"Es wurde für uns zwingend notwendig, Deepseek als unsere primäre Wette zu sehen", sagt Lee.
Diese Entscheidung sei nach einem sprunghaften Anstieg der Nachfrage nach Deepseek-Modellen bei chinesischen CEOs Ende Januar gefallen.
Lee sieht in Deepseeks Open-Source-Strategie eine existenzielle Bedrohung für OpenAI.
"Der größte Albtraum für Sam Altman ist, dass sein Konkurrent kostenlos ist",
sagt Lee.
"Ich habe bereits zahlreiche Menschen getroffen, die ihre ChatGPT-Abos gekündigt haben, da Deepseek kostenlos ist."
Quelle: https://the-decoder.de/ki-veteran-kai-fu-lee-sieht-deepseek-als-existenzielle-bedrohung-fuer-openai/
3 Antworten
Erst einmal müssten wir klären was Open Source bei AI-Modellen und Engines bedeutet.
Muss der Coden öffentlich einsehbar und nach den klassischen Lizenzen (GPL) lizenziert sein oder die Trainingsdaten? Oder vielleicht beides?
Ist es nicht erstaunlich, als wie überlegen sich der Open-Source-Ansatz sogar noch für KI erweist?
Open-Source-Software/Source available Software (nicht FOSS) war bis jetzt immer der Closed-Software überlegen.
Und falls einer hier mit Sicherheit ankommt: Das Prinzip von Security through Obscurity funktioniert nicht.
Falls es um das Thema Finanzierung bzw. Software klau, geht: Auch Open-Source-Software/Source available Software, kann man auch so lizenzieren, dass das kommerzielle nutzen verboten ist etc. Und Open Source heißt auch nicht, dass ein Unternehmen das Produkt nicht verkaufen darf.
Nein, ich finde es weniger erstaunlich, aber sehr nice, denn Open Source Modelle kann man fine tunen und man weiß, was dahinter steckt, also wie die Gewichtungen sind und so. Das macht es sehr atrtraktiv, da ja dann auch Unternehmen sehr gehime Unternehmensdaten in ihre eigene OpenSource offline KI reingeben können und die Daten mit viel höherer Wahrscheinlichkeit auch nicht nach außen weitergegeben werden (wie es bei closed source Modellen der Fall sein könnte, auch wenn sie schrieben, dass sie die Daten nicht sammeln oder selber nutzen und auswerten)
OpenAI hatte sich mit der Veröffentlichung von GPT-3 weitgehend von Open Source distanziert und dies mit Sicherheitsbedenken begründet. Nun scheint das Unternehmen seine Strategie zu überdenken: CEO Altman räumte kürzlich ein, dass die zuletzt eher verschlossene Haltung gegenüber Open Source problematisch gewesen sei.
Quelle: https://the-decoder.de/openai-kuendigt-open-source-sprachmodell-mit-reasoning-faehigkeiten-an/
Nicht ganz.
Die nächsten Modelle sind nicht Open Source und werden es auch nicht, sondern sie werden zu Open Weight Modellen. Das ist ein zwischen Ding von Open Source und Closed Source.
- Open Weight ist ein Kompromiss im KI-Bereich, da Unternehmen oft ihre Trainingsdaten und den vollständigen Entwicklungsprozess schützen wollen (aus Wettbewerbsgründen oder wegen Datenschutzbedenken). Es ermöglicht dennoch eine gewisse Offenheit, indem die Modelle für die Community nutzbar gemacht werden, ohne alles preiszugeben.
So sagt mir die KI grok-3-preview-02-24
|
Wenn ein KI-Modell "Open Weight" ist, bedeutet das:
- Die Modellparameter (Weights) sind öffentlich zugänglich: Die Gewichte (engl. Weights), die während des Trainingsprozesses gelernt wurden und das Verhalten des Modells definieren, werden öffentlich gemacht.
- Zugriff auf die trainierten Parameter: Jeder kann die Gewichte herunterladen, einsehen und verwenden, um das Modell auszuführen, Vorhersagen zu treffen oder es als Ausgangspunkt für eigene Weiterentwicklungen zu nutzen.
- Nicht notwendigerweise Open Source: Nur die Gewichte sind verfügbar, nicht unbedingt der komplette Quellcode des Trainingsprozesses, der Architektur oder der Implementierung. Es kann also sein, dass der Code, der zum Trainieren des Modells verwendet wurde, nicht offen ist, aber die resultierenden Gewichte schon.
Ein Beispiel für ein Open-Weight-Modell: Llama von Meta AI.
Quelle: Die KI flannel
|
Wir sprechen hier von Open Source (statt von nur Open Weight).
In der Praxis ergänzen sich Open Source und Open Weight oft:
- Ein Open-Source-Modell (z.B. TensorFlow) kann Open-Weight-Modelle bereitstellen (z.B. vorab trainierte Modelle wie BERT).
- Ein Open-Weight-Modell (z.B. Llama) kann mit Open-Source-Tools (z.B. Hugging Face Transformers) kombiniert werden, um es leicht nutzbar zu machen.
Fazit: Open Source ist die Transparenz der Implementierung, während Open Weight die Transparenz des trainierten Modells meint. Beide Konzepte treiben die Zukunft von Software und KI voran – auf ihre je eigene Weise! 😊
Quelle: flannel (eine KI)
Ein Open-Source-Modell (z.B. TensorFlow) kann Open-Weight-Modelle bereitstellen (z.B. vorab trainierte Modelle wie BERT).
Nein. Das geht nicht. TensorFlow ist eine Engine in der KI-Modelle laufen und kein eigenes Modell. Stelle dir das also wie bei Windows (Tensorflow) und dem Browser (nehmen wir mal FireFox[Llama]) vor. Windows ist nicht Firefox und Firefox ist nicht Windows. Auf Windows kann Firefox oder ein anderer Browser laufen. Auf Firefox kann kein Windows laufen.
Open Source ist die Transparenz der Implementierung, während Open Weight die Transparenz des trainierten Modells
Auch das ist so nicht anwendbar. Was Open Source ist und was nicht ist ganz strikt und klar definiert.
Und da kommen wir genau zu dem Problem. Als Open Source definiert wurde, gab es keine KI-Modelle in der Form. Somit müssen wir als IT-Gesellschaft erst den Begriff neu definieren.
Momentan ist das nicht Open Source. Es ist auch nicht möglich, dass ein Model wirklich Open Source ist, denn das geht mit der jetzigen Definition eigentlich nicht.
nicht unbedingt der komplette Quellcode
- Antwort
Und somit kann dein Konstrukt auch in Zukunft nicht Open Source sein, da bei Open Source wirklich alles offen sein muss.
Das chinesische Start-up 01.AI, gegründet vom Informatiker und KI-Pionier Kai-Fu Lee, hat in weniger als acht Monaten mit einer Bewertung von mehr als einer Milliarde US-Dollar den Unicorn-Status erreicht.
Das von 01.AI entwickelte KI-Modell "Yi-34B" ist für nicht-kommerzielle und Forschungszwecke uneingeschränkt Open Source. Lee schreibt auf Linkedin, dass China derzeit im LLM-Rennen hinterherhinke, das neue Modell aber "weltweit konkurrenzfähig" sei.
Das Unternehmen veröffentlicht Benchmark-Ergebnisse, bei denen Yi-34B auf oder sogar deutlich über dem Niveau von Metas Llama2-70B und Falcon-180B liegt, die mehr als doppelt oder fünfmal so viele Parameter haben. Das kleinere Modell Yi-6B liegt auf dem Niveau von Llama2-34B.
Quelle: https://the-decoder.de/ki-startup-01-ai-veroeffentlicht-open-source-llm-ueber-meta-llama-niveau/
|
Davon, dass auch Trainingsdaten öffentlich einsehbar gemacht wurden, steht hier nichts.