Beste KI für Programmierung?
Guten Tag, ich bin auf der Suche nach der besten KI für Spieleentwicklung bzw. Programmierung. Grundsätzlich benutze bzw. Benutzte ich immer ChatGPT für Programmierung wie Scripts. Aber mittlerweile reicht es mir einfach mit dieser KI, sie war sonst immer sehr gut und brachte gute Antworten, aber mittlerweile habe ich den Eindruck, dass die Antworten immer schlechter werden und Probleme nicht mehr richtig löst. Deshalb wollte ich hier nachfragen, ob jemand von euch eine "deutlich" bessere oder gute KI für Programmierung kennt und auch komplexere Probleme lösen kann? Ich freue mich um jede Antwort.
3 Antworten
Dass die Ausgaben von ChatGPT schlechter werden ist unwahrscheinlich. Was du da beschreibst, hört sich eher nach einem eintretenden Gewöhnungseffekt bzw. abflachendem Shiny Object Syndrome an. Für wirklich komplexe Aufgaben sind LLMs einfach (noch) nicht gut genug. Die nächsten Wochen wird sehr wahrscheinlich GPT-4.5 und/oder Claude 3.5 Opus erwartet, die nochmal eine ganze Standardabweichung besser als aktuelle Modelle sein dürften.
Aktuell ist für die Softwareentwicklung aber Claude 3.5 Sonnet von Anthropic am besten, zumindest wenn man sich den HumanEval-Benchmark anschaut. Claude 3.5 Sonnet wird dort mit 92% eingestuft, GPT-4o mit 90,2%. OpenAI o1 und o1 mini sind auf selbigem Benchmark sogar noch etwas höher gerankt, allerdings aufgrund ihres Chain of Thought Verfahrens nicht für alle Probleme geeignet. Alles jeweils auf Python bezogen, die meisten anderen gängigen Programmiersprachen sind aber dahingehend ähnlich.
Wir verwenden derzeit hauptsächlich Cursor als Entwicklungsumgebung und dort die Auto Complete (ähnlich zu GitHub Copilot, nur tausendfach besser) und Chat-Funktion per Claude 3.5 Sonnet. Wenn Claude mit einer Anfrage nicht klar kommt bzw. die Anfrage von einem längeren Denkprozess profitieren könnte, probieren wir es statt dessen mit o1 mini (lässt sich auch über Cursor nutzen).
Claude 3.5 Sonnet lässt sich auch über das Web Interface von Claude nutzen. Das Pro-Abonnement kostet glaube ich ähnlich viel wie ChatGPT Plus. Ich würde als fortgeschrittener Nutzer aber dazu raten, die LLMs statt dessen per API zu nutzen und ein eigenes Web Interface, bspw. Open WebUI oder LibreChat, zu verwenden. Nicht nur ist die Abrechnung so nutzungsbasiert (und für die meisten Nutzer so weitaus günstiger als ein Abonnement bei einem oder gar mehreren der Anbieter), auch kann man für verschiedene Anwendungsfälle verschiedene Modelle nutzen und ist nicht auf einen Anbieter (bspw. OpenAI oder Anthropic) beschränkt.
Grundsätzlich profitieren LLMs aber aktuell sehr stark davon, wie gut die Prompt (sowohl System Prompt als auch User Prompt) ist, die man ihnen gibt. Es lohnt sich da also, ein wenig mit rum zu spielen und rauszufinden, was für einen selbst am besten funktioniert.
Nutze den JetBrains AI Assistant oder die lokale Completion und ChatGPT.
Beide versagen regelmäßig bei komplexeren Aufgaben/Fragen. Ich habe auch das Gefühl, dass ChatGPT teils ach lässt, aber fand es auch noch nie richtig gut. Z.B. hat es mir auch früher schon bei Go teils Dinge geliefert, die nicht mal vom Syntax her gepasst haben.
Der AI Assistant von JetBrains hat meiner Meinung nach die praktischsten Features bezüglich Doc Kommentare schreiben, Commit Messages schreiben, einfach die beste Integration in die IDE - bei GitHub CoPilot mit JetBrains Plugin fand ich die Integration schlecht und die Ergebnisse nicht wertvoller, als die lokale JetBrains Completion.
Für mich ist das KI Zeug entweder 1. smartere code completion für Dinge die ich selber schreiben könnte, oder 2. quasi das selbe was Stack Overflow auch ist, man holt sich Meinungen oder Hinweise auf Dinge die man eventuell nicht kennt, aber ob die Antworten dann immer so passen oder immer gut sind ist halt nicht gesichert.
Ich nutze claude.ai und GitHub Copilot (aber ohne groß Fragen zu stellen).
Allerdings bezweifle ich, dass ChatGPT schlechter wird.
ChatGPT und auch claude.ai oder Github Copilot haben noch nie wirklich gute Antworten geliefert, wenn die Fragen mehr als ein Mindestmaß erfordert haben.
Vielleicht fällt dir das einfach mehr auf, als früher?
Keine KI ist (aktuell) geeignet, um wirklich zu programmieren. Kleinkram und einfache "Grüne Welt"-Geschichten gehen, aber bei komplexeren Dingen, ggf. auf Basis einer bestehenden Software, wird's schlagartig schlechter.
KI kann unterstützen, aber Du musst die richtigen Fragen stellen (was teilweise schwieriger ist, als das Programmieren selber) und Du musst die Antwort beurteilen und Anpassen können.