Man kann zwar wissen, wie neuronale Netze, large language models, etc... was wir zusammenfassend als KI bezeichnen prinzipiell funktioniert, aber es ist schwer bis gar nicht vorauszusagen, was sie lernt und wie sie sich verhalten wird.
Am Schluss ist alles nur Statistik und Wahrscheinlichkeiten... Aber ChatGPT und Co haben einen so immensen Datensatz (vom Training her und den internen Verknüpfungen), dass kein Mensch mithalten kann... und ich bezweifle sogar, dass sich konkrete Entscheidungen wirklich nachvollziehen lassen, auch wenn alles deterministisch ist.