Eine sehr gute Frage.
Zunächst zum Begriff "Bewusstsein": Was dieser bedeutet, ist sehr umstritten, aber auf jeden Fall setzt das Vorhandensein von Bewusstsein wohl das Vorhandensein von Qualia, also von subjektiven Empfindungen, voraus. Sprich: Dass Dinge sich nach etwas anfühlen; dass sie beispielsweise Schmerz auslösen, dass Nahrungsmittel ein Geschmackempfinden hervorrufen etc.
Wie klären wir nun, ob ein anderer Mensch, ein Tier, eine Maschine oder etwas anderes Bewusstsein hat? Und wie klären wir, welche Qualia ein bestimmter Reiz in diesem Bewusstsein auslöst?
Grundsätzlich können wir das eigentlich nur durch einen Analogieschluss tun: Andere Menschen oder auch Tiere haben ein Nervensystem, das dem unserem sehr stark ähnelt, also letztlich "analog" zu dem unseren ist. Dementsprechend müssen sie auch auch ein Bewusstsein haben, wie wir, und sie müssen in bestimmten Situationen vergleichbare Qualia haben wie wir.
Bloß auf äußeres Verhalten abzustellen, reicht dagegen nicht: Wir könnten ja schließlich Maschinen programmieren, die keine echte künstliche Intelligenz sind und daher definitiv kein Bewusstsein haben, die aber trotzdem alle äußerlichen Verhaltensweisen, die scheinbar auf Bewusstsein hindeuten, zeigen. Daher kann dies nicht ausreichen.
Angewandt auf Bewusstsein bei künstlicher Intelligenz bedeutet dies: Wenn eine künstliche Intelligenz ein Bewusstsein hat, dann können wir es eigentlich nie beweisen. Denn der erwähnte Analogieschluss funktioniert bei künstlichen Intelligenzen nicht, weil sie ja als Maschinen gerade kein dem unserem vergleichbares Nervensystem haben.
Man könnte höchstens aus praktischen Gründen unterstellen, dass künstliche Intelligenzen Bewusstsein haben. Ob darin dann aber ein "Beweis" bzw. eine dem vorgenannten Analogieschluss gleichwertige Begründung zu sehen ist, ist eine erkenntnistheoretische Frage, die zu beantworten hier zu weit führen würde.
Hoffe, ich konnte helfen.