Hey, also der erste Schritt wäre ihm zu sagen, wieso du so darauf reagiert hast. Er weiß jetzt sicher nicht richtig, wieso du gesagt hast, dass du es nicht weißt. Sei ehrlich zu ihm und rede mit ihm darüber.
Außerdem ist es unsinnig eine Beziehung einzugehen, wenn du dir unsicher bist. Lerne ihn besser kennen (ihr kennt euch wahrscheinlich schon ganz gut wegen der Wohngruppe, aber lerne ihn auf einem anderen Niveau besser kennen, indem du dich mehr mit ihm verabredest und ihr mehr zu zweit unternehmt). Es ist nunmal nicht immer Liebe auf den ersten Blick, aber manchmal auf den 2., 3., 4. und so weiter. :)
Also nochmal: das wichtigste ist, dass du jetzt erstmal ehrlich mit ihm darüber redest, was du fühlst und denkst.