Ja, drei 1,5V Batterien haben in Reihe 4,5V. Das ist die Nennspannung. Die tatsächliche Spannung nimmt aber entsprechend der verbleibenden Ladung ab und befindet sich idR. zwischen 1,6V (voll) und 0,9V (leer). Ein 5V Netzteil könnte funktionieren aber mit 4,5V wärst du auf der sicheren Seite.
Beim Strom ist es nur wichtig, dass das Netzteil mindestens so viel Strom liefern kann wie die LEDs brauchen, mehr ist auch in Ordnung. Bei nur 10 LEDs sollte vermutlich sogar 1A ausreichen.