Wenn du USB-Massenspeichergeräte einfach herausziehst, ohne vorher die Hardware per Betriebssystem auszuwerfen, können Daten verloren gehen. Besonders wenn gerade ein Daten-Transfer ist. Um eine Formatierung wirst du wohl nicht herum kommen. Ein Virus ist da sehr wahrscheinlich nicht im Gange.
Immer aufpassen, das vor dem herausziehen alle Vorgänge mit dem USB-Stick abgeschlossen sind. Dann unten rechts in der Symbolleiste (zumindest unter Windows) auf Hardware sicher entfernen klicken und folglich auf auswerfen.