Meistens ist mit * der Malpunkt gemeint.

Wenn du dich aber mit abstrakter Mathematik beschäftigst (zB auf der Uni), kann damit die sog. "Faltung zweier Funktionen" gemeint sein, also eine besondere Operation, die aus zwei Funktionen f und g eine neue Funktion f*g konstruiert. Faltungen spielen zB in der Wahrscheinlichkeitstheorie eine Rolle.

Wie von anderen schon gesagt, kann ein Sternchen auch einfach als Markierung von konkreten Objekten verwendet werden. ZB dass eine Funktion f(x) eine Nullstelle hat, die mit x* bezeichnet wird.