Wenn Du über ssh remote shell Zugriff hast (sollte in den meisten Fällen der Fall sein), kannst du die ssh Apps auf deinem Smartphone installieren. Ich benutze immer Termius wegen der schönen Benutzeroberfläche und weil die ssh credentials und Konfigurationen in der App Speicherkarte sind und man so eben schnell auf einen Server zugreifen kann.
Mit Anydesk weiß ich nicht genau, wie es ist, aber du kannst alternativ einen VNC Server machen und dich mit RealVNC verbinden. Da hast du dann auch eine Desktop GUI, die man sowohl über PC als auch mobile Endgeräte steuern kann. Da kannst du dann VNC Server wie WayVNC oder RealVNC Server auf deinem Server installieren und dann mit der App über Port 5900 (default) darauf zugreifen.