Was definierst du als "schwer"? Japanisch lernen ist von der Natur her kinderleicht. Wortwörtlich: Kinder lernen die Sprache und können sie sprechen. Also gibt es definitiv keine inhärente Schwierigkeit.
Das Lernen einer Fremdsprache ist allen voran kein Sprint, bei dem einige hängenbleiben, weil sie es aufgrund ihrer Fähigkeiten nicht schaffen. Es ist eher ein Marathon, bei dem du ab und an gar ne kurze Pause machen kannst.
Die Illusion, es sei schwer, kommt allen voran maximal von daher, weil viele eine Sprache mit Weg A lernen, sich dann aber wundern, warum sie Ziel B selbst nach Jahren nicht erreichen. Und dann behaupten sie, es sei zu schwer gewesen und sie haben deswegen aufgehört.
Im Falle von Sprachen ist es halt, dass man in Kurse rennt und Lehrbücher kauft, wo man abgetrennte Übungsaufgaben erledigt, bei denen man einzelne Worte in die richtige Lücke einsetzt, obwohl man in Wirklichkeit ein Buch verstehen, oder Texte in der Sprache schreiben will. Da verfolgt der Lernansatz ein ganz anderes Ziel, als das, was man wirklich erreichen will.
Dinge wie Schriftzeichen und Co. werden hingegen immer nur aufgebauscht. Wenn man sich in der Muttersprache merken kann, welche arbiträre Aneinanderreihung von Buchstaben welche Bedeutung haben, dann kann man sich auch merken, welches Kanji welche Bedeutung hat. Vom Lernaufwand her ist das nicht wirklich großartig anders. Es wird für viele nur schwer, weil sie sich stets vor der Anwendung einer Fremdsprache sträuben.