Wie werden WhatsApp Nachrichten verschlüsselt? Und kann man sie entschlüsseln?

Entschlüsseln kann man das nicht, auch nicht die Dienste.

Die nutzen andere Schwachstellen in der Software. So ist standardmäßig eingestellt, dass man die Änderung der "Sicherheitsnummer" von Kontakten nicht angezeigt bekommt. Das ist aber wichtig, da an dieser Sicherheitsnummer die Verschlüsselung hängt. So kann man den Leuten neue Schlüssel unterschieben und mitlesen. Ebenso kann man bei Messengern wie Whatsapp weitere Geräte anmelden und dort die Nachrichten ebenso empfangen.

Auf all das muss man achten. Als sicher in dieser Hinsicht sind nur Signal und Threema zu betrachten, wobei Signal noch kostenlos ist.

Die Verschlüsselung ist asymmetrisch, bedeutet zum Verschlüsseln benutzt man einen offenen Schlüssel, den haben alle deine Kontakte von dir automatisch bekommen und zum entschlüsseln benutzt man einen privaten Schlüssel, den nur du auf deinem Endgerät hast.

Ein weiterer Angriffspunkt ist daher dein Telefon mit Schadsoftware zu infizieren und dort einfach die Nachrichten nach der Entschlüsselung abzugreifen.

Das sind die Gründe für den sog. Staatstrojaner.

Auf die Teilfrage "kann man sie entschlüsseln?"

Ja kann man! Es würde auch wenig Sinn machen, eine Nachricht zu senden, die der (rechtmäßige) Empfänger nicht entschlüsseln kann. Das passiert sogar sehr schnell und automatisch:

Ich gebe die Nachricht ein. unverschlüsselt.

Sie wird zum whatsapp-Server geschickt (bevor oder nachdem sie verschlüsselt wird) Sie wird auf dem whatsapp-Server verschlüsselt gespeichert. Zumindest behauptet das WhatsApp.

Der/die Empfänger/in ruft die Nachricht ab. (Genau genommen macht es die WhatsApp-App automatisch.)

Sie wird zum Empfänger geschickt und davor oder danach automatisch entschlüsselt.

Auf dem Gerät des Empfängers wird sie unverschlüsselt angezeigt. und wahrscheinlich auch unverschlüsselt gespeichert. auf jeden fall sind die von WhatsApp empfangenen Bilder auf meinem Smartphone unverschlüsselt.

Ich kenne nur einen Anwendungsfall in dem es Sinn mach eine Information so zu verschlüsseln, dass man sie gar nicht entschlüsseln kann: Beim Speichern von Passwörtern:

Das geht so: Ich gebe ein Passwort ein, es wird direkt aus dem Tastaturpuffer mit einer "injektiven" Funktion f(x) verschlüsselt zu der es keine Umkehrfunktion f^(-1)(x) gibt. Das Ergebnis wird gespeichert bzw. mit dem bereits gespeicherten verglichen. Wenn f(x)=f(y) dann muss x=y sein. Also kann das System so Eingaben auf Gleichheit prüfen obwohl es sie nicht kennt. Wenn es überhaupt eine injektive Funktion gibt, zu der es keine Umkehrfunktion gibt, dann hat so ein System als einzige Sicherheitslücke den Tastaturpuffer. (also immer noch leicht zu hacken.)

würde es bei whatsApp auch so sein, wurde man von WhatsApp eine info bekommen: "Inge hat dir eine Nachricht geschickt. Rate mal!"

Dann müsste man Inges Nachricht (bevor sie angezeigt wird) genau so eingeben wie Inge sie eingegeben hat, und WhatsApp würde antworten: "ja, das hat Inge geschickt" oder "nein, Inge hat dir eine andere Nachricht geschickt. (vielleicht ist nur die Anzahl der Leerzeichen anders) Rate noch mal!"

Nicht sehr zweckmäßig und bei Urlaubsfotos absolut unmöglich: "nein, Inges Foto sieht (geringfügig) anders aus, male nochmal." :D

Wie werden sie verschlüsselt? Gute Frage...
In der Kryptographie gibt es sehr viele Arten um etwas zu ver/entschlüsseln.
Wenn du herausfindest, welche WhatsApp nutzt, kannst du die auch entschlüsseln.
Aber erstmal musst du wissen welche die nutzen.
Da hilft auch fragen nichts. Das wird keine außer WhatsApp wissen, es soll ja geheim verschlüsselt sein

Nun der Standard nachdem Verschlüsselt wird ist bekannt: Asynmetrische Verschlüsselung.

https://www.whatsapp.com/faq/de/general/28030015

Seite 1 hiervon sollte ausreichen zu verstehen wie das funktioniert: http://www.dkruse.de/dokumente/netzwerke/Sicher3_Asymm_Verschluesselung.pdf

So funktioniert übrigens auch die Identifikation von Websites via HTTPS-Zertifikat.