Ich bin gerade dabei mich in LLM einzuarbeiten und bin gerade mit dem Begriff "FP16" im Zusammenhang mit Llama-2 70B konfrontiert worden, was so wie ich das verstanden habe ein Float-Datentyp mit halber Genauigkeit ist. Normalerweise besteht ja ein Float auf 4 Bytes bzw. 32 Bits und nach dem was ich verstanden hab ist Fp16 eine Fließkommazahl mit 2 Bytes bzw. 16 Bit. Da scheint es noch einen Zusammenhang zu IEEE-756 zu geben, den ich auch nicht so 100% verstanden habe.
Kann einer von euch mir da etwas helfen?