Was ist ein Markov-Modell und wann wurde es veröffentlicht?	Ein Markov-Modell ist ein Algorithmus, der Wortverbindungen zählt, um die nächsten Wörter vorherzusagen. Markov veröffentlichte diese Idee 1906.
Wie funktioniert das Training eines einfachen Markov-Modells?	Man zählt die Verbindungen zwischen Wörtern in Nachrichten auf und erstellt eine Häufigkeitstabelle (Transition Matrix).
Was ist eine Transition Matrix?	Eine Transition Matrix ist eine Tabelle, die die Verbindungen zwischen Wörtern zeigt. Wenn man jede Reihe normalisiert, erhält man eine Wahrscheinlichkeitsverteilung.
Was bedeutet "Sampling" im Kontext von Sprachmodellen?	Sampling ist der Prozess, bei dem man basierend auf der aktuellen Eingabe das nächste Wort aus einer Wahrscheinlichkeitsverteilung auswählt.
Was ist Temperature in Sampling-Parametern?	Temperature ist ein Parameter, der steuert, wie fokussiert oder zufällig die Wortauswahl ist (1.0 = treu zur Verteilung).
Was ist Top-k Sampling?	Top-k Sampling behält nur die k wahrscheinlichsten Wörter und entfernt alle anderen vor dem Sampling.
Was ist Top-p Sampling?	Top-p Sampling behält die kleinste Menge von Wörtern, deren Wahrscheinlichkeiten sich zu p (z.B. 0.9) addieren.
Welcher Hauptunterschied besteht zwischen Markov-Modellen und modernen LLMs beim Sampling?	Beim Sampling ist der Prozess gleich, aber LLMs lesen den gesamten Kontext statt nur des letzten Wortes und nutzen neuronale Netze statt Tabellenlookup.
Wann begannen neuronale Netze, Markov-Modelle in der Sprachvorhersage zu ersetzen?	Um 2015 begannen RNNs und später Transformer (2017) die Tabellenlookup-Methode durch gelernte Funktionen zu ersetzen.
Was ist der Hauptvorteil von LLMs gegenüber Markov-Modellen?	LLMs haben mehr Kontext und größere Fähigkeiten, opfern aber die Interpretierbarkeit der einfachen Wort-Zählung.