Aufbau eines statistischen Sprachmodells aus Trainingstexten
Wie jede andere KI, die maschinell lernt, benötigt auch eine KI zur Texterzeugung Trainingsdaten, um ein Sprachmodell zu erstellen. Das können beliebige Texte sein, die im einfachsten Fall aus dem Internet (zum Beispiel Wikipedia) kopiert werden. Wie das mit wenigen Trainingsdaten und einem einfachen Sprachmodell funktioniert, kannst du auf dieser Seite sehen.
Die Trainingsphase
In der Trainingsphase wird der vorgegebene Text zunächst in einzelne Wörter zerlegt. Dabei werden immer drei aufeinanderfolgende Wörter (Trigramme) betrachtet. Die ersten beiden Wörter bilden das Präfix des Trigramms, das letzte Wort das Suffix. Diese Trigramme werden in einer Liste gespeichert.Das Sprachmodell
Die Liste der Trigramme bildet das Sprachmodell der KI. Es besteht also nur aus statistischen Informationen darüber, welche Wörter in den Trainingstexten aufeinander folgen. Das Sprachmodell hat beispielsweise gelernt, dass nach den Wörtern "Ein Pferd" das Wort ist oder das Wort kann folgt. Zur Vereinfachung werden alle Wörter kleingeschrieben. Außerdem bleiben die Satzzeichen bei den Wörtern erhalten, nach denen sie stehen.Hier siehst du einen einfachen Trainingstext mit Informationen über Pferde und das daraus erzeugte Sprachmodell:
Aufgaben
- Erläutere den Zusammenhang zwischen Trainingstext und Sprachmodell.
- Begründe, warum in manchen Zeilen des Sprachmodells mehrere Suffixe stehen.
- Verändere oder ergänze den Trainingstext und beobachte die Auswirkungen auf das Sprachmodell.
Wie mit Hilfe des Sprachmodells neue Texte generiert werden können, erfährst du im nächsten Lernschritt.
