Aufbau eines statistischen Sprachmodells aus Trainingstexten
Wie jede andere Künstliche Intelligenz, die maschinell lernt, benötigt auch eine Sprach-KI Trainingsdaten zur Erstellung des Sprachmodells. Das können beliebige Texte sein, die im einfachsten Fall aus dem Internet (z.B. Wikipedia) kopiert werden. Wie das mit wenigen Trainingsdaten und einem einfachen Sprachmodell funktioniert, kannst du auf dieser Seite sehen.
Die Trainingsphase
In der Trainingsphase wird der vorgegebene Text in einzelne Wörter zerlegt. Dabei werden immer drei aufeinander folgende Wörter (Trigramme) betrachtet. Die ersten beiden Wörter bilden das Präfix des Trigramms, das letzte Wort das Suffix. Diese Trigramme werden in einer Liste gespeichert.Das Sprachmodell
Die Liste der Trigramme bildet das Sprachmodell der KI. Es besteht also nur aus statistischen Informationen darüber, welche Wörter in den Trainingstexten aufeinander folgen. Das Sprachmodell hat jetzt z.B. gelernt, dass nach den Wörtern "Ein Pferd" das Wort ist oder das Wort kann folgt. Zur Vereinfachung werden alle Wörter klein geschrieben. Außerdem werden die Satzzeichen bei den Wörtern belasen, nach denen sie stehen.Hier siehst du einen einfachen Trainingstext mit Informationen über Pferde und das daraus erzeugte Sprachmodell:
Aufgaben
- Erläutere den Zusamenhang zwischen Trainingstext und Sprachmodell.
- Begründe, warum in manchen Zeilen des Sprachmodells mehrere Suffixe stehen.
- Verändere oder ergänze den Trainingstext und beobachte die Auswirkungen auf das Sprachmodell.
Im nächsten Schritt soll nun das Sprachmodell als Basis genutzt werden, um neue Texte zu generieren.
