Liest man sich derzeit durch die einschlägigen Fachmedien und Business-Netzwerke wie LinkedIn kommt man nicht umhin, bei einem der unzähligen Berichte und Diskus-sionen zu ChatGPT hängenzubleiben. Die einfache Nutzung von ChatGPT macht Sprachmodelle zu einer Art „Volks-KI“.
Um Inhalte zu generieren, verwendet ChatGPT eine Technik namens „Generative Language Modeling“. Dabei analysiert das Modell den bisherigen Text und ermittelt, welche Wörter und Phrasen am wahrscheinlichsten folgen. Basierend auf diesen In-formationen generiert ChatGPT neue Sätze, die dem Kontext des ursprünglichen Tex-tes folgen.
ChatGPT ist eine spezielle Version des Generative Pre-trained Transformer (GPT)-3.5-Modells, die für die Erstellung von Chatbots und Textdialogsystemen optimiert wurde. Die wichtigsten Unterschiede zwischen GPT-3.5 und ChatGPT liegen in den genutzten Trainingsdaten und der Feinabstimmung des Modells auf bestimmte Aufgaben. Die Gemeinsamkeiten zwischen GPT-3 und ChatGPT liegen in der zugrunde liegenden Architektur und der zugrunde liegenden Technologie. Beide Modelle basieren auf der Transformer-Architektur und wurden auf großen Mengen von Texten trainiert. Sie sind in der Lage, eine breite Palette von Sprachaufgaben zu erfüllen und können auf eine Vielzahl von Anwendungen angewendet werden.
Sprachmodelle wie ChatGPT lernen zum einen durch die zugrundeliegende Basis an Trainingsdaten, die üblicherweise aus großen Teilen des World Wide Web sowie digi-talen Editionen von Büchen und Fachpublikationen bestehen. Anbieter von Sprach-modellen versuchen die Lernbasis systematisch zu erhöhen. So werden immer mehr Online-Quellen erschlossen und in die Wissensbasis integriert.
Die Grenzen des KI-basierten Lernens liegen in der fehlenden Bewertung von Ergeb-nissen begründet. Ein KI-Modell reproduziert auf Basis der Trainingsdaten auch rechtsradikale, sexistische oder andere unerwünschte Ergebnisse. Um dies zu korri-gieren bedarf es einer Feedbackschleife durch menschlich Akutere (sogenanntes Reinforceent Learning from human feedback). So liegt der große Qualitätssprung von GPT-3 zu ChatGPT darin begründet, dass eine große Anzahl von Click-Workern zu einem geringen Stundensatz von 1-2 Dollar die Ergebnisse von GPT-3 bewertet und korrigiert haben. Damit bedeutet AI im Sinne von „Augmented Intelligence“ eine Kombination von Mensch und Maschine.
