Vielleicht haben Sie es schon einmal erlebt: Sie befinden sich in einer angeregten Unterhaltung mit ChatGPT, doch plötzlich scheint die KI zu vergessen, worum es gerade ging. Dieses Verhalten ist für viele überraschend, aber es ist keine Schwäche, sondern das Ergebnis technischer Begrenzungen. Die Antwort auf diese Frage führt uns zu einem zentralen Begriff in der Welt der Künstlichen Intelligenz: den Token. Was Token sind, wie sie funktionieren und warum sie dafür verantwortlich sind, dass ChatGPT manchmal “vergisst”, klären wir in diesem Artikel. Keine Sorge – auch wenn Sie ganz neu im Thema sind, erklären wir alles so, dass Sie garantiert mitkommen.
Was sind Token?
Beginnen wir mit den Token. Stellen Sie sich vor, Sie schreiben einen Text. Für Sie als Mensch ist dieser Text ein Fluss aus Wörtern, Sätzen und Absätzen. Für eine KI wie ChatGPT sieht das jedoch ganz anders aus. Damit der Text verarbeitet werden kann, muss er in kleine Einheiten zerlegt werden, die sogenannten Token. Token sind kleine Textbausteine, die aus einem oder mehreren Buchstaben, Wörtern oder Satzzeichen bestehen. So könnte der Satz „Guten Tag!“ beispielsweise in drei Token aufgeteilt werden: „Guten“, „Tag“ und „!“. Ein Token ist jedoch nicht immer ein Wort; manchmal sind es nur Teile davon, etwa bei langen oder zusammengesetzten Begriffen wie „Rechtschreibprüfung“, das in mehrere Token zerlegt werden könnte. Auch Satzzeichen und Leerzeichen können Token sein.
Warum dieser Aufwand? Ganz einfach: KI-Modelle arbeiten nicht direkt mit Text, sondern mit Zahlen. Jeder Token wird in eine Zahl umgewandelt, und auf Basis dieser Zahlen treffen KI-Modelle Entscheidungen und berechnen Antworten. Man könnte sagen, dass Token die „Sprache“ der Künstlichen Intelligenz sind, ohne die ein System wie ChatGPT nicht funktionieren könnte.
ChatGPT ist nicht gleich GPT
Nun wissen Sie, was Token sind. Doch wie hängt das mit dem Gedächtnis von ChatGPT zusammen? Dafür ist es hilfreich, ChatGPT und das zugrunde liegende Modell, GPT, voneinander zu unterscheiden. GPT, das für „Generative Pre-trained Transformer“ steht, ist das technische Herzstück hinter ChatGPT. Es gibt verschiedene Versionen davon, wie GPT-3 oder GPT-4, die jeweils unterschiedlich leistungsfähig sind. ChatGPT ist eine spezialisierte Anwendung, die auf einem dieser Modelle basiert, aber speziell für Konversationen optimiert wurde. Die KI wurde darauf trainiert, natürlich und hilfsbereit auf Ihre Eingaben zu reagieren. Während GPT also das „Gehirn“ ist, ist ChatGPT die „Persönlichkeit“, mit der Sie sprechen.
Doch auch das leistungsfähigste Modell hat Grenzen, insbesondere beim sogenannten „Gedächtnis“. Das Gedächtnis von ChatGPT wird durch ein festgelegtes Token-Limit bestimmt. Jedes GPT-Modell kann nur eine bestimmte Anzahl an Token in einer Sitzung speichern. Bei GPT-3 sind das beispielsweise 4096 Token, bei GPT-4 können es je nach Version 8192 oder mehr sein. Dieses Limit umfasst alles – sowohl Ihre Eingaben als auch die Antworten von ChatGPT. Sobald die Unterhaltung dieses Token-Limit erreicht, muss Platz für neue Inhalte geschaffen werden. Das bedeutet, dass ältere Teile des Gesprächs aus dem Gedächtnis gelöscht werden. Deshalb kann es passieren, dass ChatGPT nach längeren Gesprächen den Anfang Ihrer Unterhaltung nicht mehr „weiß“.
Probieren Sie es selbst aus!
Vielleicht fragen Sie sich, warum es überhaupt ein Token-Limit gibt. Der Grund dafür ist ganz pragmatisch: Die Verarbeitung von Token ist sehr rechenintensiv. Je mehr Token ein Modell verarbeiten muss, desto länger dauert es, eine Antwort zu generieren. Mit einem unbegrenzten Gedächtnis würde jede Unterhaltung nicht nur langsamer werden, sondern auch die benötigten Rechenressourcen dramatisch erhöhen. Das Token-Limit ist also ein Kompromiss, um schnelle und zuverlässige Antworten zu ermöglichen.
Wenn Sie nun neugierig geworden sind, können Sie selbst ausprobieren, wie Token funktionieren. OpenAI bietet ein praktisches Tool an, mit dem Sie überprüfen können, wie viele Token ein bestimmter Text benötigt. Sie finden es unter Token-Experimentierer. Geben Sie einfach einen Text ein, und das Tool zeigt Ihnen, wie viele Token daraus entstehen und wie der Text in kleinere Bausteine zerlegt wird. Es ist überraschend zu sehen, wie auch kurze Texte unerwartet viele Token beanspruchen können. Testen Sie es mit einem Ihrer Lieblingszitate oder einer kurzen Nachricht – Sie werden staunen, wie schnell die Token sich summieren.
DeepDive – Die Embeddings
Für diejenigen, die sich intensiver mit der Technik hinter Token und KI-Modellen beschäftigen möchten, gibt es noch mehr zu entdecken. Token sind nicht nur einfache Bausteine, sondern eine wichtige Schnittstelle zwischen menschlicher Sprache und der Mathematik, die die Künstliche Intelligenz antreibt. Jeder Token wird durch eine Zahlenrepräsentation beschrieben, die sogenannte „Embedding“. Diese Zahlen ermöglichen es dem KI-Modell, Zusammenhänge und Muster zu erkennen. Das zugrunde liegende Modell, der Transformer, analysiert diese Muster und nutzt sie, um kontextbasierte Antworten zu generieren. Die Token dienen dabei als eine Art Arbeitsgedächtnis, das jedoch durch das Token-Limit begrenzt ist. Ein tieferes Verständnis dieser Prozesse zeigt, wie eng Sprache, Mathematik und Technik in modernen KI-Systemen miteinander verbunden sind.
