Token Counter
Der Token Counter zählt exakt mit den echten BPE-Encodings, direkt in deinem Browser – neben dem, was die Faustregel „vier Zeichen pro Token“ vorhergesagt hätte. Die Regel liegt in beide Richtungen daneben, und nur eine davon ist gefährlich.
Kostenlos · Ohne Anmeldung · Läuft komplett in deinem Browser
Exakte Token-Zahlen aus den echten BPE-Encodings – dieselben Tabellen, die die Modelle nutzen, direkt in deinem Browser. Daneben steht, was „ein Token sind etwa vier Zeichen“ vorhergesagt hätte, denn die Regel liegt in beide Richtungen daneben, und die Richtung ist das, was zählt.
Die Vier-Zeichen-Regel unterschätzt diesen Text um 19 %. Das ist die gefährliche Richtung: Eine Unterschätzung sprengt in Produktion das Context Window, wenn der Prompt schon zusammengebaut ist. Text wie dieser – nicht lateinische Schrift, lange Identifier, Base64, Hashes – zerfällt in weit mehr Tokens, als die Zeichenzahl vermuten lässt.
Gegen ein Context Window
| Window | Belegt | Übrig | Passende Kopien |
|---|---|---|---|
| 128k | 0,07 % | 127.910 | 1.422 |
| 200k | 0,04 % | 199.910 | 2.222 |
| 1M | 0,01 % | 999.910 | 11.111 |
Hier läuft alles lokal – die Encoding-Tabellen werden in deinen Browser geladen, sobald du den Text zum ersten Mal bearbeitest, und nichts, was du einfügst, wird irgendwohin geschickt. Für die aktuellen Modelle ist der Download etwa ein Megabyte groß, deshalb wartet er, bis du ihn brauchst, statt mit der Seite zu laden.
Zwei Einschränkungen. Gezählt werden die Tokens in deinem Text, nicht die in deinem API-Call – Chat-Requests fügen pro Nachricht ein wenig Overhead für Rollenmarker hinzu, und Tools oder System-Prompts zählen auch. Und Output-Tokens kosten meist mehr als Input, eine einzelne Zahl pro Million ist also eine Untergrenze, keine Rechnung.
Context Windows sind ein Budget, und Prompts wachsen am schnellsten, wenn niemand hinschaut. Wenn du weitgehend allein baust, beobachten Tekks Loops deinen Code und bringen dir Proposals, was als Nächstes zu beheben ist; gib eines mit Greenlight frei, und dein Coding-Agent bekommt die Spec.
So funktioniert’s
- 1
Füg irgendetwas ein
Einen Prompt, ein Dokument, eine Code-Datei. Dieser Token Counter nutzt die echten Encoding-Tabellen der Modelle – o200k_base für aktuelle OpenAI-Modelle, cl100k_base für die GPT-4-Ära –, die Zahl ist also die Zahl und keine Schätzung.
- 2
Vergleich sie mit der Faustregel
Die Zählung steht neben dem, was „ein Token sind etwa vier Zeichen“ vorhergesagt hätte, mit Abweichung und Richtung. Beim Beispiel oben unterschätzt die Regel um 19 % – die Richtung, die ein Context Window sprengt, nicht die, die nur Budget verschwendet.
- 3
Prüf sie gegen ein Context Window
Wie viel eines Context Windows mit 128k, 200k oder 1M dein Text belegt und wie viele Kopien hineinpassen würden. Nützlich, wenn du entscheidest, wie viele Dokumente du in einen einzigen Call packst.
Was ein Token ist
Die Einheit, die ein Modell tatsächlich liest. Text wird per Byte-Pair-Encoding in Stücke zerlegt, die kürzer als ein Wort und länger als ein Zeichen sind. Häufige Wörter sind ein Token, seltene zerfallen in mehrere, und ein führendes Leerzeichen hängt normalerweise am folgenden Wort.
Es gibt keine Formel. Die Aufteilung hängt von Tabellen ab, die aus einem Trainingskorpus gelernt wurden – deshalb braucht eine exakte Zählung das echte Encoding statt einer Schätzung, und deshalb liefert diese Seite diese Tabellen mit, statt zu nähern.
Die Faustregel, nachgemessen
Alle wiederholen, dass ein Token etwa vier Zeichen sind. Gemessen mit o200k_base:
| Inhalt | Zeichen/Token | Was ÷4 vorhersagt |
|---|---|---|
| Englische Prosa | 5,19 | 33 % zu hoch |
| TypeScript | 4,13 | 3 % zu hoch |
| JSON | 4,30 | 9 % zu hoch |
| Japanisch | 1,73 | 55 % zu niedrig |
| UUIDs | 1,78 | 54 % zu niedrig |
Zwei Dinge folgen aus dieser Tabelle, und beide sind wissenswert.
Die Regel liegt in beide Richtungen daneben. Sie ist keine vorsichtige Näherung. Bei Englisch überschätzt sie um ein Drittel, bei Japanisch unterschätzt sie um mehr als die Hälfte – und nur eins davon ist gefährlich. Überschätzen verschwendet Budget und lässt dich glauben, es passe weniger hinein, als tatsächlich passt. Unterschätzen sprengt das Context Window, in Produktion, nachdem der Prompt schon zusammengebaut ist.
Code ist nicht das Problem. Die übliche Annahme ist, dass Code schlecht tokenisiert. Tut er nicht – TypeScript liegt bei 4,13, näher an der Regel als englische Prosa. Was sie wirklich bricht, sind nicht-englische Schrift und lange, ununterbrochene Identifier: UUIDs, Hashes, Base64-Blobs und die Art ausführlicher camelCase-Namen, die sich gut lesen und furchtbar tokenisieren.
Auch das Encoding zählt
Das oben geladene Beispiel hat 90 Tokens unter o200k_base und 100 unter cl100k_base – derselbe Text, 11 % Unterschied, nur dadurch, welches Modell du anpeilst.
| Encoding | Modelle |
|---|---|
o200k_base |
GPT-4o, GPT-5, o-Serie |
cl100k_base |
GPT-4, GPT-3.5 Turbo, Text-Embeddings |
Neuere Encodings haben größere Vokabulare und brauchen für denselben Text meist weniger Tokens – und der Gewinn ist genau dort am größten, wo die alten Probleme hatten: bei nicht-englischen Inhalten.
Warum die Seite vor deinem ersten Tastendruck kurz pausiert
Weil sie echte Tokenizer-Tabellen lädt – etwa 1 MB gzipped für o200k_base, 0,43 MB für cl100k_base.
Das ist viel für jemanden, der nur die Seite lesen wollte, also wird es nicht mitgeschickt. Die Zahl vor deinem Tippen wird beim Build am Beispieltext berechnet, und die Tabellen kommen per Dynamic Import mit deiner ersten Eingabe, ein Encoding nach dem anderen.
Die Alternative – aus der Zeichenzahl schätzen – würde die Seite sofort laden lassen und falsch machen, und für ein Tool, dessen ganzer Wert in der Exaktheit liegt, ist das kein Tausch, der sich lohnt.
Zwei Dinge, die hier nicht mitgezählt werden
Der Umschlag. Chat Completions fügen pro Nachricht einen kleinen Overhead für Rollenmarker hinzu, und System-Prompts, Tool-Definitionen und Function-Schemas zählen alle gegen dasselbe Context Window. Das hier ist die Token-Zahl deines Texts; der API-Call ist etwas größer.
Output. Completion-Tokens kosten meist ein Mehrfaches der Input-Tokens, die Kostenzahl hier ist also eine Untergrenze. Wenn du ein Feature budgetierst statt eines einzelnen Calls, schätz die Antwortlänge separat und rechne sie zum Output-Preis.
Häufige Fragen
- Was ist ein Token?
- Die Einheit, die ein Sprachmodell tatsächlich liest, und das, was ein Token Counter misst. Text wird per Byte-Pair-Encoding in Stücke zerlegt, die kürzer als ein Wort und länger als ein Zeichen sind – häufige Wörter sind ein einziges Token, seltene zerfallen in mehrere, und ein Leerzeichen hängt normalerweise am folgenden Wort.
- Wie viele Zeichen hat ein Token?
- Das hängt ganz vom Text ab – genau darum geht es auf dieser Seite. Englische Prosa liegt bei etwa 5,2 Zeichen pro Token, TypeScript bei etwa 4,1, JSON bei etwa 4,3, Japanisch bei etwa 1,7 und UUIDs bei etwa 1,8. Jede einzelne Faustregel muss irgendwo in dieser Spanne falsch liegen.
- Stimmt die Regel „vier Zeichen pro Token“?
- Sie liegt in beide Richtungen daneben, und die Richtung zählt – deshalb lohnt es sich, Tokens zu zählen, statt zu rechnen. Bei englischer Prosa überschätzt die Regel um etwa ein Drittel, was nur Budget verschwendet. Bei Japanisch und langen Identifiern unterschätzt sie um mehr als die Hälfte – und eine Unterschätzung ist das, was in Produktion ein Context Window sprengt, nachdem der Prompt schon zusammengebaut ist.
- Braucht Code mehr Tokens als Prosa?
- Etwas mehr pro Zeichen, aber weniger, als viele denken. TypeScript liegt bei etwa 4,1 Zeichen pro Token, englische Prosa bei 5,2 – Code ist also dichter an Tokens, aber nah an der Faustregel. Was die Regel wirklich bricht, sind nicht-englische Schrift und lange, ununterbrochene Identifier wie UUIDs, Hashes und Base64.
- Welches Encoding sollte ein OpenAI Token Counter nutzen?
- o200k_base für GPT-4o, GPT-5 und die o-Serie; cl100k_base für GPT-4, GPT-3.5 Turbo und die Text-Embedding-Modelle. Jeder Zähler für OpenAI muss sich für eins entscheiden, und der Unterschied ist nicht kosmetisch – das Beispiel auf dieser Seite hat unter dem einen 90 Tokens und unter dem anderen 100, mit der falschen Wahl liegst du also um etwa 11 % daneben.
- Funktioniert dieser GPT Token Counter für Claude oder Gemini?
- Nicht exakt. Anthropic und Google nutzen eigene Tokenizer, und dieses Tool bringt die von OpenAI mit. Die Zahlen liegen meist in derselben Gegend, als Schätzung für die Größenplanung taugt es also, aber für alles außer einem OpenAI-Modell solltest du sie als Näherung behandeln.
- Warum ergeben verschiedene Texte verschiedene Verhältnisse?
- Es hängt ganz vom Text ab. Ein Zähler, der ein einziges Verhältnis für alles meldet, verdeckt die Streuung: Englische Prosa liegt bei etwa 5,2 Zeichen pro Token, TypeScript bei etwa 4,1, Japanisch bei etwa 1,7.
- Speichert ihr den Text, den ich eingebe?
- Nein. Das Tool läuft komplett in deinem Browser. Die Encoding-Tabellen werden beim ersten Bearbeiten auf deinen Rechner geladen, und gezählt wird danach lokal – nichts, was du einfügst, geht an einen Server, nichts wird geloggt, und es gibt kein Konto. Gut zu wissen, bevor du einen echten Prompt oder ein Kundendokument in ein Webformular kippst.
- Warum dauert es beim ersten Tippen einen Moment?
- Weil die echten BPE-Tabellen geladen werden – etwa ein Megabyte für o200k_base, weniger für cl100k_base. Sie kommen mit deiner ersten Eingabe statt mit der Seite, Lesen kostet also nichts. Die Zahl, die du davor siehst, wird beim Build am Beispieltext berechnet.
- Stimmen die Tokens in meinem API-Call mit dieser Zahl überein?
- Fast, aber etwas darunter. Chat-Requests fügen pro Nachricht einen kleinen Overhead für Rollenmarker hinzu, und System-Prompt, Tool-Definitionen oder Function-Schemas zählen ebenfalls. Nimm das als Token-Zahl deines Texts und rechne etwas für den Umschlag drauf.
- Wie schätze ich die Kosten aus der Token-Zahl?
- Multipliziere mit dem Preis pro Token und teile passend – das Feld auf dieser Seite nimmt einen Preis pro Million, so wie Anbieter ihn angeben. Denk daran, dass Output-Tokens meist teurer sind als Input, oft um ein Mehrfaches; ein einzelner Satz ergibt also eine Untergrenze, keine Rechnung.
- Wie bekomme ich weniger Tokens in einen Prompt?
- Streich Beispiele, bevor du Anweisungen streichst, denn Few-Shot-Beispiele sind meist mit Abstand der größte Block. Entfern Formatierung, die du für menschliche Lesbarkeit eingefügt hast, füg keine ganzen Dateien ein, wenn eine Funktion reicht, und denk daran, dass lange Identifier und tief verschachteltes JSON echte Tokens kosten, ohne dem Modell zu nützen.
- Warum ist das kostenlos, und was ist Tekk?
- Tekk macht dein Produkt zu Software, die sich selbst verbessert: 16 Loops beobachten deine Codebase, bringen dir Proposals, die du mit Greenlight freigibst oder ablehnst, und dein Coding-Agent baut das Ergebnis. Dieses Tool kostet uns nichts im Betrieb, und Context Windows sind ein Budget, das Prompts still überziehen, wenn niemand hinschaut. Keine Anmeldung, kein Run-Limit, kein Upsell im Tool.
Willst du eine echte Spec für das, was du baust?
Schreib einen Satz. Tekk liest deinen Code und schreibt die Spec, die dein Coding-Agent baut – und seine Loops behalten im Blick, was du auslieferst.
Kostenlos testen · GitHub bei der Registrierung verbinden