Hoe een taalmodel leest

Taal is statistiek

Achter taal schuilt complete statistiek. Ieder woord in een bepaalde context draagt een statistiek met zich mee. In wezen is dat het hele idee achter taalmodellen.

Van tekst naar tokens

Maar er vallen meer wetmatigheden te ontdekken in taal. Ook karakters dragen een statistiek met zich mee: in de meeste westerse talen is “e” het karakter dat het meest gebruikt wordt, in tegenstelling tot de “x” of de “q”.

Hoe vaak letters voorkomen in het Nederlands

Ook zijn er bepaalde patronen van karakters die vaak voorkomen, zoals “ing”. In de context van dwaal-ing kun je dit opsplitsen in twee delen: dwaal + ing. Beide delen dragen een zekere betekenis. Als je taal in tokens indeelt, betekent dat dat een tekst minder tokens bevat dan karakters, wat het model weer efficiënter maakt.

Eén patroon, veel woorden

Een vocabulaire als een alfabet

De complete verzameling van tokens is de vocabulaire van een model en werkt net als een alfabet: je gebruikt een beperkt aantal letters om een eindeloos aantal woorden te vormen. Een model kan zo veel verschillende woorden construeren met een relatief kleine set tokens.

Een ander voordeel van werken met tokens is dat het model op deze manier onbekende woorden kan herkennen. Vaak zijn dat woorden uit de spreektaal, zoals regelneef, of grapjes als krommunicatie.

Onbekende woorden, bekende stukjes

Het proces waarbij de originele tekst in deze tokens wordt opgesplitst, heet tokenisatie.

100 tokens is ongeveer 75 woorden

Als vuistregel kun je zeggen dat een token ongeveer driekwart van de lengte van een woord heeft. Dit betekent dat 100 tokens ruwweg overeenkomen met 75 woorden.

De meeste modellen zijn geoptimaliseerd voor Engels; voor het Nederlands ligt de verhouding ongunstiger. Het gebruik van Nederlands kost dan ook meer tokens en is dus duurder.

Zelfde betekenis, twee talen

Nu weet je wat een token is. De volgende vraag is wat het kost: input en output, caching, en de tokens die je niet ziet.