Veliki jezični modeli, pokretani dubokim učenjem, razumiju i pišu tekst i govor s uvjerljivom točnošću. Ono što mogu ovisi, međutim, o jednoj stvari: o žetonima.

Žetoni su osnovne jedinice teksta koje model prima i obrađuje. Mogu biti riječi, dijelovi riječi, znakovi ili parovi bajtova. Koliko ih model može gledati odjednom, odnosno kolik mu je kontekstni prozor, izravno utječe na to koliko dobro radi. Uz mali prozor model gubi nit, griješi i slabije razumije, pa je za složenije poslove neupotrebljiv.

Što su žetoni

Žeton je najmanja jedinica teksta koju sustav za obradu jezika razumije i obrađuje. To je dio znakova ili riječi koji za analizu teksta ima svoje značenje ili svrhu.

Nastaju postupkom razlaganja, kojim se dulji niz teksta razbija na manje dijelove. Time model radi s jedinicama koje može obraditi, umjesto da odjednom guta cijeli dokument. Žeton može biti riječ, izraz ili dio riječi, primjerice korijen, predmetak ili nastavak.

Razlaganjem teksta na žetone sustav može promatrati odnose među riječima, prepoznavati obrasce i izvlačiti jezična obilježja. Veličina i način razlaganja razlikuju se od postupka do postupka. Žetoni su, ukratko, cigle od kojih model gradi razumijevanje jezika.

Kontekstni prozor

Kontekstni prozor je broj žetona koje model može obraditi odjednom. On određuje koliko konteksta model ima pred sobom dok piše odgovor. Za usporedbu, izvorni GPT-3 imao je prozor od 2.048 žetona, dok današnji modeli rade sa stotinama tisuća, a neki i s milijun žetona.

Veličina prozora izravno određuje što model može. Model s malim prozorom gubi nit u duljem tekstu, jer jednostavno ne vidi dovoljno. Model s prozorom od 256 žetona ne može sažeti članak od tisuću riječi, jer ga ne može obuhvatiti odjednom. Veći prozor omogućuje da model shvati smisao i tijek duljeg teksta, pa bolje sažima, vodi razgovor i razumije dokument. Veličina prozora, dakle, određuje koliko dugačak tekst model može stvarno razumjeti.

Što se događa uz mali prozor

Uz mali kontekstni prozor model teško drži nit i točnost kroz dulji tekst. Kako vidi ograničen broj žetona, ne obuhvaća puni kontekst ni nijanse složenog pitanja.

Odgovori postaju nepovezani, promašeni, a katkad i netočni. Kod sažimanja duljeg teksta, razgovora u više navrata i pitanja koja traže cijeli dokument to se pokaže odmah. Model ne može pratiti radnju ni ostati dosljedan ako ne vidi cjelinu.

Rezultat su odgovori koji promašuju kontekst i preskaču ono što je važno. Za stvarnu primjenu, gdje se traže pouzdanost i preciznost, to je ozbiljna prepreka.

Kako se to osjeti u praksi

Mali kontekstni prozor u stvarnoj primjeni donosi opipljivu štetu. Mnogi važni sustavi oslanjaju se na obradu jezika da bi razumjeli složen upit korisnika. Uz malo konteksta model gubi točnost i dosljednost, pa korisnik ostaje nezadovoljan.

Pomoćnik u razgovoru daje besmislen odgovor kad ga se pita nešto što traži cijelu sliku. Sustav u financijama promaši osobitosti pojedinog slučaja pri obradi zahtjeva za kredit. Sustav zdravstvenih zapisa preskoči pojedinost iz povijesti bolesti koja je važna za dijagnozu i liječenje.

Što donosi veći prozor

Uz više žetona model daje povezanije i točnije odgovore u različitim poslovima. Bolje razumije nijansu, hvata što iz čega slijedi i prati uzrok i posljedicu. Odgovori su logičniji i bliži onome što je u pitanju stvarno stajalo.

Veći prozor otvara i složene razgovore u više navrata. Model prati nit kroz mnogo izmjena i novu obavijest uklapa u sliku koju gradi, umjesto da svaki upit gleda zasebno. Razgovor tako teče prirodnije.

Kako izvući najviše

Noviji modeli s velikim kontekstnim prozorima otvorili su mogućnosti kakvih prije nije bilo. Ono što je nekad ograničavalo, danas više nije prepreka.

Modeli danas nose dulje razgovore i cijele dokumente, a odgovori ostaju povezani i točni. Organizacije to mogu iskoristiti za bolji odnos s korisnicima, urednije poslovanje i nove zamisli.

Zaključak

Žetoni su osnovne jedinice teksta kojima veliki jezični modeli razumiju jezik. Veličina kontekstnog prozora, odnosno broj žetona koje model gleda odjednom, presudno određuje što može. Mali prozor donosi probleme s povezanošću, točnošću i nijansom, osobito kod složenih poslova, pa je pouzdanost slabija nego što stvarna primjena traži.

Noviji modeli te prozore znatno šire, pa razumijevanje ostaje cjelovito kroz dugačke razgovore. Ključno je razumjeti koliko žetoni i kontekst znače. Uz promišljen odabir modela s velikim prozorom dobiva se točnost i dosljednost, a s njima i nove mogućnosti za posao i korisnike.