Token-forbrug kan stige vildt, hvis du skifter sprog: Kan koste op til 17 gange mere
Det kan koste op mod 17 gange flere AI-tokens at få løst nøjagtigt den samme opgave, hvis du skal have den løst på et andet sprog end engelsk.
Ifølge en ny undersøgelse fra en organisation, der kalder sig 'Coalition for Language Equity in AI" er der markant forskel i den samlede pris, som det koster at få løst de samme opgaver med AI-modellerne - blot på forskellige sprog.
Blandt de 20 sprog, der er mest anvendt på nettet, har de mindst udbredte sprog brug for op til fem gange flere tokens end engelsk for at få AI-modellerne til at løse nøjagtigt de samme opgaver.
Og ser vi på de 200 mest udbredte sprog, kan det være op til 17 gange dyrere at få løst en opgave på et andet sprog end engelsk.
Dyrest er det at anvende sprog, som også formidles på et andet skriftsprog end det latinske alfabet som eksempelvis tibetansk, khmer og burmesisk.
Ifølge Coalition for Language Equity in AI betyder prisforskellen på at få løst opgaver med AI-modeller samlet set, at den digitale diversitet er under pres.
Organisationen kalder det for en skjult 'token-skat' på sprog, der er blandt de mest talte i verden, eksempelvis punjabi, der tales af mere end 200 millioner mennesker, bengalesisk (266 millioner mennesker) og urdu (288 millioner mennesker).
Du kan læse mere om undersøgelsen hos Coalition for Language Equity in AI her: The Tokenizer Tax