Artikel top billede

Grafik: Dansk Sprognævn

Linux-baseret sprogteknologi jagter nye danske ord

Linux-maskineri kodet hos Dansk Sprognævn tygger hver måned 20 millioner ord igennem på jagt efter friske danske ord.

20 millioner ord om måneden.

Så mange slipper Dansk Sprognævn hver måned sinLinux-baserede crawler løs på i jagten efter friske og nye danske ord.

Dermed er der ikke meget støv og fjerpen over arbejdet med ordene hos vogterne af det danske sprog, som netop har offentliggjort de nye fund i danskernes brug af sproget det seneste år.

I stedet bruger Dansk Sprognævn Linux-baserede servere med perl- og java-programmerede applikationer som institutionens egne kodekarle har tunet til automatisk at surfe nettet tyndt efter nye danske ord.

"Vi koder vores ord direkte i xml, og vi genererer automatisk vores ordbøger ud fra vores xml-filer."

Det fortæller Sabine Kirchmeier-Andersen, direktør hos Dansk Sprognævn.

"Vi bruger typisk dagbladene og fagbladene. Vi får nogle ting elektronisk, som vi gerne må bruge. Og dem sender vi så vores ordtrawler ind på," siger hun.

Men hvordan bærer Dansk Sprognævn sig ad med at lede efter ord, som endnu ikke findes?

"Det er en sprogteknologisk udfordring, som vi har arbejdet meget med," forklarer hun til Computerworld.

Sorterer ordene

"Vi sorterer alle ordene. Vi får cirka 20 millioner ord om måneden. Og dem kører vi op mod de databaser, vi har i forvejen," siger direktøren.

Hun forklarer, at de 20 millioner ord består af alt muligt indhold og typisk stammer fra aviser. Men indholdet kan også stamme fra blogs.

"Vi prøver hele tiden at udvide området. Vi trækker ordene ud af al den tekst, vi kan få fat i lovligt," siger hun.

De 20 millioner bruttoord indeholder ifølge Sabine Kirchmeier-Andersen "en masse junk" i form af ad hoc-nye forkortelser, stavefejl og navne.

Når sprognævnets computere har filtreret alt junk fra, ender sprogforskerne med omkring 30.000 bogstavkombinationer, som ikke tidligere er set.

"Det er simpelthen ukendte ordstrenge, som ikke matcher noget, vi har i forvejen. Og computeren kan ikke se, om disse strenge betyder noget," siger Sabine Kirchmeier-Andersen.

Derfor skal der yderligere filtrering til for at sortere i de mange bogstavstrenge.

Et af midlerne er maskinel sortering hvor man ser bort fra endelser og bøjningsformer, fortæller hun.

Desuden handler det om at lede efter specifikke tekstmønstre, som signalerer, at her er der formentlig tale om et nyt ord. Det kan eksempelvis være ordet 'såkaldte', som ofte efterfølges af et nyt ord, forklarer sprogdirektøren.

Bedømmer sandsynligheden

Hun forklarer, at nævnet også benytter statistisk processering til at bedømme, hvad sandsynligheden er for, at et ord er nyt.

"Når vi er færdige med alle de her filtre, så er der måske et par tusind ord tilbage om måneden, som vi kigger på manuelt," siger Sabine Kirchmeier-Andersen.

Den manuelle gennemgang af ordene ender typisk med omkring 200 nye, rigtige ord om måneden som Dansk Sprognævn stopper i deres database.

Nogle af dem finder med tiden vej til ordbogen Nye Ord i Dansk, der er offentligt tilgængelig på nævnets hjemmeside.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Ciklum ApS
Offshore software- og systemudvikling.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
Compliance og strategisk it-sikkerhed efter DORA

Finansielle koncerner har i snit 85 sikkerhedsløsninger i drift – men er i snit op til 100 dage om at opdage et igangværende cyberangreb. Ydermere viser øvelser, at det typisk tager 4-6 uger at rense og genetablere sikker drift af centrale systemer efter et stort angreb. Fokus for dagen vil derfor være på henholdsvis governance samt om, hvordan du som it-leder i den finansielle sektor skal kunne håndtere fremtidens cybertrusler og arbejde effektivt med sikkerhed på et strategisk niveau.

04. april 2024 | Læs mere


EA Excellence Day

Hvad er det, der gør it-arkitektens rolle så vigtig? Og hvad er det for udfordringer inden for områder som cloud, netværk og datacentre, som fylder hos nogle af landets bedste it-arkitekter lige nu? Det kan du her høre mere om og blive inspireret af på denne konference, hvor du også får lejlighed til at drøfte dette med ligesindede.

16. april 2024 | Læs mere


IAM - din genvej til højere sikkerhed uden uautoriseret adgang og datatab

På denne dag udforsker vi de nyeste strategier, værktøjer og bedste praksis inden for IAM, med det formål at styrke virksomheders sikkerhedsposition og effektiviteten af deres adgangsstyringssystemer og dermed minimere risikoen for uautoriseret adgang og datatab. Og hvordan man kommer fra at overbevise ledelsen til rent faktisk at implementere IAM?

18. april 2024 | Læs mere