Artikel top billede

Grafik: Dansk Sprognævn

Linux-baseret sprogteknologi jagter nye danske ord

Linux-maskineri kodet hos Dansk Sprognævn tygger hver måned 20 millioner ord igennem på jagt efter friske danske ord.

20 millioner ord om måneden.

Så mange slipper Dansk Sprognævn hver måned sinLinux-baserede crawler løs på i jagten efter friske og nye danske ord.

Dermed er der ikke meget støv og fjerpen over arbejdet med ordene hos vogterne af det danske sprog, som netop har offentliggjort de nye fund i danskernes brug af sproget det seneste år.

I stedet bruger Dansk Sprognævn Linux-baserede servere med perl- og java-programmerede applikationer som institutionens egne kodekarle har tunet til automatisk at surfe nettet tyndt efter nye danske ord.

"Vi koder vores ord direkte i xml, og vi genererer automatisk vores ordbøger ud fra vores xml-filer."

Det fortæller Sabine Kirchmeier-Andersen, direktør hos Dansk Sprognævn.

"Vi bruger typisk dagbladene og fagbladene. Vi får nogle ting elektronisk, som vi gerne må bruge. Og dem sender vi så vores ordtrawler ind på," siger hun.

Men hvordan bærer Dansk Sprognævn sig ad med at lede efter ord, som endnu ikke findes?

"Det er en sprogteknologisk udfordring, som vi har arbejdet meget med," forklarer hun til Computerworld.

Sorterer ordene

"Vi sorterer alle ordene. Vi får cirka 20 millioner ord om måneden. Og dem kører vi op mod de databaser, vi har i forvejen," siger direktøren.

Hun forklarer, at de 20 millioner ord består af alt muligt indhold og typisk stammer fra aviser. Men indholdet kan også stamme fra blogs.

"Vi prøver hele tiden at udvide området. Vi trækker ordene ud af al den tekst, vi kan få fat i lovligt," siger hun.

De 20 millioner bruttoord indeholder ifølge Sabine Kirchmeier-Andersen "en masse junk" i form af ad hoc-nye forkortelser, stavefejl og navne.

Når sprognævnets computere har filtreret alt junk fra, ender sprogforskerne med omkring 30.000 bogstavkombinationer, som ikke tidligere er set.

"Det er simpelthen ukendte ordstrenge, som ikke matcher noget, vi har i forvejen. Og computeren kan ikke se, om disse strenge betyder noget," siger Sabine Kirchmeier-Andersen.

Derfor skal der yderligere filtrering til for at sortere i de mange bogstavstrenge.

Et af midlerne er maskinel sortering hvor man ser bort fra endelser og bøjningsformer, fortæller hun.

Desuden handler det om at lede efter specifikke tekstmønstre, som signalerer, at her er der formentlig tale om et nyt ord. Det kan eksempelvis være ordet 'såkaldte', som ofte efterfølges af et nyt ord, forklarer sprogdirektøren.

Bedømmer sandsynligheden

Hun forklarer, at nævnet også benytter statistisk processering til at bedømme, hvad sandsynligheden er for, at et ord er nyt.

"Når vi er færdige med alle de her filtre, så er der måske et par tusind ord tilbage om måneden, som vi kigger på manuelt," siger Sabine Kirchmeier-Andersen.

Den manuelle gennemgang af ordene ender typisk med omkring 200 nye, rigtige ord om måneden som Dansk Sprognævn stopper i deres database.

Nogle af dem finder med tiden vej til ordbogen Nye Ord i Dansk, der er offentligt tilgængelig på nævnets hjemmeside.




Brancheguiden
Brancheguide logo
Opdateres dagligt:
Den største og
mest komplette
oversigt
over danske
it-virksomheder
Hvad kan de? Hvor store er de? Hvor bor de?
Fiftytwo A/S
Konsulentydelser og branchespecifikke softwareløsninger til retail, e-Commerce, leasing og mediebranchen.

Nøgletal og mere info om virksomheden
Skal din virksomhed med i Guiden? Klik her

Kommende events
CIO Trends 2021: Sådan ser teknologiradaren ud hos Danmarks bedste CIOs

Teknologien i virksomheder spiller i den grad en større og større rolle, hvor vi er nødt til at stille endnu større krav til, hvordan vi udnytter den, og hvilke muligheder den giver. Spørgsmålet er dog, hvordan man formår at lede en virksomhed, der konstant skal forholde sig til teknologiens forandringer.

16. november 2021 | Læs mere


How to Sikkerhed: Awareness, email fraud og phishing

Man kan aldrig vide sig sikker, for uanset hvor godt man sikrer sig mod hackerangreb og anden svindel, vil hacker næsten altid være et skridt foran. De går efter organisationernes svageste led i håbet om at kunne snyde sig til data, penge eller andet værdifuldt. Få derfor konkrete bud på, hvordan du kan gribe opgaven an og understøtte et effektivt awareness-niveau i din organisation med enkel, men velfungerende, teknologi.

17. november 2021 | Læs mere


Microsoft 365: Gør klar til store prisstigninger

For første gang i mange år hæver Microsoft til foråret priserne på enterprise-udgaverne af Microsoft 365, som er meget udbredte i danske organisationer. Hør om mulighederne i Microsoft 365-pakkerne. Og hør, hvordan du med god license management har mulighed for at trimme dit setup, inden prisstigningerne på op til 25 procent træder i kraft 1. marts 2022.

19. november 2021 | Læs mere