Vi er lige i Danmark - men nogen er mere lige end andre. Og de der særligt ikke er lige, er de, der har anden etnisk herkomst end dansk.
For er man eksempelvis 'efterkommer af ikke-vestlige indvandrer', så ser systemet anderledes på dig. Det digitale system.
For algoritmer, der skal hjælpe sagsbehandlere med at vurdere borgersager på jobcenteret, kan være med til at puste til allerede eksisterende fordomme.
Det skriver Politiken.
Og det fik nyuddannede Telli Betül Karacan med en kandidat i statskundskab at mærke, da hun meldte sig på jobcenteret.
Hun blev kategoriseret som ’efterkommer af ikke-vestlige indvandrere’ i det system, der afklarer hendes risiko for at ende i langtidsledighed.
Dog var Karacan kun ledig i to måneder, før hun fik en stilling som videnskabelig assistent på Dansk Institut for Internationale Studier.
Ifølge en mail fra beskæftigelsesminister Peter Hummelgaard (S) er det frivilligt for borgere, om de vil registreres i profilafklaringsværktøjet.
Dette var dog ikke Telli Betül Karacans oplevelse, der ikke blev spurgt, om hun ville profileres. Faktisk fik hun slet ikke at vide, at det skete.
"Oplysningen om etnisk herkomst dukkede bare op på skærmen i et låst felt på linje med mit navn, alder og tidligere sociale ydelser. Min uddannelse indgik ikke i den profil, der automatisk var blevet dannet af mig," fortæller hun.
Skaber, forstærker og gentager diskrimination
Problematikken med de skæve og fordomsfulde algoritmer er ikke ny.
I et notat fra begyndelsen af marts har Institut for Menneskerettigheder opfordret Peter Hummelgaard til at indføre nye regler på området, da profileringsmodeller som denne, ifølge notatet, "skaber nye ricisi for diskrimination", "forstærker en eksisterende diskrimination" og "gentager en eksisterende diskrimination".
Dette afviser ministeren dog i sin mail.
Der sker forskellige forskningsprojekter rundt omkring på landet universiteter i disse dage. En af dem, der vil decikere algortimer for deres fordomsfulde adfærd, er professor Sine Nørholm Just, der forsker på Institut for Kommunikation og Humanistisk Videnskab på Roskilde Universitet.
Hun og hendes forskningsteam fik tilbage i januar en bevilling på 100 millioner kroner til et nyt forskningsprojekt med navnet 'Algoritmer, Data og Demokrati' (ADD).
Dengang lød det fra den professoren:
"Det største problem er, at rigtigt mange mennesker ikke ved, at der er algoritmer involveret i de beslutninger, de selv tror, de træffer. Og de er ikke opmærksomme på, hvordan algoritmerne er involverede i produktionen af den viden og de tilbud brugeren får."
Hun forklarede, at "algoritmen i sig selv kan aldrig været biased, fordi algoritmen kun benytter sig af de kriterier, den har fået indkodet. Og ud fra dét, arbejder den med det data, den får."
Tilbage i Institut for Menneskerettighederes notat, efterlyses der envidere større fokus på de rettighedsmæssige udfordringer, som algoritmen giver.
"Det indebærer klarere rammer for myndighedernes anvendelse af profileringsmodeller, både når det gælder datakvalitet og test, men også når det gælder risici og begrænsningerne i, hvad modellerne er i stand til."