Så nåede vi midt på ugen, og i denne AI-lab nummer 47 vil jeg kigge lidt på, hvad AI’erne lærer af, for der er kommet et par ting frem på det område, der har overrasket mig.
Og som et PS har jeg bedt Gemini, Claude og ChatGPT vurdere, om jeg havde glemt noget. Og dét havde jeg.
I begyndelsen… Ja, altså FØR 30. november 2022, hvor ChatGPT ændrede alt, var der jo nogle forsøg fra blandt andet Microsoft på at stille nogle AI’er til rådighed for os.
I 2016 lancerede de chatbotten Tay, der skulle tale som en 19-årig pige og lære af sine samtaler på nettet.
Det viste sig at være en dårlig idé.
Brugerne gik målrettet efter at få den til at lære hadefulde og racistiske udsagn. På mindre end 24 timer var Tay blevet så grov og racistisk, at Microsoft måtte lukke den ned. Der er nu intet som pøblens indre svinehund.
Det gik meget bedre med en helt tilsvarende chatbot, som de lancerede i Kina, hvor folk opførte sig ordenligt. Den kørte i flere år.
Ikke dynamiske, tak
Men altså: Ikke noget med, at gøre modellerne dynamiske, tak.
I stedet træner man en model ved at lade den gøre alt muligt ved så meget data som muligt, hvorefter man opdrager den i et godt stykke tid, så den ikke siger uartige ting, og derefter er modellen låst. Med mindre man laver den som en open source-model med åbne vægte, hvor folk kan skrue på, hvor “aggressiv” den eksempelvis er.
Men de store modeller, også kaldet frontier-modeller, er låste, og bliver højst justeret lidt, hvis de har en uhensigtsmæssig adfærd.
Virksomhederne skal ikke nyde noget af at bruge input fra os undervejs og pludselig blive underlige.
Men hvad lærer de så af? Hvor får de deres viden fra?
Ja, selvfølgelig suger de alt, hvad de kan fra internettet. Men det har vist sig ikke at være nok, for der kan man ikke rigtigt lære for eksempel hvordan man bedst kan hjælpe en revisor eller en forretningskonsulent.
Så der skal mere til, og opfindsomheden er stor, når det drejer sig om at finde data og input.
Brugerne må da vide noget
Der er jo brugerne selv.
De gratis udgaver af modellerne angiver selv, at de lærer af det input, som man giver dem og de indstillinger, som man foretager, for eksempel preferencer for, hvordan man ønsker sine svar serveret.
Det er ikke så meget det dokument om manglende Moms-betaling, som du vedhæftede i en chat, de er interesseret i, men snarere din “opførsel”, det vil sige dine vaner, hvad du bruger den til, hvad der ikke går godt for dig, hvad du gerne vil få den til og så videre. Altså adfærd, brugsmønstre, og lignende.
Lad os tage OpenAI som eksempel:
Hvis man køber betalingsversionen for private, kan man vælge, om den må lære af ens input eller ej.
Hvis man køber enten Business-licensen (til små virksomheder) eller Enterprise-licensen (for de større) garanterer de, at de ikke lærer af input.
Det kontrolleres efter alle kunstens regler af nogle uafhængige selskaber via SOC 2 og ISO 42001. Selv amerikanske virksomheder ønsker ikke, at deres data bruges af AI’erne 🙂.
Hvad med at scanne bøger?
Google har siden 2004 kørt projekt Google Books, hvor selskabet har forsøgt at få indscannet og digitaliseret alle vigtige bøger fra universitets- og forskningsbiblioteker.
Nu om dage kunne man vel lige så godt indscanne alle bøger?
Anthropic har i hvert fald godt gang i at købe bøger op via skyggefirmaer over hele verden, og det har de fået ballade for, fordi de brænder siderne efter scanning (man hugger ryggen af bogen og scanner siderne).
Som om rigtigt mange bøger ikke i forvejen bliver brændt, fordi der er for mange af dem, og ingen vil købe dem. Men det var en god historie på de sociale medier, hvor man komplet åndssvagt henviste til nazisternes bogbrændinger og var almindeligt SoMe-hysteriske.
Man kan høste viden fra SME’erne
Man kunne også høste viden, inklusive den tyste/tavse viden fra rigtige subject-matter-eksperter, kunne man ikke?
Det har OpenAI i hvertfald arbejdet med.
De indkaldte (og betalte godt for) et par hundrede rigtige eksperter på et område, hver med minimum 14 års erfaring, og gav dem rigtige opgaver, som de skulle løse i løbet af typisk en dags tid, og så “høstede” man det, som de lavede på computerne for at blive klogere.
Det har man gjort med forskellige ekspert-grupper, og det ser ud til at virke, for det er tydeligt, at AI’erne er blevet meget bedre til at hjælpe for eksempel revisorer, konsulenter og jurister.
Registrer ALT, hvad dine medarbejdere gør
Facebook, altid klar til at provokere, fordi Zuckerberg bare er så charmerende, som han er, fandt på at key-logge alt fra deres medarbejdere, det vil sige, at alle tasteslag i biksen blev registreret, så biksen kunne lære at undvære dem, der tastede.
Som sagt: Charmerende. Her er den lidt mere formelle beskrivelse af forsøget, der blev kaldt MCI:
“Meta lancerede Model Capability Initiative, som registrerede medarbejdernes tastetryk, musebevægelser, skærmindhold og private chats. Formålet var at lære AI-agenter at udføre rigtige arbejdsopgaver ved at se, hvordan mennesker faktisk arbejdede. Det kontroversielle var, at softwaren kørte automatisk på arbejdscomputerne, og medarbejderne i første omgang ikke kunne sige nej.”
Det gav en masse ballade og blev stoppet efter kort tid.
Det skal siges, at den slags værktøjer bruges i dag, også af danske konsulentbikse, for at finde ud af, hvem i en virksomhed, der får lavet noget (er rap på tasterne, så at sige), og hvem, der ikke gør.
Og de sammenligner også virksomheder med hinanden, så man for eksmepel kan se, om virksomheden A’s folk er bedre til at bruge SAP end virksomheden B’s folk. Meget charmerende.
Hvad med firmadata fra konkurser?
Men nu lærer AI’erne også af firmaer, der er gået konkurs!
Det her var ægte nyt for mig: Et firma i Californien (hvor ellers) har i nogen tid solgt firma-data far bikse, der gik ned, til dem, der kunne være interesserede. Man kan vel sige, at de har taget gribbenes forretningsmodel til sig 🙂.
Først tænker man selvfølgelig, at det må være konkurrenter, der køber det, så de kan få fat på kunder, fiduser, nye idéer, osv.
Den californiske biks har indtil nu lavet cirka 100 handler, små og store, hvor de typisk har fået nogle få tusinde dollar for det.
Den store simulation
Men nu er der så kommet en anden idé på banen: Hvis der er data nok, kan et AI-firma bruge det som en legeplads for deres AI-agenter, der så kan rode rundt og finde ud af, hvordan sådan en biks virker og kører, og hvad AI kan hjælpe med.
Altså en kæmpestor simulation.
Derfor købte Google forleden al forretningsdata fra det lukkede flyselskab Spirit Airlines for 10 millioner dollars, og eftersom Spirit vel havde et ry, der var en anelse dårligere end Ryanairs, så kan man formentlig nemt finde på nogle gode vittigheder om, hvad AI-agenterne vil finde ud af og blive gode til…
Det drejede sig om 100 millioner mails, 500 millioner Teams-chats, cirka 30 millioner linjer kode, plus 7,2 milliarder registreringer om konkurrenters flyvninger og over 175.000 medarbejderregistreringer tilbage fra 1986, samt data om økonomi, flydrift og medarbejdernes produktivitet.
Persondata som for eksempel deres 97,5 millioner passagerprofiler eller omkring 50 millioner registreringer fra selskabets loyalitetsprogram var ikke med i dealen, trods alt.
Da jeg og andre startede firmaet Datatrade, da GDPR blev indført, var det med henblik på at lave etisk handel med folks data, for eksempel så Energinet kunne blive klogere på folks el-forbrug i løbet af døgnet, folks vaner med hensyn til bevægelse og så videre.
Det blev aldrig til noget, og de noget mere uetiske databrokers fortsatte bare med det, de altid havde gjort, nemlig at sælge folks data fra alle mulige apps og websites til alle, der vil betale.
Spørg Google om, hvorvidt vandet ud for Hornbæk Strand er Øresund eller Kattegat, og du får meget hurtigt input i Facebook om at cykle Øresund rundt. Sådan cirka få sekunder senere.
Og ja, det ER Øresund, du bader i ved Hornbæk. Øresund går fra Stevns-Falsterbo-linjen til Gilleleje-Kullen-linjen, i alt 118 kilometer. Det vidste jeg ikke.
Men nu ser det da ud til, at firma-data kan have reel værdi, og at der er ved at opstå et marked for det. På sæt og vis fint, at det ikke bare går til spilde.
Hvad mon AI-firmaerne ellers kan finde på? De har for eksmpel eksperimenteret med syntetiske datasæt, det vil sige datasæt, som de finder på, for at give modellerne noget mere at lege med, og det ser faktisk ud til at virke godt.
Det var dét! Jeg er sikker på, at jeg har overset nogle datakilder og træningsmaterialer, så skriv gerne til mig på mogensxy@gmail.com, hvis I ved noget 🙂.
PS: Hvad modellerne selv svarer:
Gemini:
Og hvis du troede, at det stoppede ved konkursboer og indscannede bøger, kan du godt tro om igen.
AI-giganternes datahungersnød er nemlig bundløs, og de støvsuger alt, hvad der overhovedet kan trække en digital puls:
]YouTube og podcasts i rå mængder:
Da den rene internettekst slap op, satte man talegenkendelsesmodeller til at transskribere millioner af timers YouTube-videoer for at fodre de nye frontier-modeller.
Dyrt betalte licensaftaler:
Reddit, Stack Overflow og store mediehuse som Axel Springer, Financial Times og News Corp indkasserer i dag trecifrede millionbeløb i dollars for at åbne deres historiske arkiver og brugerdebatter for AI-firmaerne.
GitHub og rå kildekode:
Millioner af programmørers fejlrettelser, commit-beskeder og compiler-output danner grundlaget for de kode-agenter, der i dag hjælper (eller erstatter) softwareudviklerne.
Pirat-databaser og skyggebiblioteker:
Før man begyndte at makulere fysiske bøger, forsynede AI-trænerne sig lystigt fra berygtede pirat-datasæt som Books3, hvor hundredtusindvis af ophavsretsbeskyttede værker blev hevet direkte ned fra ulovlige torrent-netværk.
Sensorer på din krop og på vejen:
Meta træner deres multimodale modeller på video- og lydoptagelser fra folks Ray-Ban smartbriller, mens Tesla fodrer deres neurale netværk med milliarder af kilometers køre- og kameradata fra helt almindelige kunders biler.
Globale data-farme og klik-slaver:
Udover de dyre fageksperter sidder der hære af lavtlønnede annotatører i Kenya og Filippinerne via platforme som Scale AI og Remotasks for manuelt at sortere giftigt affald fra og vurdere modellernes svar.
Selv-spil og syntetiske tankekæder:
AI’erne er også begyndt at tale med sig selv. De nyeste ræsonneringsmodeller trænes på millioner af deres egne genererede "tanker", hvor de gætter, modbeviser sig selv via matematiske regler eller compilere, og lærer af processen i et lukket loop.
Claude:
Licensaftaler
Det er formentlig den største manglende kategori. OpenAI har betalt for indhold fra News Corp, Axel Springer, AP, Le Monde, Reddit m.fl.; Google har en Reddit-aftale; Stack Overflow, Shutterstock og Getty har lignende. Der er opstået et regulært marked for at købe adgang til arkiver frem for at skrabe dem.
Skyggebiblioteker
LibGen, Books3, Anna's Archive, Z-Library. Både Meta og Anthropic er dokumenteret at have downloadet piratkopierede bøger, og det er dét, retssagerne handler om — ikke scanningen (se rettelser nedenfor).
Video og lyd
YouTube-transskriptioner (OpenAI kørte Whisper hen over enorme mængder), podcasts, undertekstdatabaser som OpenSubtitles. Multimodale modeller kræver billeder og video i et omfang, som tekst-diskussionen ofte overser.
Annotørindustrien
Scale AI, Surge, Mercor, Turing, Invisible. Titusinder af mennesker i Kenya, Indien, Filippinerne og USA, der skriver svar, rangerer output og laver RLHF-data. Din SME-historie er reelt toppen af den pyramide — under den ligger en industri, der omsætter for milliarder.
RL-miljøer (“gyms”)
Det her er det helt aktuelle. I stedet for data køber man miljøer, hvor agenter kan øve sig med automatisk verificerbar succes: et fungerende SAP-system, en kodebase med unit tests, et regnskabsprogram.
Firmaer som Prime Intellect, Mechanize og Surge sælger netop det. Det er præcis den “kæmpestore simulation”, du beskriver — så du er faktisk inde på det rigtige spor, men det har et navn og et marked allerede.
Verificerbare domæner
Matematik og kode kan generere ubegrænset træningsdata, fordi facit kan tjekkes maskinelt (unit tests, Lean-beviser).
Det er en stor del af forklaringen på, hvorfor modellerne er blevet så meget bedre til netop de to ting.
Distillation og self-play
Modeller trænes på andre modellers output — også konkurrenternes, hvilket har givet et par offentlige skænderier.
Produkttelemetri
Hver gang nogen accepterer eller forkaster et forslag i Copilot eller Cursor, er det et signal. Kodeassistenterne er selvkørende dataindsamlere.
Fysisk verden
Robot-teleoperation, smart glasses, kortdata, Street View.
En dansk vinkel:
For dansk og andre små sprog køber man ofte data direkte — Danish Gigaword, Det Kgl. Biblioteks samlinger, mediearkiver. Og EU's AI-forordning kræver, at udbydere offentliggør et resumé af deres træningsdata. De første af dem er ret afslørende læsning.
ChatGPT:
Det, menneskeheden allerede har produceret
Internettet, bøger, Wikipedia, aviser, forskningsartikler, patenter, lovgivning, offentlige databaser og ikke mindst enorme mængder softwarekode. Det er den klassiske råvare til AI-træning.
Det, brugerne giver AI'erne
Samtaler, prompts, feedback, præferencer og brugsmønstre kan – afhængigt af produkt, abonnement og indstillinger – bruges til at forbedre modellerne.
Det interessante er ikke nødvendigvis det enkelte dokument, men også hvordan mennesker bruger AI, og hvor den fejler.
Virksomhedernes egne data
Mails, Teams- og Slack-samtaler, dokumenter, økonomidata, arbejdsgange og driftsdata kan være ekstremt værdifulde, fordi de viser, hvordan rigtigt arbejde faktisk foregår. Spirit Airlines-eksemplet er en meget stor og usædvanlig variant af dette.
Data fremstillet af betalte mennesker og eksperter
En hel industri producerer data specifikt til AI: mennesker skriver eksempelbesvarelser, vurderer AI-svar, retter fejl, løser faglige opgaver og demonstrerer arbejdsprocesser. I stigende grad bruges højt kvalificerede fagfolk som jurister, programmører, økonomer og andre specialister.
Syntetiske data – AI laver undervisningsmateriale til AI
AI-modeller kan selv fremstille nye opgaver, eksempler, dialoger, kode og løsningsforslag, som efter kvalitetskontrol bruges til at forbedre andre modeller.
Dermed er man ikke længere begrænset til de data, mennesker allerede har skabt.
AI'ernes egne erfaringer
AI-agenter kan sættes til at løse opgaver i kontrollerede miljøer igen og igen.
Når man kan afgøre, om resultatet var rigtigt eller forkert – eksempelvis ved programmering, matematik eller computerspil – bliver modellens egne succeser og fiaskoer til nye træningsdata.
Den fysiske verden: billeder, lyd, video og sensordata
Multimodale modeller og robotter skal lære mere end tekst.
Derfor bruges billeder, tale, musik, video og optagelser af mennesker, der udfører konkrete handlinger. Det kan eksempelvis være tusindvis af videoer af hænder, der samler ting, betjener maskiner eller udfører bestemte arbejdsopgaver.
Den interessante udvikling kan næsten sammenfattes sådan:
Først lærte AI af det, vi allerede havde skrevet. Nu lærer den også af det, vi gør – og i stigende grad af erfaringer og undervisningsmateriale, som bliver fremstillet specielt til AI.
