Hovedtemaet i dag er mad.
I får et par billeder af mine frosne middagsretter til Tante Grethe, vi får styr på James’ pantry og kummefryser ovre i Dripping Springs og sandelig også på Sonjas og mine to nanofrysere i lejligheden på Amager.
Alt sammen munder ud i en lille/stor overraskelse, nemlig denne: Vi Bruger Ikke Apps (eller andre it-løsninger). Nu har alle de der møg-it-løsninger plaget os længe nok. Vi gider ikke mere. Vi er ovre det. Det er slut (næsten).
Jeg har også et vanvittigt indslag fra en læser om bil-API’er, der nu kan kodes af alle takket være AI’erne.
Men først skal vi lige have AGI (endelig!) og tusindvis af papir-agenter (nyt ord)...
Fable 5.2 - er det AGI eller ej?
Så har vi MÅSKE eller NÆSTEN det stadie af AI, som vi har drømt om, nemlig AGI (Artificial General Intelligence).
Det manglede også bare, for om 19 dage skal vi fejre fire års fødselsdag for ChatGPT (den blev lanceret 30. november 2022).
Ethan Mollick har testet den kommende Fable 5.2 fra Anthropic, og hans konklusion er, at vi både er, og ikke er, ved AGI, hvis man bruger denne definition:
“An AI as good as most human experts at most intellectual tasks you can do with a computer.”
I kan læse hele hans blogpost her. Den indeholder helt vilde eksempler og nogle virkeligt gode betragtninger over, hvad AI’erne kan og hvad de ikke kan.
Se den første video, som han har fået lavet med én kort prompt - og fortæl mig så, at mennesker kunne have lavet det lige så kreativt.
I kan finde en samlet oversigt over Ethan Mollicks artikler her.
Nogle kommentatorer i silikone-dalen bemærkede tørt, at Googles nye superduper-slagskib (Argon 4) nåede at ligge på førstepladsen i knap en uge, før den blev overhalet af Fable 5.2 (og Mythos 5.2, men den frigives kun til udvalgte spillere) - og Google nåede ikke engang at frigive den til generelt brug, før den var bagefter 🙂.
Fra papir til agent
Jeg hørte en interessant podcast-episode fra The Economist forleden.
En forsker på MIT har lavet “paper to agent”-øvelser, det vil sige, at et videnskabeligt papir bliver til en agent, der kan interagere med andre agenter, svare på spørgsmål, etc.
Han sætter også alle mulige videnskabs-agenter til at holde konferencer og møder med hinanden.
Ret vildt, og når journalisten fra The Economist spørger om de sædvanlige ting (“Er du ikke bange for, at …”), så havde han et helt genialt svar klar, som jeg vil kopiere:
“It is a concern. We should never allow…”, osv. Så var journalisten beroliget, og alle kunne komme videre. Smukt.
Her er et kort referat (baseret på transskriptionen af podcasten), lavet af Gemini og checket af mig efter at have lyttet til hele podcasten:
“I podcasten diskuterer værten Alok Jha og Stanford-professor James Zou et fascinerende skift: AI udvikler sig fra at være et simpelt værktøj til selv at fungere som en selvstændig forsker.
Zou præsenterer sin vision om virtuelle laboratorier, hvor AI-agenter med specialiserede roller autonomt samarbejder, afholder møder og genererer nye videnskabelige hypoteser.
Et centralt element i podcasten er idéen om at omdanne statiske forskningsartikler til interaktive, "levende" vidensagenter, der kan besvare spørgsmål og endda skabe nye opdagelser ved at kommunikere med andre agenter.
Selv om AI forventes at accelerere videnskabelige gennembrud massivt, understreger Zou også nødvendigheden af strenge sikkerhedsforanstaltninger, især for at undgå at oversvømme forskningsverdenen med ukorrekt, AI-genereret "støj" og for at forhindre farlige opdagelser i at nå den virkelige verden.”
Mad til Tante Grethe: Hvilken AI læser bedst?
Jeg er begyndt at lave mad i portions-bøtter til Tante Grethe, til svigermor Edel og til Else-Marie her i ejendommen på Amager, der slås med nogle trælse helbredsting.
Det betyder, at jeg har de allerbedste undskyldninger for både at købe stort ind i for eksempel INCO og oven i købet lave store portioner af gode retter, så der dufter i hele lejligheden i flere timer. Det er vidunderligt.
I lørdags kørte jeg over til Tante Grethe med ni mad-bøtter, som jeg havde lavet, og jeg tog to billeder af dem, før de røg i hendes fryser.
Derpå bad jeg de tre AI’er (ChatGPT, Gemini og Claude) om at læse, hvad der stod på de håndskrevne labels.
To af svarene var cirka lige gode/dårlige, og den sidste var fremragende.
Her kommer først de to billeder, så I kan fornøje jer med at (prøve at) læse min håndskrift, og derpå more jer over, hvordan de tre AI’er klarede sig med samme opgave.
ChatGPT: MULLIGATAWNY-suppe
Ja, jeg kan læse næsten alle etiketterne på de ni madbokse til Tante Grethe.
Her er min aflæsning i den rækkefølge, de står på billederne.
Billede 1 (fire bokse)
- TILSAT BACON – CHAMP-SUPPE.
- TILSAT BACON – CHAMP-SUPPE.
- MULLIGATAWNY SUPPE (lidt usikker på stavningen).
- KØDBOLLER I KARRY SOVS.
Billede 2 (fem bokse)
- BØFS I VILDTSOVS – KARTOFFELMOS-
- CSC (usikker på forkortelsen).
- KØDBOLLER I KARRY SOVS.
- KANIN.
- BØFS I VILDTSOVS – KARTOFFELMOS.
Gemini: Krydderier eller kanin?
Det ser ud til, at der er ni madbokse fordelt på de to billeder (fire på det første og fem på det andet).
Her er hvad der står på etiketterne, læst fra venstre mod højre.
Første billede (fire fra venstre mod højre):
1) Champ. suppe (med et ekstra lille skilt ved siden af: Tilsat bacon).
2) Champ. suppe (med et ekstra lille skilt ved siden af: Tilsat bacon).
3) Mulligatawneysuppe.
4) Kotelet i champ. sovs.
Andet billede (fem bokse)
5) Braiss. svine-kebab (øverst til venstre).
6) CSC (øverst til højre)
7) Kotelet i champ. sovs.
8) Krydderier / eller Kanin (etiketten er lidt svær at tyde helt skarpt, men der står Krydderier eller lignende)
9) Brais. mørbrad-kotelet (nederst til højre)
Claude: Står CSC for Chili Sin Carne?
Ja, her er de ni etiketter:
1) Champ-suppe, "tilsæt bacon".
2) Champ-suppe, "tilsæt bacon".
3) Muslingesuppe.
4) Kotelet i champ-sovs.
5) Kotelet i champ-sovs.
6) Brais. svinekæber (braiserede svinekæber).
7) Brais. nakkekotelet.
8) Kanin.
9) CSC.
Altså to af hver af champignonsuppen og koteletterne, og resten én af hver. "CSC" kan jeg kun læse som de tre bogstaver.
Indholdet ligner chili, så måske chili sin carne? Tante Grethe skal nok have det skrevet helt ud, hvis hun ikke kender forkortelsen.
Korrekt det er chili sin carne
“Godt gættet af mig. Så har Tante Grethe ni gode måltider at se frem til.”
Jeg synes, at vi skal erklære Claude for vinderen, selv om det faktisk er imponerende “læst” af dem alle tre, min håndskrift og folderne på de ni labels taget i betragtning.
Sonja har påpeget, at der faktisk findes noget, der hedder Mulligatawny-suppe - det vidste jeg ikke.
Vanvittig læser - måske ny fast rubrik?
Mig til ChatGPT: "En læser har skrevet om, hvordan han ved hjælp af Claude har kodet op mod det REST API, der er i hans BMW. Er det normalt nu om dage, at biler har sådan noget?”
ChatGPT: Ja, det er efterhånden standarden for stort set alle moderne biler – dog med en væsentlig teknisk nuance i måden, det fungerer på.
Din ven koder sandsynligvis ikke direkte mod selve bilens hardware i sin indkørsel, men mod producentens sky (Cloud API):
- Arkitekturen i en "Connected Car": Bilen er udstyret med et indbygget SIM-kort/telematikmodul (LTE/5G). Den sender løbende telemetri (batteriniveau, kilometertal, dæktryk, GPS-lokation, låsestatus) op til bilproducentens servere via MQTT eller lignende protokoller.
- Cloud API’et: Fabrikanten udstiller et REST API i skyen. Når bilens officielle smartphone-app viser batteristatus eller tænder for kabinevarmen, taler appen med dette REST API. Det er det samme endpoint, hobbyprogrammører og tredjepartstjenester udnytter – enten via officielle udviklerportaler eller ved at reverse-engineere appens API-kald.
Hvem gør det?
BMW: Tilbyder officielle udvikleradgange (blandt andet via BMW CarData), men der findes også udbredte open source-biblioteker som bimmer_connected, der pakker BMW's ConnectedDrive REST API ind til f.eks.Home Assistant.
- Tesla: Har længe været pioneren på området. De gik for nylig fra uofficielle reverse-engineerede endpoints til et officielt, veldokumenteret Tesla Fleet API med OAuth2 og kryptografiske nøgler.
- VAG-gruppen (Audi, VW, Skoda, Cupra), Volvo, Polestar, Hyundai/Kia m.fl.: Næsten alle mærker med en app har et REST/GraphQL-backend. For mange mærker er Home Assistant- eller Homey-integrationer blevet folkesport blandt tech-interesserede bilejere.
- Mellemlag: Tjenester som Smartcar eller Enode har ligefrem bygget hele forretningsmodeller på at samle alle bilmærkernes REST API'er i én samlet standard-integration til flådestyring, el-selskaber (smart opladning efter elpriser) og forsikringsselskaber.
Hvorfor er det eksploderet?
1) Elbiler (EVs): Behovet for at styre og automatisere opladning efter spotpriser, overvåge batteriprocenter og forvarme kabinen før afgang har gjort API-forbindelsen uundværlig for både ejere og energiselskaber
2) Smart Home-integration: Folk vil have bilen ind i deres automationssystemer, så udelampen tænder, når bilen rammer indkørslen, eller opladningen pauser, hvis vaskemaskinen kører.
3) Flådestyring og bildeling: Tjenester som GreenMobility, udlejningsselskaber og firmaflåder har brug for at udlæse kilometer, låse døre op og lokalisere biler uden eftermonteret hardware.
Kort sagt: Biler i dag betragtes af producenterne som "Software-Defined Vehicles" (SDV) – rullende IoT-enheder med en cloud-backend, hvor REST API'et blot er den digitale dør ind.
(Slut på ChatGPT’s svar).
Mig til James: Did you know this?
James: Nej. Det skal prøves!
(Vi havde den nye, automatiske oversættelse i iMessage slået til for at teste det).
Vanvittige mig (og James)
I den uge jeg boede hos James i Dripping Springs, Texas, fandt vi på en del skøre ting.
En af dem var, at vi skulle have overblik over hans mad-beholdning i henholdvsi hans store pantry og hans kummefryser.
Metoden varierede en lille smule, men involverede i begge tilfælde ChatGPT, selvfølgelig.
Ved pantry’et tog jeg et billede af hele rummet og talte så til ChatGPT, det vil sige forklarede, at det var rummet, og at jeg ville gå det igennem systematisk og tage billeder af indholdet på og i hylder, skuffer, mv. Jeg kørte på “Øjeblikkelig” som model.
Den foreslog straks en udmærket nomenklatura og systematik, og så tog jeg den første skuffe, tog et samlet billede og derefter et par billeder af de mange ting i den.
Jeg valgte at tage fotos inde fra ChatGPT-app’en, fordi de ikke gemmes på mobilen, men kun inde i ChatGPT.
De første eksempler viste, at jeg nogle gange nok skulle tage et billede mere, end jeg troede, men ellers gik det fint med at tage et samlet billede af en skuffe eller hylde, og så flytte rundt på tingene og tage billeder af dem.
Den fangede det ret fint, og jeg korrigerede, når den ikke gjorde (det var ikke nødvendigt særligt tit). Alt foregik som sagt via tale (mikrofonen i prompt-feltet).
Da jeg så sagde, at nu var jeg færdig, så lavede den et samlet regneark med diverse faner og var klar til at lave en app, hvor man kunne checke ting ind og ud, mv.
Nogle dage senere spurgte jeg, hvor alle dåserne med bønner stod henne, og fik “adresserne” med det samme.
Det var vel at mærke i en helt ny chat, men fordi ChatGPT’s memory er så god nu om dage, så virkede det alligevel.
Wow. ChatGPT kan nu være din app
Og det førte til en ret interessant indsigt:
Selve ChatGPT kan være app’en.
Jeg behøver bare at fortælle, hvad jeg har fjernet, flyttet eller tilføjet, gerne i nye chats, og så finder den skam ud af det.
På den måde kan man faktisk have mange “apps” uden at have apps. Farvel til MANGE regneark og andre fjollerier!
Non-app-app (NAA) kunne man kalde det. Eller Chat-Based App (CBA)? I må meget gerne foreslå noget bedre til mogensxy@gmail.com. Giv mig også gerne nogle eksempler.
Fryseren: 160 STORE stykker kød
Fryseren håndterede vi på den måde, at vi tog alt ud og fordelte tingene logisk i bunker med steaks, hakket fra forskellige dyr, indvolde, osv.
Jeg skulle hilse og sige, at alt ganske rigtigt er større i Texas, også kødstykker fra køer, og en halv ko ankommer pænt skåret ud og vacuumpakket, så vi stod reelt med 160 store, frosne klumper.
Vi startede så med at proppe en kategori (“Indmad”, “Hakket”, “Kylling”, “Laks”, osv) i en kurv, og jeg fortalte ChatGPT, hvor mange pakker af hvilken type, vi puttede i kurven.
Når vi så skulle putte dem ned i fryseren, fortalte jeg ChatGPT, at “nu lægger vi kurv nr. 10 nederst i fryseren til venstre, og kurv nummer 7 som nr. 2 fra venstre”, osv osv. Den havde selv givet kurvene numre efterhånden som vi fyldte dem.
Jeg fortsatte med ting som “nu putter vi kurv nr. 7 ned i det andet lag fra neden yderst til venstre”, osv. Det virkede fremragende, den lavede visuelle overblik over kurvene i fryseren, osv.
Samlet arbejdstid var cirka en time for pantryet og 45 minutter for kummefryseren.
Verdens længste prompt
Da vi to dage senere skulle bruge noget tyndt oksekød til fajitas, spurgte jeg (i en ny chat), hvad det kunne være, den kom med fem relevante forslag og angav kurvenumrene.
Vi valgte to pakker med “cutlets”, sagde det til ChatGPT, hvorpå den meddelte, at den havde opdateret beholdningen.
Så for at gentage mig selv: Det foregår i nye, friske chats, fordi Memory virker så legendarisk godt. Er det ikke fantastisk?
Dog havde vi liiiige i glædesrusen glemt en lille detalje, nemlig at jeg rejste hjem igen, så dagen efter hjemkomsten fik jeg en SMS fra James, der gerne ville have det “overdraget”.
Jeg trykkede på mikrofonen i prompt-feltet og indtalte følgende lange prompt (komplet med stavefejl, talesprog, osv), igen i en ny chat:
“Min ven James sendte mig en sms, og du får teksten lige om lidt, hvor han godt vil have dig til at lave et såkaldt handover doc eller et på engelsk comprehensive handover document, som han så kan bruge til ligesom at få den viden om hans fryser, som jeg jo har her nu takket være vores chat. Så den tekst får du fra ham lige om lidt, så du kan se, hvad det egentlig er. Han ønsker nemlig et comprehensive handover document. Og ved du hvad? Ved nærmere eftertanke, du behøver ikke resten af hans tekst, det er bare det, han godt vil have. Jeg kan prøve at læse det højt for dig. Her han skriver: Would you mind getting ChatGPT to create a comprehensive handover document for my freezer? I want to use it in the new weekly menu project. Men jeg har en anden ting, jeg har tænkt på, og det er, at jeg lavede jo ikke nogen form for dokument eller application eller lignende baseret på alt det, jeg havde fortalt dig om hans fryser. Du sørgede jo for at lave en fin oversigt, og da vi hentede de der to stykker kotletty, som du selv nævner, der opdaterede du jo også selv automatisk din memory med det inventory. Det vil sige, i sig selv behøver jeg ikke nogen applikation eller et regneark eller et dokument, for jeg kan jo bare fortælle dig, hvad det er, jeg putter ned i hans fryser, og hvad jeg hiver op af hans fryser, og så holder du øje med det. Så på den måde havde det jo fungeret du jo takket være dit memory og dine chats, jeg har haft med dig, som en slags applikation, jeg bare kan bruge på det punkt. Nu beder James så om at få et handover document, og det kan jeg godt forstå, han gør. Men spørgsmålet er: Kunne du også i stedet for lave en omfattende prompt og en oversigt over fryseren, som du har den nu, og ved hjælp af den prompt og det dokument, som han så kunne proppe ind i sin version af ChatGPT, ville han så kunne stå i samme situation, som jeg står i nu, nemlig at jeg kan faktisk bare fortælle dig, hvad jeg tager fra fryseren og hvad jeg lægger ned i fryseren, i stedet for at jeg skal vedligeholde en applikation eller dokument.”
ChatGPT svarede:
“Ja, det kan vi godt. Jeg vil lave en engelsksproget overdragelsespakke til James med hele den registrerede fryserbeholdning, placeringerne og en grundig instruks til hans ChatGPT. Jeg vil også forklare, hvordan han bedst undgår, at beholdningen kommer ud af trit med virkeligheden, når han begynder at bruge den til ugeplaner.
Hentede og kortlagde fryserlager, kurve, placeringer og bøfjustering
Planlagde bestandsoverdragelse
Udarbejdede overdragelsen
Jeg har nu kontrolleret det oprindelige regneark række for række.
Det rummer 46 varelinjer, og jeg kan bevare de konkrete antal, kurvenumre og pakningsstørrelser uden at gætte. Jeg indarbejder også de få oplysninger, vi aldrig fik fastslået, så James' ChatGPT ved, hvornår den skal spørge frem for at opfinde et svar.
Afsluttede dokumentpakken og præciserede lagerlogikken.”
Her i den lille lejlighed på Amager har jeg på samme måde, det vil sige ved bare at fortælle ChatGPT, hvad vi har i skufferne, fået lavet en oversigt over indholdet i vore to små frysere, og det tog cirka 42 sekunder.
Det var det - næsten. Jeg har nemlig SÅ mange andre fede AI-ting, som jeg gerne ville fortælle jer, men nu stopper jeg. Hyg jer derude, og må jeres AI være med jer. Skriv om alt muligt til mogensxy@gmail.com, tak.
