Din næste smartphone behøver ikke længere at skulle dele dine mobile data med skyen og AI-tjenesterne.
Den vil kunne køre egne AI-agenter skræddersyet til dit liv og dine omgivelser.
Det er ambitionen hos den amerikanske chip-producent Qualcomm og sin nye kollektion af Snapdragon-chips, Elite Gen 6 samt Elite Extreme Gen 6, som selskabet netop har præsenteret ved selskabets ’Snapdragon Summit’ teknologimesse på Hawaii, USA.
De nye chips får inden længe debut i toptelefoner fra Motorola, Xiaomi og OnePlus.
Lokal AI-mester
Få enheder kender sin bruger nær så godt som mobilen. Den følger altid med, gemmer på et væld af brugerens fotos, videoer og dokumenter mens den knyttes til alverdens apps, tjenester og surfer webbet.
Disse oplysninger kan fremover udnyttes af lokalt drevet AI, i form af AI-agenter bygget omkring lokale sprogmodeller.
Ved en teknologisk præsentation af chippen oplyser executive VP for datacenter og edge solutions Durga Malladi til Computerworld, at Elite-processorerne gemmer på en revideret ’Hexagon’ delchip, en NPU, der kan køre modeller på op til 30 milliarder parametre.
I samspil med såkaldte ’Mixture of Experts’ modeller leverer den nye chip 30 tokens per sekund og understøtte et kontekstvindue på 32.000 tokens, svarende til flere dusin siders tekst.
Det baner vejen for, at der kan bruges sprogmodeller oppe i en størrelse, der kan give nyttige, hurtige og kvalificerede svar.
Perspektivet er at AI-evnerne benyttes til at lade AI-agenter køre lokalt og benytte mobilens indsamlede data om brugeren til at løs opgaver – uden at eventuelle følsomme data behøver at blive behandlet i skyen.
Hvor nyttige agenterne bliver, vil dog i høj grad afhænge af softwaren og dennes evne og adgang til at arbejde på tværs af telefonen.
Her har Qualcomm annonceret en række samarbejder med blandt andre Liquid AI og Hugging Face, hvor Liquid AI bidrager med et hukommelseslag der lagrer brugervaner og -præferencer lokalt, som agenter kan trække på.
AI-specialisterne fra Hugging Face assisterer med optimering og afvikling af lokale sprogmodeller på Qualcomms hardware og håndtering af hybride løsning, hvor nogle opgaver klares på enheden, mens andre klares i skyen.
Teknologisk frontløber
De nye chips er fremstillet med den førende fremstillingsteknologi på markedet i form af 2nm-litografi fra taiwanske TSMC.
Det udnytter Qualcomm til at tilbyde en topfrekvens på 5,0 gigahertz, det hurtigste en mobil-chip har snurret til dato.
Mobilchippen bliver også først med understøttelse af den kommende LPDDR6 hukommelsesstandard, hvilket baner vejen for et væsentlig løft hvad angår båndbredde.
Det giver mulighed for op til 114 GB/s båndbredde og 24 gigabyte hukommelse. Qualcomm synes dog at have de aktuelle ram-priser in mente, hvorfor platformen også tillader LPDDR5X-teknologi og mindre ram-hukommelse.
I chippen finder man flere AI-komponenter i form af mikro-NPU’er, som blandt andet assisterer i grafikchippen samt i en særlige ’Sensing Hub’ som indsamler mobilens sensordata.
Sidstnævnte behandler de lyd- og sensordata, som skal hjælpe telefonen med at lære brugerens vaner og forstå situationen med et lavt strømforbrug.
I praksis omsættes disse egenskaber til 13 procent højere rå ydelse, mens der i spil kan forventes op til 44 procent højere grafisk performance.
Samtidig integreres der nu nye matrix-optimerede kerner i grafik-chippen, så der kan udnyttes moderne AI-drevne effekter, kendt fra Nvidias DLSS-teknikker, navnlig frame-generation og AI-upsampling, som selskabet siger bidrager til ’konsollignende kvalitet’ i spil.
Mobilproducenternes tur
Hvor meget af chippens evner omsættes til praktiske egenskaber, afhænger i høj grad af mobilproducenterne.
De første forsøg med platformen er på vej i form af Xiaomis netop offentliggjorte 18 Pro-serie og Motorolas Signature 27, som begge varsles til at debutere i efteråret.
Ingen af modellerne markedsføres indtil videre på ombordværende agent-løsninger, hvorfor telefonernes lokale agentiske evner indtil videre ikke synes at være noget unikt salgsargument for producenterne.
Computerworld er inviteret til Snapdragon Summit i Hawaii, USA af Qualcomm. Læs mere om Computerworld og presseture her.
