En AI-chatbot er noget der oftest har krævet kolossale mængder regnekræfter, mere end hvad din typiske maskine på skrivebordet typisk kan tilbyde. Men nu dukker nye muligheder op.
Hvor OpenAI’s ChatGPT, Microsofts Copilot og Google Gemini AI-chatbots afvikles alle sammen hos de respektive selskabers omfattende server-farme, tilbyder Nvidia nu at AI-chatbot værktøj, som du kan køre direkte fra din bærbare eller desktop-maskine.
Programmet hedder ’Chat with RTX’ og gør det muligt at køre et udvalg af storskalasprogmodeller uden opkobling til nettet – forudsat at du har en potent maskine at afvikle det på.
Høje systemkrav
For at kunne køre ’Chat with RTX’ kræver Nvidia at du har et nyere Windows 11 system udstyret mindst 16 gigabyte hukommelse og et Nvidia RTX-grafikkort i enten 3000 eller 4000 serien.
Kortet skal samtidig være udstyret med mindst otte gigabyte hukommelse, hvilket udelukker low-end udgaver af 3000 og 4000 serierne. RTX 2000 serien kan dog blive understøttet på sigt, forsikrer Nvidia.
Programmet kræver samtidig en hel del plads. Download-filen alene vejer 35 gigabyte, hvorefter den henter yderligere data, før modellen kan installeres, som noteret af netmediet Toms Hardware.
Skræddersyet chatbot
Ud over at kunne køres lokalt, skilter Nvidia med, at modellerne kan tage imod brugerens filer, for at tilbyde skræddersyede chatbot-svar.
Her kan importeres et væld af filtyper såsom .txt, .pdf, word og XML-dokumenter mens der også kan downloades YouTube-videoer, der kan transskriberes og inkluderes i chatboten, til at generere blandt andet opsummeringer og transskriberinger.
Selve modellerne der anvendes, er open-source modeller såsom Mistral eller Llama 2 kombineret med Nvidias ’Retrrievel-Augmented Generation’ (RAG).
Programmet kan hentes her og ses i aktion i videoen nedenunder.