Vad är en AI-prototyp?

Prototyp och Proof of Concept (PoC) har varit vedertagna begrepp inom både fysisk och digital utveckling under många decennier. Nu börjar begreppen också få fotfäste inom AI-domänen och det blir allt vanligare att “prototypa” modeller för att utvärdera tekniska vägval innan man tar beslut om att investera i ett fullskaligt AI-projekt. 

I den här artikeln fördjupar vi oss i AI-prototyper, beskriver hur de skiljer sig från traditionella digitala prototyper som du kanske är van vid och presenterar exempel på några av de prototyper som vi på Violet utvecklat tillsammans med våra kunder och partners.

‍

‍

Vad är en AI-prototyp?

Som du säkert är bekant med brukar en PoC (Proof of Concept) definieras som en tidig version av en lösning, exempelvis en digital produkt, som syftar till att bevisa att en idé eller ett koncept är genomförbart. En prototyp inkluderar vanligtvis fler steg och krav, såsom krav på testbarhet, tillgänglighet för fler personer eller möjlighet till analys, och tar således systemet några steg närmare en färdig lösning. En AI-prototyp är i sin tur en teknisk prototyp där en eller flera delar i implementationen är, eller integrerar mot, en AI-modell. 

“En AI-prototyp kan både vara enbart en isolerad AI-modell med en specifik uppgift eller en prototyp av en typisk mjukvaruprodukt, med en backend och en frontend, där en del i implementationen är en API-integration mot en AI-modell.” säger Simon Karlsson, som är partner på Violet och har utvecklat arkitekturen för flertalet AI-lösningar. 

Prototyper kan vara värdefulla i många olika AI-projekt, exempelvis kan man prototypa en matchningsmotor som tar hjälp av en stor språkmodell (s.k. LLM) för att matcha jobbsökande med relevanta jobbannonser, eller bild- och videoigenkänningsmodeller som använder växthuskameror för att ge optimeringsråd och öka skörden. 

‍

‍

Ett annat exempel på en AI-prototyp kan vara en forecasting-modell som förutser efterfrågan på en viss tjänst eller produkt med hjälp av maskininlärning. En prototyp av en forecasting-lösning kan vara så pass enkel att den bara innehåller en maskininlärningsmodell som tränats på ett begränsat dataset, såsom en enda tidsserie. ‍

‍Till skillnad från vanliga mjukvaruprototyper ligger fokus på att demonstrera och testa AI-specifika funktioner och kapaciteter, dvs. hur modellen presterar, medan en vanlig digital prototyp fokuserar på andra aspekter av mjukvaru- och produktdesign, såsom ett användargränssnitt eller en specifik funktionalitet.

‍

Varför gör man en AI-prototyp?

Det finns olika anledningar till att göra en AI-prototyp. Ofta handlar det om att testa den tekniska genomförbarheten i modellen eller lösningen, exempelvis “Kan GPT-4 användas som resonemangsmotor i vår AI-agent för att besvara kundsupportärenden?”. I processen ingår även att utvärdera olika tekniska vägval, exempelvis “Hur presterarar GPT-4 i jämförelse med LLaMa 2 som resonemangsmotor i vår AI-agent?”.

När det gäller stora språkmodeller, som GTP/OpenAI, Gemini/Google och Mixtral/OpenSource så är kostnaden för uppsättning och servrar, och/eller användande, viktiga faktorer. Datasäkerhet är även en aspekt som kan avgöra om det går att använda en tredjepartslösning och därmed vilka kostnader som tillkommer. I prototyp-arbetet ingår ofta att ställa Use Case och Performance mot Business Case för olika modell-alternativ.

En AI-prototyp kan också användas i kommunikativa och organisatoriska syften. Med hjälp av en prototyp kan man samla in feedback från framtida användare för att förbättra lösningen. En prototyp kan också vara ett verktyg i att bygga ett Business Case för att övertyga beslutsfattare om systemets värde, vilket underlättar för att kunna ta ett välgrundat beslut om ett fullskaligt produktionsprojekt.

Även om en AI-prototyp är långt ifrån en färdig, integrerad lösning, kan den alltså ge värdefulla insikter om vad som är praktiskt och tekniskt genomförbart, ekonomiskt lönsamt och vad som passar organisationens behov, samtidigt som kostnaden för en prototyp skulle kunna vara så lite som 5-10% av en färdig lösning, och ibland mindre än så. Investeringarna i prototypen bidrar även till det slutliga produktionsprojektet, dels genom programkoden som tagits fram, men också genom de erfarenheter och kunskaper som man samlat på sig under prototypfasen.

‍

‍Exempel på AI-prototyper

1. Språkmodeller som resonemangsmotor i AI-agent

Ett företag inom kosttillskott ville utveckla en intelligent agent som kunde agera kundsupport och domänexpert, en så kallad AI-agent. Företaget har en e-handel med en mängd produkter för olika syften tillsammans med en svåröverskådlig guide med information om produkterna. Företagets kunder efterfrågade personaliserade produktrekommendationer, något som skulle bli både kostsamt och svårt att skala med mänskliga supportagenter.

Företaget ville därför undersöka om man kunde använda stora språkmodeller, tillsammans med företagets interna dokumentbank och den senaste forskningen på området, för att utveckla en AI-agent som deras kunder kunde interagera med. 

‍

“En viktig teknisk aspekt i prototypfasen var att begränsa så kallade hallucinationer, alltså att modellen hittar på egna fakta. Det blev därför väldigt viktigt att styra agentens svar mot den egna datan.” säger Max Sonebäck, som är modell-utvecklare på Violet.

Prototypen baserades på företagets interna data med en API-integration mot OpenAI och deras GPT-modeller. I systemet hade språkmodellerna en central roll i allt från att styra AI-agentens resonemangskedja för vilken data som skulle användas, till summeringar och sammanställningar. Kunden ville också få en uppfattning om den framtida kostnaden för systemet, inklusive prognoser för kostnaden för att nyttja externa AI-tjänster(OpenAI/GPT-modeller) när tjänsten används av hundratusentals kunder.

En enkel molnmiljö sattes upp för att företaget och utvalda användare skulle kunna testa systemet. Genom att testa prototypen kunde företaget fatta beslut om en större investering i en produktionssatt AI-agent.

2. AI-prognoser förutser efterfrågan på drivmedel

En annan kund till Violet inom drivmedelsindustrin hade en hypotes om att deras logistikflöde och kapitalbindning kunde optimeras genom ett AI-verktyg som förutser efterfrågan på företagets produkter.

‍

‍

För att estimera efterfrågan på drivmedel för en given tidsperiod förlitade sig företaget tidigare på enklare historisk data och uppskattningar från erfarna medarbetare - ett manuellt arbetssätt med stort utrymme för fel.

Med en prototyp skulle man undersöka om en AI-lösning kunde göra träffsäkra efterfrågeprognoser genom att ta hänsyn till mönster i historisk data för bland annat veckodagar, månader och högtider. 

“En viktig del i prototypingfasen var också att testa och utvärdera olika forecasting-metoder, såsom statistiska, programmatiska och AI-baserade lösningar. Ett enkelt problem kräver sällan en komplex AI-lösning, men i det här fallet var det just en AI-lösning som krävdes”, säger Karin Johansson, Machine Learning Engineer och forecasting-specialist på Violet. 

Efter att man konstaterat att AI-lösningen levererade träffsäkra prognoser tog man beslut om att bygga ett fullständigt prognosverktyg med en integrerad AI-driven forecasting-modell. 

3. AI-driven kompismatchning och kundsegmentering

Ett av Nordens största sociala nätverk för kvinnor ville utforska hur man kunde använda AI-lösningar för att förbättra användarupplevelsen och öka intäktsströmmarna. Appen, som matchar kvinnor för vänskapsrelationer, hade en omfattande mängd användargenererad textdata som de inte analyserade eller drog nytta av. 

“I takt med att appen växte till en användarbas på 200 000+ personer blev behovet av att på ett datadrivet sätt förstå sin kundbas större, likaså behovet av att använda de insikterna som verktyg i dialog med annonsörer.” säger Anna Rydin, Machine Learning Engineer och NLP-specialist på̊ Violet.

Man såg en möjlighet att, genom bättre segmentering av kundbasen, få syn på mönster i användardatan som kunde möjliggöra mer relevant innehåll, event och marknadsföring från plattformens partners. Dessutom kunde information från profilbeskrivningar, gruppbeskrivningar och aktivitetsbeskrivningar användas för en intelligentare matchning mellan användare.

‍

‍

I prototypfasen utvecklades en textklassificieringsmodell som segmenterar användarbasen baserat på textdata från profiler, aktiviteter och grupper. Språkmodeller, tränade på appens data, användes för att extrahera och klassificera nyckelord och relatera dem till liknande ord i texterna. I prototypfasen jämfördes också olika tekniska lösningar mot varandra, och den slutgiltiga lösningen bygger på bland annat stora språkmodeller från Kungliga Bibliotekets forskningsenhet KB-labb.

Med prototypen som grund kunde man ta beslut om att investera i en fullständig, integrerad AI-lösning för textklassificering och segmentering av kundbasen.

‍

Ett viktig pusselbit i ett AI-projekt

I takt med att möjligheterna med AI ökar explosionsartat behöver man också effektiva verktyg för att enkelt testa och validera lösningarna. Att prototypa AI-modeller kommer fortsatt att vara viktigt för att utforska olika tekniska vägval, något som i slutändan leder till kraftfulla och värdeskapande AI-lösningar. 

Genom en AI-prototyp kan man också hitta de Use Cases inom verksamheten där AI kan skapa mest värde på kortast tid. Att göra en prototyp blir därför ett snabbt och effektivt sätt att påbörja företagets AI-resa. 
‍

‍

‍

Behöver du och ditt team hjälp med att utveckla en AI-PoC eller AI-Prototyp? Kontakta mig på mattias.guilotte@violet.ai.