Ebbot-grundaren om generativ ai: ”Många överraskas av höga kostnader”

Han var nyligen inbjuden som talare på Telekom idags konferens Connect24, där han berättade om några av framgångsfaktorerna för chattbotar som bygger på generativ ai. Men han berättade också om vad som bromsar användningen och att det än så länge är få organisationer som faktiskt har börjat använda sig av generativ ai.

Men att generativ ai är framtiden för chattbotar råder det inga tveksamheter om enligt Anders Clarin:

– Det spelar ingen roll hur mycket du tränar en traditionell chattbot som är avsiktsbaserad, den kommer ändå alltid att ha massor av ”blind spots” eftersom du inte kan lära den att svara på varje unik fråga.

Det som gör en generativ ai-chattbot så kraftfull och träffsäker är först och främst att man kan mata den med alla möjliga datakällor som företaget förfogar över. Det kan handla om handböcker, så kallade faq-dokument eller innehållet på webbsidor.

Anders Clarin berättar att en hel del Ebbot-kunder fortfarande använder sig av den tidigare generationens chattbot som bygger på att man tränar upp den fortlöpande. Men när de känner sig redo att ta klivet över till EbbotGPT är det enkelt gjort eftersom företaget erbjuder en hybridlösning som man successivt kan gå över till.

– Du kan behålla allt det du har byggt och sedan lägga på generativ ai för att svara på de frågor som chattboten tidigare inte kunnat besvara. Så det är enkelt och hyfsat sömlöst att ta en äldre lösning och lägga på ett lager av generativ ai för att göra den ännu bättre.

Däremot är det enligt Anders Clarin sällan någon bra idé att läsa in alla kunddata som finns lagrade sedan tidigare. Anledningen är helt enkelt att den innehåller för många felaktigheter.

– Om du har ett stort kontaktcenter med 300 agenter på ett telekomföretag så kommer du att ha otroliga variationer i dina data. Det är extremt svårt att använda den utan att kurera den. Däremot kan man använda sig av maskininlärning för att ta fram insikter.

– Datakvaliteten är avgörande för att vi ska kunna göra bra analyser och det gäller speciellt generativ ai. Om vi matar modellen med dåliga data så kan resultatet bara bli dåligt, förklarar Anders Clarin.

Ebbot använder just så kallade kurerade data för att träna sina egna ai-modeller så att de blir så bra som möjligt, något man enligt uppgift lagt åtminstone 10 000 timmar på att göra.

En fördel med att erbjuda egenutvecklade språkmodeller är att man kan hålla nere kostnaden. Enligt Anders Clarin är det nämligen många användare som överraskas av att kostnaderna snabbt sticker iväg när man använder sig av API:er och språkmodeller från några av de stora kommersiella aktörerna.

– Det är en faktor som bromsar utvecklingen och något som inte så många tänkt på. När de börjar experimentera med någon av de stora modellerna blir de oftast smärtsamt medvetna om kostnadsaspekten.

Enligt Anders Clarin kan man räkna med kostnader på en euro eller mer per kundkonversation om man använder sig av någon av de större kommersiella modellerna. Det finns open source-modeller för generativ ai som snabbt blivit populära, vilket kan förklaras av dels kostnadsaspekten men också av efterfrågan på transparens och säkerhet.

När det gäller just Ebbots generativa ai-chattbot så har man valt en helt modulär uppbyggnad, där kunderna kan välja i princip vilken språkmodell som helst. Men det självklara valet är trots allt deras egenutvecklade modell EbbotGPT, som har finjusterats för att användas i kundservicesammanhang.

– Vårt användningsområde är väldigt smalt, vi vill hjälpa till med serviceprocesser och använder inte våra modeller för att skriva kokböcker eller filmmanus eller vad det nu kan tänkas vara. Det gör att vi kan vara väldigt rigorösa under våra tester så att vi ser att den beter sig på rätt sätt.

Ebbots utvecklare är just nu i full färd med att ta fram ai-funktioner som stöttar agenterna i ett kontaktcenter genom att ge förslag på svar och skapa sammanfattningar av kundkonversationer.

– Att man kan få det stödet som agent tror jag kommer vara en hygienfaktor i framtiden, men även att man kan ta fram statistik och liknande så att man kan berätta för ledningsgruppen att ”igår handlade 83 procent av chattarna om den här felaktiga fakturan”, säger Anders Clarin.

Även om en generativ ai-chattbot klarar av att svara på väsentligt fler frågor än en traditionell chattbot så kommer behovet av att lämna över, eller eskalera, ett kundärende till en mänsklig agent alltid att finnas där.

– Ett av de första problemen vi var tvungna att lösa var att ChatGPT aldrig svarade ”det där kan jag inte” utan försöker alltid formulera ett svar, säger Anders Clarin.

Om chattboten ska kunna lämna över ett ärende gäller det också att en människa finns på plats i kontaktcentret. Här passar Anders Clarin på att dela ut en känga till aktörerna i den svenska telekombranschen, som han tycker är på tok för dåliga när det gäller tillgängligheten till kundservice på kvällar och helger.

– Om man tittar på telekombranschen så är det riktigt uselt, man har öppet fram till 18 och det är alldeles för låg tillgänglighet.

För att göra den generativa ai-chattboten riktigt effektiv är det viktigt att bygga integrationer med andra system som organisationen använder sig av, så att chattboten kan utföra många av de arbetsuppgifter som kontaktcenteragenterna normalt hanterar.

– Det handlar mycket om att ge chattboten precis samma möjligheter som agenterna. När man kontaktar ett företag för att få hjälp med något så kan problemet antingen avhjälpas genom att man får svar på sin fråga eller så måste någonting ske, exempelvis en flyttanmälan. Om inte chattboten har samma möjligheter som en människa kommer aldrig automatiseringen bli lika bra i detta fall, säger Anders Clarin.

Sist men inte minst är det viktigt att säkerställa att chattboten lever upp till säkerhets- och compliancekraven. Idag är det många leverantörer vars lösningar motsvarar dessa krav, men det är ändå viktigt att undersöka hur den enskilda leverantörens erbjudande ser ut i detalj.

Anders Clarin berättar att en del av deras kunder säger blankt nej till att använda sig av amerikanska molntjänster, särskilt inom offentlig sektor, finansbranschen och på den tyska marknaden. Just därför kan man erbjuda en skräddarsydd molnlösning som säkerställer att data stannar i Europa.