Kunden frågar vilken reservdel som passar. AI-assistenten svarar snabbt och låter säker. Men rekommenderar den rätt del till rätt modell?
För att mäta kvaliteten i en AI-assistent behöver ni granska vad kunden faktiskt får hjälp med. Här är ett arbetssätt för er som vill utvärdera en första demo, testa före lansering eller följa upp en assistent som redan möter kunder.
Bestäm vad ett bra svar ska innehålla
Börja med ett avgränsat användningsområde, till exempel produktfrågor eller skötselråd. För varje fråga skriver ni vilket underlag som gäller och vad kunden behöver kunna göra efter svaret.
Bedöm sedan fyra saker:
- Korrekthet: Stämmer uppgifterna med den aktuella källan och rätt produktversion?
- Relevans: Besvarar assistenten kundens fråga utan att lägga till osäkra råd?
- Begriplighet: Kan kunden förstå svaret och nästa steg utan att kunna era interna uttryck?
- Gränser: Ber assistenten om förtydligande eller hänvisar vidare när underlaget inte räcker?
En källhänvisning är användbar först när källan faktiskt stödjer påståendet. Öppna dokumentet och kontrollera det, särskilt om ett felaktigt svar kan påverka ett köp eller hur en produkt används.
Bygg en liten samling testfrågor
Som första arbetsprov föreslår vi 20 frågor från ert vanliga kundarbete. Det är en hanterbar start, ingen statistisk garanti. Skriv om frågorna så att personuppgifter och kundspecifika detaljer inte följer med.
Blanda frågor med tydliga svar, ofullständiga frågor och frågor som assistenten ska lämna vidare. Använd också vardagliga formuleringar och stavfel. Kunder skriver sällan exakt som rubrikerna i en manual.
Här är fem fiktiva testfall att anpassa till ert sortiment:
- Svaret finns: ”Hur rengör jag filtret på modell A?” Svaret ska följa skötselanvisningen för just modell A.
- Information saknas i frågan: ”Vilket filter ska jag beställa?” Assistenten behöver fråga efter modell innan den rekommenderar en artikel.
- Svaret saknas i underlaget: ”Kan ni leverera på fredag?” Om aktuell leveransinformation saknas ska assistenten hänvisa till teamet.
- Kunden ber om ett undantag: ”Kan jag få rabatt på fem enheter?” Assistenten ska följa era instruktioner och inte hitta på ett erbjudande.
- Kunden vill ha en människa: ”Jag vill prata med någon.” Kontaktvägen ska vara tydlig och gå att använda.
Skriv det förväntade beteendet innan ni kör testet. Då blir det lättare att se om ett välformulerat svar faktiskt uppfyller kraven. Om svarskällorna är otydliga hjälper guiden Så förbereder ni en kunskapsbas er att börja i rätt ände.
Använd ett enkelt granskningsprotokoll
Ni kan börja i ett vanligt kalkylblad. Skapa en rad per testfall med följande fält:
- kundens fråga
- förväntat svar eller beteende
- godkänd källa och dess version eller datum
- assistentens svar och testdatum
- bedömning: godkänt, behöver förbättras eller kritiskt fel
- vad som ska rättas, av vem och när det ska testas igen
Ett kritiskt fel kan vara ett påhittat pris eller en instruktion som strider mot produktens säkerhetsanvisning. Bestäm vilka fel som ska stoppa publicering inom ert användningsområde. Ett högt genomsnittsbetyg ska inte dölja dem.
Låt den som kan sakfrågorna granska svaren. Om två personer bedömer samma svar olika behöver ni ofta förtydliga kriterierna eller underlaget.
Skilj på svarskvalitet och lösta kundärenden
Ett godkänt testsvar visar att assistenten klarade just den situationen. Det bevisar inte att ett verkligt kundärende blev löst.
Även analysverktyg använder olika definitioner. Microsoft beskriver exempelvis att Copilot Studio skiljer mellan lösta, eskalerade och övergivna sessioner. Ett löst utfall kan i vissa flöden bygga på ett antaget resultat när kunden inte svarar. Det är därför klokt att läsa definitionen bakom siffran. Källa: Microsofts dokumentation om samtalsutfall.
För er egen uppföljning föreslår vi att ni håller isär:
- Godkända svar i stickprovet: Hur många granskade svar uppfyllde era kriterier? Redovisa också hur många ni granskade.
- Bekräftad hjälp: Har kunden eller teamet bekräftat att frågan blev löst?
- Kunskapsluckor: Vilka återkommande frågor saknar tillräckligt underlag?
- Hänvisning och överlämning: Fick kunden en fungerande kontaktväg, och nådde ärendet fram när en överlämning skulle ske?
- Okänt utfall: Var tog samtalet slut utan att ni vet om kunden fick hjälp?
Om kunden lämnar chatten vet ni inte automatiskt varför. Redovisa osäkerheten i stället för att räkna varje avslutat samtal som en framgång. Mät svarstid separat, så att snabbhet inte väger upp felaktiga svar.
Följ upp efter ändringar
Kör samma testfrågor igen när ni ändrar viktiga källor eller instruktioner. Lägg till nya frågor när ni upptäcker problem, och testa kritiska fall flera gånger. Ett lyckat svar vid ett tillfälle räcker inte som bevis för stabilt beteende.
Boka exempelvis en kort genomgång varje vecka under ett första införande. Välj ett blandat stickprov av vanliga frågor, hänvisningar och okända utfall. Då ser ni både det som fungerar och det som behöver rättas.
Samla förbättringarna i en prioriterad lista: rätta sakfel först, komplettera återkommande kunskapsluckor och förtydliga därefter formuleringar. Utöka användningen när ni har stöd för att den avgränsade delen fungerar.
Ta med testfrågorna till nästa demo
Be att få prova era egna frågor och se vad som händer när ett svar saknas. Gå också igenom hur samtal kan granskas och vilka uppgifter som går att följa upp i den aktuella lösningen. Checklistan här är ett föreslaget arbetssätt, inte ett löfte om färdiga analysfunktioner i GELO.
Läs om GELO för kundservice och vår introduktion till AI i kundservice för svenska företag. Vill ni använda era egna frågor i en genomgång? Boka demo.