AI-chatbot för intern kunskapsdelning

Bakgrund

I en stor organisation finns ofta mycket kunskap, men den är sällan enkel att hitta. Information kan vara utspridd i dokument, presentationer, tekniska beskrivningar och interna riktlinjer. För medarbetarna hos kunden innebär det att svar på vanliga frågor kräver tid, lokalkännedom och ibland hjälp från personer som redan är hårt belastade.

Kunden ville undersöka hur generativ AI kunde användas på ett kontrollerat och säkert sätt för att förbättra tillgången till intern kunskap. Målet var inte att bygga en generell chatbot, utan en lösning som kunde ge relevanta svar utifrån verifierade källor och samtidigt fungera i en enterprise-miljö med krav på spårbarhet, driftbarhet och vidareutveckling.

Uppdrag

Uppdraget omfattade utvecklingen av en skräddarsydd chatbott som kombinerar sökning i kundens interna kunskapsbas med svarsgenerering via OpenAI. Lösningen skulle kunna hantera både nya frågor och uppföljningsfrågor i en pågående konversation.

Uppdraget har varit extra roligt på grund av den tydliga affärsnyttan och nyttjandet av AI. Vi har använt de senaste AI-modellerna och teknikerna för AI-utveckling, vilket har varit till stor hjälp för att utveckla och integrera mot AI-tjänster säger Anders, AI-utvecklare på Arkido.

Arbetet inkluderade API-utveckling, integration mot AWS-tjänster, hantering av konversationshistorik, stöd för källbaserade svar och verktyg för uppföljning av kvalitet och användning. En viktig del var också att skapa en teknisk grund som kunde förvaltas vidare, testas och utvärderas över tid.

Lösning

Chatboten byggdes som ett ASP.NET Core Web API i .NET 8. Medarberare hos kunden skickar in en fråga via ett webbgränssnitt. Därefter hämtar lösningen relevant information från dokument som indexerats i Amazon Kendra. Den kontexten används sedan för att skapa ett grundat svar via OpenAI Responses API.

För att minska risken för hallucinationer instrueras modellen att endast använda information från det hämtade kontextmaterialet.

Lösningen har även stöd för konversationskedjor. Konversationsmetadata, chatthistorik och telemetri lagras separat i DynamoDB, vilket ger tydliga gränser mellan användarupplevelse, analys och OpenAI:s lagrade svar.

Utöver själva frågeflödet innehåller lösningen stöd för källor, etiketter och avgränsning av dokumenturval. Medarbetare eller klienter kan filtrera sökningen med etiketter, vilket gör det möjligt att rikta frågor mot rätt kunskapsområde. Det finns också stöd för skärmbilder, där visuella ledtrådar kan användas som hjälp vid felsökning.

Teknik och arbetssätt

Basen är byggd i C#.NET, .NET 8 och ASP.NET Core med API hantering via Swagger/OpenAPI AI och retrieval: OpenAI Responses API, Amazon Kendra, promptar för källgrundade svar

Lagring: DynamoDB för konversationer, chatthistorik och query events

Dokumentation och metadata är gjort med S3 som dokumentkälla för indexerat material

Systemet driftas i Docker, AWS ECS Fargate, ECR, CloudFormation och GitLab CI/CD Kvalitetsäkring hanteras med xUnit, Moq, enhetstester, smoke tests och separat evalueringsverktyg

Uppföljning och mätning av resultatet görs med telemetry dashboard, query events, svarskvalitet, fallback-rate och monitorering av svarstider.

En särskild utvärderingsapplikation togs fram för regressionstester. Den kan köra batchar av frågor mot en miljö, jämföra svar mot förväntade termer och följa upp exempelvis träffsäkerhet, fallback-beteende och svarstider.

Resultat och affärsnytta

Genom den skräddarsydda chatboten fick kunden en konkret plattform för att göra intern kunskap mer sökbar, tillgänglig och användbar i vardagen.

Lösningen bidrog till att:

• göra intern dokumentation enklare att använda genom naturliga frågor och svar
• avlasta support- och expertfunktioner från återkommande frågor
• ge svar som är grundade i godkända interna källor
• skapa spårbarhet kring användning, svarskvalitet och informationsluckor
• lägga en teknisk grund för fortsatt utveckling av AI-stöd i organisationen