Ljudguidesystem för museer

Ingen enskild modell pratar alla språk bra, så vi låtsas inte att någon gör det. Vår talsyntes är ett system med tre motorer och smart routing per språk: Chatterbox Turbo tar engelska med lägst latens, Chatterbox Multilingual täcker 20+ europeiska språk och Qwen3-TTS tar kinesiska, japanska och koreanska. Routern väljer rätt motor för varje språk automatiskt, så en kurator klickar "generera" en gång och backenden väljer bästa röstvägen under huven. Inget jonglerande med modeller, inga inställningar per språk hos museet.

Rå modellutdata går inte att publicera som den är, så vi byggde flödet kring de typiska felen. Långa stycken delas upp före syntesen så att modellerna inte hallucinerar eller glider iväg på längre text, och varje del rensas med ljudbearbetning, en brusspärr och trimning av tystnad, så att berättarrösten låter avsiktlig och inte maskinellt hopsydd. Sedan kommer delen som de flesta TTS-flöden hoppar över: verifiering. Varje klipp skickas tillbaka genom Whisper, som gör om talet till text, transkriptionen jämförs med originalmanuset och varje klipp som avviker flaggas så att en människa lyssnar på det innan det når en besökare. Genereringen är automatiserad, men att resultatet är rätt tar vi aldrig för givet.

Allt detta är vår egen kod på serverlösa GPU:er: PyTorch-modeller som styrs av backendens jobbköer, inte ett TTS-API från tredje part som vi säljer vidare. Resultatet är berättarröst i studiokvalitet på 20+ språk utan röstskådespelare, utan inspelningsbås och utan ett lokaliseringsprojekt som tar månader. Ett museum kan fylla en hel flerspråkig samling på den tid det förr tog att boka en enda inspelning, och varje minut ljud som publiceras är redan kontrollerad mot sitt manus.

Museo har många ytor som alla behöver samma sanning: besökarappen som skannar konstverk, Ambassador-appen som fyller på innehåll, den självbetjänade adminpanelen och flödena för igenkänning, beskrivningar och talsyntes som körs på GPU-servrar. Vi byggde backenden på Bun och Elysia just för att den ligger i den kritiska vägen för dem alla: snabb nog att inte bromsa en igenkänning på ~100 ms och strikt nog att hålla ordning på en produkt med många klienter som utvecklas i högt tempo. Drizzle ORM modellerar datan ovanpå PostgreSQL 18 och API:et är typsäkert hela vägen via Eden Treaty och OpenAPI, så Flutter-klienterna och Next.js-panelen använder exakt samma kontrakt som servern definierar. När ett fält ändras i backenden vet klienterna det redan vid kompileringen, inte från en buggrapport i produktion.

Eftersom Museo är en SaaS-plattform är den viktigaste regeln att inget museum någonsin kan se ett annat museums data. Multi-tenant-isoleringen upprätthålls i datalagret: varje fråga är avgränsad till sitt museum, så en skanning, en värmekarta i statistiken eller en innehållsändring stannar alltid inom rätt museum. Dessutom tar backenden hand om de gemensamma uppgifterna som resten av systemet inte ska uppfinna på nytt: Better Auth sköter konton och sessioner via Google, Apple och engångskoder (OTP) med bearer-tokens för apparna, PostGIS driver geodatafrågorna bakom "museer i närheten" i besökarappen och S3 lagrar varje foto och ljudklipp som plattformen skapar. Ett ställe för inloggning, ett för position, ett för lagring.

AI:n är den del som inte kan vara synkron, och backenden är det som gör att du inte märker det. Att känna igen ett konstverk, skriva en beskrivning, översätta den och skapa berättarröst i studiokvalitet på GPU-workers är långsamma, ojämna jobb som lätt går fel, så backenden kör dem genom BullMQ-köer på Redis i stället för att blockera en förfrågan. Den lägger jobb i kö, skickar dem vidare till flödena för igenkänning, beskrivningar och TTS, håller koll på status, försöker igen och lämnar tillbaka resultaten när de är klara. Det är precis det som låter en kurator klicka "generera" en gång och sedan gå därifrån. Samma kölager driver versionshanteringen av innehållet: när en prompt ändras och beskrivningar eller ljud blir inaktuella vet backenden vad som måste genereras om och schemalägger det. Apparna och AI-tjänsterna pratar aldrig direkt med varandra. De pratar med hjärnan, och hjärnan håller dem i synk.