Audioguidesystem til museer

Ingen enkelt model taler alle sprog godt, så vi lader ikke, som om én gør. Vores talesyntese er et system med tre motorer og smart routing pr. sprog: Chatterbox Turbo klarer engelsk med den laveste latenstid, Chatterbox Multilingual dækker 20+ europæiske sprog, og Qwen3-TTS tager kinesisk, japansk og koreansk. Routeren vælger automatisk den rigtige motor til hvert sprog, så en kurator klikker "generér" én gang, og backenden vælger den bedste stemmevej under motorhjelmen. Ingen jonglering med modeller, ingen opsætning pr. sprog hos museet.

Rå output fra modellen kan ikke udgives, som det er, så vi byggede pipelinen op om de typiske fejl. Lange afsnit deles op før syntesen, så modellerne ikke hallucinerer eller glider ud på længere tekst, og hver bid renses med lydbehandling, en noise gate og trimning af stilhed, så fortællingen lyder bevidst og ikke maskinelt klistret sammen. Så kommer den del, de fleste TTS-pipelines springer over: verificering. Hvert klip sendes tilbage gennem Whisper, der omsætter talen til tekst, transskriptionen sammenlignes med det originale manus, og hvert klip, der afviger, markeres, så et menneske lytter til det, før det når en besøgende. Genereringen er automatiseret, men at resultatet er korrekt, tager vi aldrig for givet.

Alt det her er vores egen kode på serverless GPU: PyTorch-modeller styret af backendens jobkøer, ikke et TTS-API fra en tredjepart, som vi videresælger. Resultatet er fortælling i studiekvalitet på 20+ sprog uden stemmeskuespillere, uden lydstudier og uden et lokaliseringsprojekt, der tager måneder. Et museum kan fylde en hel flersproget samling på den tid, det før tog at booke én enkelt indspilning, og hvert minut lyd, der udgives, er allerede tjekket mod sit manus.

Museo har mange flader, der alle skal bruge den samme kilde til sandhed: besøgsappen, der scanner kunstværker, Ambassador-appen, der fylder indhold på, det selvbetjente adminpanel og pipelines til genkendelse, beskrivelser og talesyntese, der kører på GPU-servere. Vi byggede backenden på Bun og Elysia, netop fordi den ligger i den kritiske vej for dem alle: hurtig nok til ikke at bremse en genkendelse på ~100 ms og stram nok til at holde styr på et produkt med mange klienter, der udvikles i højt tempo. Drizzle ORM modellerer data oven på PostgreSQL 18, og API'et er typesikkert hele vejen via Eden Treaty og OpenAPI, så Flutter-klienterne og Next.js-panelet bruger præcis de samme kontrakter, som serveren definerer. Når et felt ændres i backenden, ved klienterne det allerede ved kompilering, ikke fra en fejlrapport i produktion.

Fordi Museo er en SaaS-platform, er den vigtigste regel, at intet museum nogensinde kan se et andet museums data. Multi-tenant-isolering håndhæves i datalaget: hver forespørgsel er afgrænset til sit eget museum, så en scanning, et heatmap i statistikken eller en ændring i indholdet altid bliver inden for det rigtige museums grænser. Oven i det tager backenden sig af de fælles opgaver, som resten af systemet ikke skal opfinde igen: Better Auth håndterer konti og sessioner via Google, Apple og engangskoder (OTP) med bearer-tokens til apps, PostGIS driver geoforespørgslerne bag "museer i nærheden" i besøgsappen, og S3 gemmer hvert foto og lydklip, platformen skaber. Ét sted til login, ét sted til placering, ét sted til lagring.

AI'en er den del, der ikke kan køre synkront, og backenden er det, der gør, at du ikke mærker det. At genkende et kunstværk, skrive en beskrivelse, oversætte den og lave fortælling i studiekvalitet på GPU-workers er langsomme, ujævne jobs, der let fejler, så backenden kører dem gennem BullMQ-køer på Redis i stedet for at blokere en forespørgsel. Den sætter arbejdet i kø, sender det videre til pipelines for genkendelse, beskrivelser og TTS, følger status, prøver igen og leverer resultaterne, når de er klar. Det er netop det, der lader en kurator klikke "generér" én gang og gå fra skærmen. Det samme kølag driver versioneringen af indhold: når en prompt ændres, og beskrivelser eller lyd bliver forældede, ved backenden, hvad der skal genereres igen, og planlægger det. Apps og AI-tjenester taler aldrig direkte med hinanden. De taler med hjernen, og hjernen holder dem i sync.