Lydguidesystem for museer

Ingen enkeltmodell snakker alle språk godt, så vi later ikke som om én gjør det. Talesyntesen vår er et system med tre motorer og smart ruting per språk: Chatterbox Turbo tar engelsk med lavest forsinkelse, Chatterbox Multilingual dekker 20+ europeiske språk, og Qwen3-TTS tar kinesisk, japansk og koreansk. Ruteren velger riktig motor for hvert språk automatisk, så en kurator klikker "generer" én gang, og backenden velger den beste stemmeveien under panseret. Ingen sjonglering av modeller, ikke noe oppsett per språk hos museet.

Rå modellutdata kan ikke publiseres som de er, så vi bygde pipelinen rundt de typiske feilene. Lange avsnitt deles opp før syntesen, så modellene ikke hallusinerer eller sklir ut på lengre tekst, og hver bit renses med lydbehandling, en støyport og trimming av stillhet, så fortellingen høres bevisst ut og ikke maskinelt skjøtet sammen. Så kommer delen de fleste TTS-pipelines hopper over: verifisering. Hvert klipp sendes tilbake gjennom Whisper, som gjør talen om til tekst, transkripsjonen sammenlignes med originalmanuset, og hvert klipp som avviker, flagges slik at et menneske lytter på det før det når en besøkende. Genereringen er automatisert, men at resultatet er riktig, tar vi aldri for gitt.

Alt dette er vår egen kode på serverløse GPU-er: PyTorch-modeller styrt av backendens jobbkøer, ikke et TTS-API fra en tredjepart som vi videreselger. Resultatet er fortelling i studiokvalitet på 20+ språk uten stemmeskuespillere, uten innspillingsbåser og uten et lokaliseringsprosjekt som tar måneder. Et museum kan fylle en hel flerspråklig samling på den tiden det før tok å avtale én eneste innspilling, og hvert minutt med lyd som publiseres, er allerede sjekket mot manuset.

Museo har mange flater som trenger én felles sannhet: besøksappen som skanner kunstverk, Ambassador-appen som fyller på innhold, det selvbetjente adminpanelet og pipelinene for gjenkjenning, beskrivelser og talesyntese som kjører på GPU-servere. Vi bygde backenden på Bun og Elysia nettopp fordi den ligger i den kritiske stien for alle sammen: rask nok til ikke å bremse en gjenkjenning på ~100 ms, og streng nok til å holde orden på et produkt for mange kunder som utvikles i høyt tempo. Drizzle ORM modellerer dataene over PostgreSQL 18, og API-et er typesikkert hele veien via Eden Treaty og OpenAPI, så Flutter-klientene og Next.js-panelet bruker nøyaktig de samme kontraktene som serveren definerer. Når et felt endres i backenden, vet klientene det allerede ved kompilering, ikke fra en feilrapport i produksjon.

Fordi Museo er en SaaS-plattform, er den viktigste regelen at ingen museer noen gang kan se et annet museums data. Multi-tenant-isolering håndheves i datalaget: hver spørring er avgrenset til sitt museum, så en skanning, et varmekart i statistikken eller en innholdsendring alltid holder seg innenfor riktig museum. I tillegg tar backenden seg av de felles oppgavene resten av systemet ikke skal finne opp på nytt: Better Auth håndterer kontoer og økter via Google, Apple og engangskoder (OTP) med bearer-tokens for appene, PostGIS driver geodataspørringene bak "museer i nærheten" i besøksappen, og S3 lagrer hvert bilde og lydklipp plattformen lager. Ett sted for innlogging, ett sted for posisjon, ett sted for lagring.

KI-en er den delen som ikke kan være synkron, og backenden er det som gjør at du ikke merker det. Å gjenkjenne et kunstverk, skrive en beskrivelse, oversette den og lage fortelling i studiokvalitet på GPU-workere er trege, ujevne jobber som lett feiler, så backenden kjører dem gjennom BullMQ-køer på Redis i stedet for å blokkere en forespørsel. Den legger arbeid i kø, sender det videre til pipelinene for gjenkjenning, beskrivelser og TTS, følger med på status, prøver på nytt og leverer resultatene når de er klare. Det er nettopp det som lar en kurator klikke "generer" én gang og gå fra maskinen. Det samme kølaget driver versjoneringen av innhold: når en prompt endres og beskrivelser eller lyd blir utdaterte, vet backenden hva som må genereres på nytt, og planlegger det. Appene og KI-tjenestene snakker aldri direkte med hverandre. De snakker med hjernen, og hjernen holder dem i synk.