Ako vzniká benchmark pre rozpoznávanie slovenskej reči

Pre angličtinu túto možnosť dáva Open ASR Leaderboard. Pre slovenčinu sme preto vytvorili Slovak ASR Benchmark, ktorý je dostupný na SLAIH. Tento článok však nie je o jeho výsledkoch. Chceme ním priblížiť, čo v skutočnosti obnáša vytvorenie dôveryhodného benchmarku a prečo je celý proces náročnejší a zaujímavejší, než sa zdá.

Prečo je audio náročnejšie ako text

Benchmarkovať jazykové modely na texte nie je triviálne, no rozpoznávanie reči pridáva ďalšiu vrstvu náročnosti, ktorá sa začína už pri samotných dátach. Slovenskej reči s prepismi je málo. Ku každej hodine zvuku treba overený ľudský prepis a náklady na prepis rastú lineárne s dĺžkou nahrávok. Ľudskú prácu nemožno obísť žiadnou skratkou: korpusy s pseudoprepismi (teda prepismi, ktoré vygeneroval model ASR, nie človek) sú na evaluáciu nepoužiteľné, pretože referenciou by bol výstup iného modelu so všetkými jeho chybami.

Menej zjavný problém je, že ani pri ľudskom prepise neexistuje iba jedna správna podoba. Tu je niekoľko príkladov, ktoré sa v našich dátach bežne vyskytujú:

• Dátumy a čísla. Rečník vysloví dátum. Prepis môže mať podobu „5. 3. 2026", „piateho marca 2026" alebo „piateho marca dvetisíc dvadsaťšesť". Všetky sú správne. A keďže slovenčina čísla skloňuje, nevyriešite to mechanickým prepisom číslic na slová: samotná „2" sa môže objaviť ako „dva", „dve", „dvoch" alebo „dvom" podľa kontextu.
• Skratky a odborný žargón. Rečník povie „spoločnosť s ručením obmedzeným", prepisovateľ napíše „s.r.o.". V nahrávkach z telco domény sa odborné pojmy objavujú vo formálnych aj hovorových podobách. Ktorú z nich považovať za správnu?
• Zaváhania a opakovania. Rečník sa zasekne a zopakuje slovo. Jedna prepisovacia konvencia opakovanie zachová, iná ho odstráni. Model, ktorý verne prepíše, čo odznelo, dostane oproti vyčistenému prepisu horšie hodnotenie, a naopak.

Práve preto normalizácia textu nie je len detailom spracovania dát. Je to kľúčové metodické rozhodnutie benchmarku: normalizátor určuje, čo sa počíta ako chyba a čo nie. Dva benchmarky s rovnakými dátami, ale odlišnými normalizátormi dajú odlišné čísla a môžu priniesť aj odlišné poradie modelov. Naše normalizačné pravidlá považujeme za súčasť metodiky a uplatňujeme ich rovnako na výstup každého modelu aj na každý referenčný prepis.

Jeden zdroj dát nestačí

Najdôležitejšie, čo treba brať do úvahy pri tvorbe benchmarku, je fakt, že jedno číslo vystihne silu modelu len vtedy, keď stojí na reprezentatívnych dátach. Chybovosť modelu totiž závisí od mnohých podmienok: od akustického prostredia, spôsobu nahrávania, štýlu reči aj slovnej zásoby rečníka. Každá testovacia množina je výber z tohto mnohorozmerného priestoru. Ak postavíme celý benchmark iba na jednom zdroji dát, popisujeme tým len malý a nereprezentatívny výsek celého priestoru. Výsledok síce môže byť veľmi presný, ak sú si všetky dáta podobné, no práve to je zradné: presné číslo pôsobí dôveryhodne, hoci v skutočnosti hovorí len o úzkom výseku. Preto hľadáme testovaciu množinu, ktorá čo najlepšie pokryje priestor „všetkých možností" nahrávok slovenskej reči.

Naše výsledky ukazujú, aké zavádzajúce to môže byť. Na čítanej reči sú Omnilingual ASR (omniASR) LLM 7B a Whisper large v3 prakticky vyrovnané, s chybovosťou na úrovni slov (WER) približne 19 až 20 percent. Ak by ste evaluovali len na korpusoch čítanej reči, ako sú Common Voice alebo FLEURS, teda presne ako väčšina viacjazyčných evaluácií, dospeli by ste k záveru, že tieto dva modely sú rovnocenné. Na spontánnej reči však omniASR klesá na 29 percent, kým Whisper sa drží na 18. Tieto modely nie sú vôbec rovnocenné. Jeden z nich len náhodou lepšie zodpovedá tej časti priestoru, ktorú ste vybrali.

Rovnaký jav vidno aj v rámci jedného modelu. GPT-4o Transcribe patrí na hovoroch zákazníckej podpory medzi tri najlepšie modely, no v celkovom poradí je v strede tabuľky a na nahrávkach z rokovaní samospráv dosahuje 31 percent chybovosti. Dokonca aj najsilnejší model v našom benchmarku, Google Chirp 3, sa naprieč doménami pohybuje vo vyše štvornásobnom rozpätí, od približne 3 percent na skriptovaných dialógoch zákazníckej podpory po 14 percent na nahrávkach zo samospráv. Jedno agregované číslo toto všetko zakryje.

Samotný spôsob agregácie je dôležité rozhodnutie s reálnymi dôsledkami. Ak jeden veľký korpus dominuje testovacej množine, naivný priemer je potom vlastne len benchmark tohto jedného korpusu. Staršia verzia našej evaluačnej množiny mala presne tento problém: jeden zdroj tvoril veľkú väčšinu vzoriek. Aktuálna verzia je postavená na stratifikovanom výbere naprieč doménou, pohlavím a typom reči, takže žiadny jednotlivý zdroj neurčuje výsledné číslo a každá vykazovaná dimenzia stojí na zmysluplnom množstve dát.

Dôležité dimenzie

Benchmark aktuálne člení výkon podľa viacerých osí: sedem domén (od nahrávok z parlamentu a samospráv cez dialógy zákazníckej podpory až po čítanú literatúru), typ reči (spontánna alebo čítaná), pohlavie rečníka a akustické podmienky. Pri poslednej z nich sú dve tretiny evaluačného zvuku augmentované piatimi typmi skreslenia (šum v pozadí, reč v pozadí, biely šum, strata paketov, šum telefónneho kanála) na dvoch úrovniach intenzity. Ide o zámerné rozhodnutie: naše celkové výsledky zahŕňajú aj zhoršený zvuk, takže sú úmyselne náročnejšie než výsledky na čistej reči a nie sú priamo porovnateľné s číslami, ktoré uvádzajú dodávatelia. Skutoční používatelia volajú z hlučných ulíc, nie z nahrávacích štúdií.

Metriky sme volili špecificky pre slovenčinu. WER je štandardná metrika, no slovenčina je morfologicky bohatá, takže pri mnohých slovných chybách ide len o jediný nesprávny znak v ohýbacej koncovke. Preto popri WER vykazujeme aj chybovosť na úrovni znakov (CER): Chirp 3 má napríklad WER približne 11 percent, ale CER pod 5 percent, a tento rozdiel spôsobuje väčšinou morfológia, nie zlé pochopenie nahrávky. Pre aplikácie, kde záleží na číslach, pridávame chybovosť na úrovni číselných postupností (DSER), ktorá celú číselnú postupnosť, napríklad telefónne číslo, pokladá za nesprávnu, ak nesedí čo i len jedna číslica. Najlepšie modely zlyhajú približne na jednej z piatich číselných postupností a väčšina zlyháva ešte častejšie, čo by mal mať na pamäti každý, kto automatizuje procesy v kontaktných centrách.

Rovnako otvorene hovoríme aj o tom, čo benchmark zatiaľ nepokrýva: vek rečníka, tempo reči, regionálne nárečia a reálne (nie syntetické) akustické prostredia. Syntetická augmentácia je užitočná náhrada, no má svoje hranice. Nedokáže reprodukovať dozvuk ani prekrývajúcich sa rečníkov a predovšetkým nedokáže zachytiť to, ako ľudia v hluku skutočne rozprávajú: rečníci v hlučnom prostredí mimovoľne zvyšujú hlas, spomaľujú a menia výšku tónu, čo je jav známy ako Lombardov efekt. Ak k čistej štúdiovej nahrávke pridáte šum, dostanete zašumený zvuk pokojnej reči, čo nie je to isté ako reč vzniknutá na hlučnom mieste.

Špička ľadovca

Tabuľka na SLAIH je dnes len prehľadom: agregované metriky nad celou evaluačnou množinou. Za ňou sú členenia podľa domény, typu reči a typu šumu, o ktorých sme hovorili vyššie, a postupne plánujeme zverejniť viac takýchto pohľadov. Niektoré zistenia už presahujú výber modelu. Samotná veľkosť modelu nedostatok dát nevyrieši: v rámci rodiny omniASR zväčšenie modelu z 300 miliónov na 7 miliárd parametrov zníži WER len z 33 na 26 percent, čo je stále horšie než oveľa menší Whisper large v3 s 19 percentami. Naše interné experimenty s dotrénovaním modelov na slovenských dátach pritom znižujú chybovosť naprieč architektúrami približne na polovicu. Pri slovenčine sú teda limitujúcim faktorom dáta, nie kapacita modelu. Dotrénovaným modelom preto pripravujeme samostatný benchmark: do tohto ich nezaraďujeme, lebo boli dotrénované na dátach z podobných zdrojov a domén ako testovacia množina (hoci nikdy nevideli konkrétne testovacie nahrávky), a táto zhoda distribúcie im dáva náskok, ktorý by priame porovnanie skresľoval.

Benchmark takéhoto rozsahu nedokáže jeden tím postaviť sám a v našej práci sa o tom presviedčame opakovane. SkMTEB, slovenský benchmark pre textové embeddingy prijatý na ACL 2026, vyrástol zo spolupráce KInIT s akademickými partnermi z Technickej Univerzity v Košiciach a Univerzity Komenského. Náš benchmark rozpoznávania reči začal ako spolupráca s priemyselným partnerom a jeho ďalšia iterácia vzniká spoločne s akademickými partnermi, ktorí prispievajú dátami a vedeckou odbornosťou. Iné projekty, iní partneri, rovnaké ponaučenie: pre jazyk veľkosti slovenčiny je spolupráca medzi výskumnými inštitúciami, univerzitami a firmami jediný spôsob, ako vznikajú špičkové jazykové zdroje.

Ak máte dáta slovenskej reči alebo model, ktorý chcete dať vyhodnotiť, ozvite sa nám: contact@slaih.sk.