Benchmarky

Slovak Massive Text Embedding Benchmark - hodnotí modely pre vektorové reprezentácie textu v slovenčine naprieč 31 datasetmi a 7 typmi úloh: vyhľadávanie, klasifikácia, zhlukovanie, preraďovanie, STS, bitext mining a klasifikácia dvojíc.

Tento benchmark hodnotí Speech-to-Text (STT) modely na slovenských dátach. Hlavným cieľom je posúdiť výkonnosť dostupných riešení prevodu reči na text špecificky v slovenskom jazyku. Väčšina dostupných zdrojov na túto tému (napr. Open ASR Leaderboard) sa zameriava buď na anglický jazyk, alebo na viacjazyčné datasety zoskupujúce mnoho jazykov, z ktorých väčšina je pre náš prípad použitia irelevantná. Slovenčina zvyčajne nie je zahrnutá v jazykovom mixe alebo tvorí len niekoľko percent hodnotených údajov. Preto prezentujeme robustný benchmark, ktorý sa zameriava na slovenčinu.

Slovak Language Evaluation Protocol - prvý komplexný benchmark špeciálne navrhnutý na hodnotenie modelov porozumenia slovenského jazyka (NLU). Zahŕňa klasifikáciu tokenov, úlohy párov viet a klasifikáciu dokumentov.