skMTEB

SkMTEB je prvý komplexný benchmark na hodnotenie textových reprezentácií (embeddingov) v štýle MTEB pre slovenčinu – západoslovanský jazyk s obmedzenými zdrojmi a približne 5 miliónmi hovoriacich. Tento benchmark zahŕňa 31 súborov údajov rozdelených do 7 typov úloh, čím pokrýva takmer štvornásobne väčší rozsah než existujúce viacjazyčné benchmarky pre slovenčinu (v porovnaní s 8 úlohami v rámci MMTEB).