BGE-M3

BGE-M3 je nový embedovací model, ktorý sa vyznačuje svojou všestrannosťou v oblasti multilinguality, multifunkčnosti a multigranularity. Poskytuje jednotnú podporu pre sémantické vyhľadávanie viac ako 100 pracovných jazykov. Dokáže súčasne vykonávať tri bežné funkcie vyhľadávania: dense retrieval, multi-vector retrieval, and sparse retrieval. Okrem toho je tiež schopný spracovať vstupy rôznej granularity, od krátkych viet až po dlhé dokumenty s dĺžkou až 8 192 tokenov. Efektívne trénovanie M3-Vkladania predstavuje sériu technických prínosov: nový prístup k self-knowledge distillation , kde skóre relevantnosti z rôznych funkcií retrievalu možno integrovať ako signál učiteľa na zvýšenie kvality tréningu. Stratégia batchov bola tiež optimalizovaná tak, aby umožňovala veľkú veľkosť batchu a vysokú priepustnosť tréningu na zlepšenie rozlišovacej schopnosti embedingov.