MiniMax-M3

MiniMax-M3 je natívny multimodálny model s 1 miliónom kontextu. Má ~428 miliárd parametrov a ~23 miliárd aktivovaných parametrov. Od prvého kroku prechádza tréningom zmiešanej modality, čo umožňuje hlbšiu sémantickú fúziu textu, obrázkov a videa. M3 zavádza MiniMax Sparse Attention (MSA) na zlepšenie efektivity dlhých kontextov. M3 prináša 9-násobné zrýchlenie preddopĺňania a 15-násobné zrýchlenie dekódovania v porovnaní s M2 pri 1 milióne kontextov, čím sa výpočtový čas na token znižuje na 1/20.