Dense и MoE: что меняется на практике
Плотная модель считает все свои веса на каждый токен. MoE держит в памяти много «экспертов», но включает лишь несколько из них. Отсюда главное следствие: экономия идёт на вычислениях, а не на памяти. У открытого флагмана активны примерно 95 миллиардов параметров, а загрузить в память нужно 2.4 триллиона.
Поэтому MoE выигрывает там, где узкое место — скорость вывода, и проигрывает там, где не хватает памяти. Для домашнего узла это означает простую вещь: плотная модель до 8–14B работает предсказуемее, чем MoE, который постоянно выгружается на диск.
Смотрите не на число в имени, а на то, сколько весов обязано лежать в памяти одновременно.