" Согласно сообщению Bloomberg, Ant Group применила подход, MoE, который предполагает разделение задач на более мелкие наборы данных, что делает процесс обучения более эффективным.
Утверждается, что результаты, полученные с использованием китайских чипов, сопоставимы с теми, что достигаются с Nvidia H800 — чипом, который, хотя и не является самым передовым в линейке Nvidia, остается мощным решением, недоступным для Китая из-за экспортных ограничений. 11 марта 2025 года Ant Group выпустили эту статью, которая может быть основой их результатов.
Ant оценила стоимость обучения моделей на 1 триллион токенов (единиц информации, которые модель обрабатывает для обучения) в 6,35 миллиона юаней (~$ 880тыс) с использованием высокопроизводительного оборудования, их подход с менее мощными чипами снизил эту цифру до 5,1 миллиона юаней. Китайские компании, такие как Huawei и Alibaba, активно развивают собственные полупроводники, чтобы снизить зависимость от иностранных технологий.
Например, Huawei продвигает свои чипы Ascend, такие как 910B и 910C, которые позиционируются как конкуренты Nvidia H100, хотя их программная экосистема все еще уступает западным аналогам.
