" 29 июня компания Inflection AI из Пало-Альто объявила о завершении сбора средств на сумму 1,3 миллиарда долларов под руководством Microsoft, Рида Хоффмана, Билла Гейтса, Эрика Шмидта и Nvidia.
Новый капитал будет частично направлен на создание кластера графических процессоров Nvidia H100 Tensor на 22 000 единиц, который, по утверждению компании, будет крупнейшим в мире. Графические процессоры будут использоваться для разработки крупномасштабных моделей искусственного интеллекта.
«По нашим оценкам, если бы мы вошли в наш кластер в недавнем списке суперкомпьютеров TOP500, он был бы вторым и близким к первой строчке, несмотря на то, что он оптимизирован для ИИ, а не для научных приложений», – пишут разработчики.
Inflection AI также разрабатывает свою собственную персональную вспомогательную систему искусственного интеллекта, получившую название «Pi». Фирма пояснила, что Pi является «учителем, тренером, доверенным лицом, творческим партнером и резонирующим органом», доступ к которому можно получить напрямую через социальные сети или WhatsApp.
Общий объем финансирования компании достиг 1,525 миллиарда долларов с момента ее создания в начале 2022 года.
Несмотря на растущие инвестиции в крупные модели ИИ, эксперты предупреждают, что фактическая эффективность их обучения может быть серьезно ограничена текущими технологическими ограничениями. В одном примере, приведенном сингапурским венчурным фондом Foresight, исследователи написали, сославшись на пример большой модели ИИ со 175 миллиардами параметров, хранящей 700 ГБ данных:
«Предполагая, что у нас есть 100 вычислительных узлов, и каждый узел должен обновлять все параметры на каждом этапе, каждый шаг потребует передачи около 70 ТБ данных (700 ГБ * 100). Если мы оптимистично предположим, что каждый шаг занимает 1 секунду, то в секунду потребуется передавать 70 ТБ данных. Такой спрос на пропускную способность намного превышает пропускную способность большинства сетей».
Продолжая приведенный выше пример, Foresight также предупредил, что «из-за задержки связи и перегрузки сети время передачи данных может намного превышать 1 секунду», а это означает, что вычислительные узлы могут тратить большую часть своего времени на ожидание передачи данных вместо выполнения реальных вычислений. Аналитики Foresight пришел к выводу, что, учитывая текущие ограничения, решение заключается в небольших моделях ИИ, которые «легче развертывать и управлять».
«Во многих сценариях приложений пользователям или компаниям не нужны более универсальные возможности рассуждений больших языковых моделей, они сосредоточены только на очень точной цели прогнозирования», – резюмирует Foresight.
