Представлена DeepSeek V4, которая обходит алгоритмы OpenAI и Google
Китайский стартап DeepSeek представил новую языковую модель с открытым исходным кодом V4. Согласно тестам, она способна на равных конкурировать с закрытыми разработками от OpenAI и Google.
Разработчики из Ханчжоу выпустили сразу две версии программы. Флагманская модель V4-pro получила 1,6 триллиона параметров, став самым масштабным проектом компании. Вторая, более компактная версия V4-flash, содержит 284 млрд параметров. Чем больше параметров имеет система, тем она умнее, но при этом для работы таких сетей требуются огромные вычислительные мощности.
Обе новые модели обладают впечатляющим окном контекста в 1 миллион токенов. Это значит, что нейросеть способна за один запрос проанализировать и обработать гигантский массив текста. Для сравнения, прошлая версия программы удерживала в памяти только 128 тысяч токенов. Создатели заявляют, что смогли реализовать такие возможности при минимальных финансовых затратах.
На выход программы моментально отреагировали производители техники. Технологический гигант Huawei официально объявил о полной поддержке новых моделей DeepSeek на своих собственных процессорах Ascend и мощных суперкомпьютерах. Чуть позже о совместимости чипов с новой программой заявила и компания Cambricon Technologies.
Запустить старшую версию V4-pro на обычном домашнем компьютере не получится из-за ее невероятных размеров. Однако открытый технический документ с описанием архитектуры очень пригодится разработчикам по всему миру для создания своих аналогов. Младшая версия V4-flash уже доступна для работы, хотя запустить её в неизменном виде на домашнем «железе» будет также проблематично.
Но, вероятно, очень скоро энтузиасты представят свои квантованные версии этих нейросетей, в которых размеры весов сжимаются, из-за чего модели требуют меньше видеопамяти для запуска. Квантованную версию V4-flash, вероятно, можно будет запустить и на потребительском «железе», а вот для V4-pro, скорее всего, всё равно придётся арендовать облачный сервер с мощными графическими процессорами.