DeepSeek-V3 теперь работает с 20 токенами в секунду в Mac Studio, и это кошмар для Openai

Китайский AI Startup DeepSeek тихо выпустил новую крупную языковую модель, которая уже отправляет рябь через индустрию искусственного интеллекта — не только для ее возможностей, но и за то, как она развертывается. Модель 641-гигабайта, получившая название DeepSeek-V3-0324, появилась сегодня в репозитории AI, обнимающего лицо, практически без объявлений, продолжая схему сдержанных, но эффективных выпусков компании.

Что делает этот запуск особенно примечательным, так это лицензия MIT модели, что делает ее свободно доступным для коммерческого использования, и ранние отчеты, которые могут работать непосредственно на оборудовании потребительского уровня, в частности Apple Mac Studio с M3 Ultra Chip.

Новый Deep Seek v3 0324 в 4-битных пробегах на> 20 Toks/Sec на 512 ГБ M3 Ultra с MLX-LM! pic.twitter.com/wfvrfcxgs6

— Awni Hannun (@awnihannun) 24 марта 2025 года

«Новый DeepSeek-V3-0324 в 4-битных пробегах на> 20 токенах/секунду на 512 ГБ M3 Ultra с MLX-LM!» написал исследователь ИИ Ауни Ханнун в социальных сетях. В то время как Mac Studio за 9 499 долл. США может расширить определение «потребительского оборудования», способность запускать такую ​​огромную модель локально является основным отходом от требований центра обработки данных, обычно связанных с современным ИИ.

Стратегия запуска DeepSeek Stealth Begrating нарушает ожидания рынка искусственных технологий

Модель на 685 миллиардов параметра появилась без сопроводительного белого документа, сообщения в блоге или маркетинга-просто пустой файл Readme и сами модель. Этот подход резко контрастирует с тщательно организованным продуктом, типичным для западных компаний искусственного интеллекта, где месяцы шумиха часто предшествуют фактическим выпускам.

Ранние тестеры сообщают о значительных улучшениях по сравнению с предыдущей версией. Исследователь ИИ Ксеофон провозгласил в посте на x.com: «Протестировал новый DeepSeek V3 на моей внутренней скамейке, и он имеет огромный скачок во всех показателях на всех тестах. Теперь это лучшая модель, не связанная с Resision, сверкает сонет 3.5».

Протестировал новый DeepSeek V3 на моей внутренней скамейке, и он имеет огромный прыжок во всех показателях на всех тестах.
Сейчас это лучшая модель, не относящаяся к RiseSeing, сверкает сонет 3.5.

Поздравляю @deepseek_ai! pic.twitter.com/efeu2fqsbe

— Xeophon (@ThexeoPhon) 24 марта 2025 года

Это утверждение, если она будет подтверждена более широким тестированием, будет позиционировать новую модель Deepseek выше Claude Sonnet 3.5 из Anpropic, одной из наиболее уважаемых коммерческих систем ИИ. И в отличие от сонета, которая требует подписки, веса DeepSeek-V3-0324 свободно доступны для всех для загрузки и использования.

Как DeepSeek V3-0324 Прорывная архитектура достигает непревзойденной эффективности

DeepSeek-V3-0324 использует архитектуру смеси экспертов (MOE), которая в корне переосмысливает, как работают крупные языковые модели. Традиционные модели активируют весь их количество параметров для каждой задачи, но подход Deepseek активирует только около 37 миллиардов из его 685 миллиардов параметров во время конкретных задач.

Эта селективная активация представляет собой сдвиг парадигмы в эффективности модели. Активируя только самые релевантные «экспертные» параметры для каждой конкретной задачи, DeepSeek достигает производительности, сравнимой с гораздо более крупными полностью активированными моделями, одновременно резко снижая вычислительные требования.

Модель включает в себя две дополнительные прорывные технологии: мультиголовое скрытое внимание (MLA) и многократный прогноз (MTP). MLA повышает способность модели поддерживать контекст по длинным отрывкам текста, в то время как MTP генерирует несколько токенов на шаг вместо обычного подхода в один раз. Вместе эти инновации повышают скорость выхода почти на 80%.

Саймон Уиллисон, создатель разработчиков инструментов, отметил в сообщении в блоге, что 4-битная квантовая версия уменьшает след хранения до 352 ГБ, что делает его возможной для работы на высококачественном потребительском оборудовании, таком как Mac Studio с M3 Ultra Chip.

Это представляет собой потенциально значительный сдвиг в развертывании ИИ. В то время как традиционная инфраструктура искусственного интеллекта обычно опирается на множественные графические процессоры NVIDIA, потребляющие несколько киловатт власти, Mac Studio привлекает менее 200 Вт во время вывода. Этот разрыв в эффективности предполагает, что индустрия ИИ может потребоваться переосмыслить предположения о требованиях к инфраструктуре для производительности модели высшего уровня.

Китайская революция с открытым исходным кодом бросает вызов модели закрытого сада в Силиконовой долине

Стратегия выпуска Deepseek иллюстрирует фундаментальную дивергенцию в философии бизнеса искусственного искусства между китайскими и западными компаниями. В то время как американские лидеры, такие как Openai и Anpropic, поддерживают свои модели за Paywalls, китайские компании искусственного интеллекта все чаще используют разрешающее лицензирование с открытым исходным кодом.

Этот подход быстро преобразует экосистему ИИ в Китае. Открытая доступность передовых моделей создает эффект множителя, что позволяет стартапам, исследователям и разработчикам опираться на сложные технологии ИИ без массовых капитальных затрат. Это ускорило возможности ИИ в Китае темпами, которые шокировали западных наблюдателей.

Бизнес -логика этой стратегии отражает рыночные реалии в Китае. Благодаря нескольким хорошо финансируемым конкурентам, поддержание запатентованного подхода становится все труднее, когда конкуренты предлагают аналогичные возможности бесплатно. Открытый источник создает альтернативные пути ценности с помощью лидерства экосистемы, услуг API и корпоративных решений, созданных на свободно доступных моделях фундамента.

Даже созданные китайские технологические гиганты признали этот сдвиг. Baidu объявила о планах сделать свою серию Ernie 4.5 серии моделей к июню, в то время как Alibaba и Tencent выпустили модели искусственного интеллекта с открытым исходным кодом со специализированными возможностями. Это движение резко контрастирует с API-ориентированной стратегией, используемой западными лидерами.

Подход с открытым исходным кодом также решает уникальные проблемы, с которыми сталкиваются китайские компании искусственного интеллекта. Благодаря ограничениям на доступ к передовым чипам NVIDIA, китайские фирмы подчеркнули эффективность и оптимизацию для достижения конкурентной работы с более ограниченными вычислительными ресурсами. Это инновации, основанные на необходимости, теперь стали потенциальным конкурентным преимуществом.

DeepSeek V3-0324: Основа для революции рассуждений с ИИ

Время и характеристики DeepSeek-V3-0324 настоятельно предполагают, что оно будет послужить основой для DeepSeek-R2, улучшенной модели, ориентированной на рассуждения, ожидаемой в течение следующих двух месяцев. Это следует за установленным шаблоном DeepSeek, где его базовые модели предшествуют специализированным моделям рассуждений на несколько недель.

«Это связано с тем, как они выпустили V3 в Рождество, за которым последовало R1 несколько недель спустя. По слухам R2 для апреля, так что это может быть», — отметил пользователь Reddit MxForest.

Последствия передовой модели рассуждений с открытым исходным кодом не могут быть переоценены. Современные модели рассуждений, такие как O1 Operai и R1 Deepseek, представляют собой передний край возможностей ИИ, демонстрируя беспрецедентные способности к решению проблем в областях от математики до кодирования. Создание этой технологии свободно доступной демократизирует доступ к системам искусственного интеллекта, в настоящее время ограниченным теми с существенными бюджетами.

Потенциальная модель R2 появляется на фоне значительных откровений о вычислении моделей рассуждений. Генеральный директор NVIDIA Дженсен Хуан недавно отметил, что модель DeepSeek R1 «потребляет в 100 раз больше вычислительного искусства, чем не взволнованного искусственного интеллекта», противоречит более ранним отраслевым предположениям об эффективности. Это показывает замечательное достижение моделей DeepSeek, которые обеспечивают конкурентную эффективность, работая при более высоких ограничениях ресурсов, чем их западные коллеги.

Если DeepSeek-R2 следует по траектории, установленной R1, это может представить прямую задачу GPT-5, следующую флагманскую модель Openai, по слухам, для выпуска в ближайшие месяцы. Контраст между закрытым, широко финансируемым подходом Openai и открытой, экономичной стратегией Deepseek представляет собой два конкурирующих видения на будущее ИИ.

Как испытать DeepSeek V3-0324: Полное руководство для разработчиков и пользователей

Для тех, кто хочет экспериментировать с DeepSeek-V3-0324, существует несколько путей в зависимости от технических потребностей и ресурсов. Полные веса модели доступны от обнимающего лица, хотя размер 641 ГБ делает прямую загрузку практичной только для тех, у кого есть существенные хранилища и вычислительные ресурсы.

Для большинства пользователей облачные параметры предлагают наиболее доступную точку входа. OpenRouter предоставляет бесплатный доступ к модели API с удобным для пользователя интерфейс чата. Просто выберите DeepSeek V3 0324 в качестве модели, чтобы начать экспериментирование.

Собственный интерфейс чата DeepSeek на чате. Deepseek.com, вероятно, также был обновлен до новой версии, хотя компания явно не подтвердила это. Ранние пользователи сообщают, что модель доступна через эту платформу с улучшением производительности по сравнению с предыдущими версиями.

Разработчики, стремящиеся интегрировать модель в приложения, могут получить к ней доступ с помощью различных поставщиков выводов. Hyperbolic Labs объявила о немедленной доступности как «первого поставщика выводов, обслуживающего эту модель по обнимающему лицу», в то время как OpenRouter предлагает API Access, совместимый с SDK OpenAI.

DeepSeek-V3-0324 теперь живет на гиперболике?

В Hyperbolic мы стремимся предоставить новейшие модели с открытым исходным кодом, как только они будут доступны. Это наше обещание сообществу разработчиков.

Начните сделать вывод сегодня. pic.twitter.com/495xf6kofa

— гиперболический (@hyperbolic_labs) 24 марта 2025 года

Новая модель DeepSeek отдает приоритет технической точностью по сравнению с разговорным теплом

Ранние пользователи сообщили о заметном сдвиге в стиле связи модели. В то время как предыдущие модели DeepSeek были высоко оценены за их разговорную, человеческую тонус, «V3-0324» представляет более формальную, технически ориентированную персону.

«Это только я или эта версия чувствует себя менее человеческой?» спросил пользователь reddit nother_level. «Для меня то, что выделяло DeepSeek V3 от других, это то, что это было больше похоже на человека. Как тон, слова и такие, как роботизированные звучали, как другие LLM, но теперь с этой версией, как и другие LLM, звучащие роботизированные AF».

Другой пользователь, FellowHeavy6724, добавил: «Да, он наверняка потерял свое отчуждение, он чувствует себя слишком интеллектуально для своего блага».

Этот сдвиг личности, вероятно, отражает преднамеренный выбор дизайна инженеров Deepseek. Движение к более точному, аналитическому стилю коммуникации предполагает стратегическое перемещение модели для профессиональных и технических приложений, а не случайных разговоров. Это согласуется с более широкими отраслевыми тенденциями, поскольку разработчики ИИ все чаще признают, что различные варианты использования получают выгоду от различных стилей взаимодействия.

Для разработчиков, создающих специализированные приложения, этот более точный стиль связи может фактически представлять преимущество, обеспечивая более четкие и более последовательные результаты для интеграции в профессиональные рабочие процессы. Тем не менее, это может ограничить привлекательность модели для приложений, ориентированных на клиента, где ценится тепло и доступность.

Как стратегия с открытым исходным кодом Deepseek перерисовывает глобальный ландшафт ИИ

Подход DeepSeek к развитию и распространению искусственного интеллекта представляет собой нечто большее, чем техническое достижение — он воплощает в себе принципиально иное видение того, как передовые технологии должны распространяться через общество. Сделав передовый ИИ свободным доступным под разрешающим лицензированием, DeepSeek позволяет экспоненциальному инновациям, которые закрывают модели по своей природе.

Эта философия быстро закрывает воспринимаемый разрыв ИИ между Китаем и Соединенными Штатами. Всего несколько месяцев назад большинство аналитиков оценили, что Китай отставал на 1-2 года позади нас возможностей ИИ. Сегодня этот разрыв резко сократился до, возможно, 3-6 месяцев, и некоторые области приближаются к паритету или даже китайскому лидерству.

Параллели с влиянием Android на мобильную экосистему поразительны. Решение Google сделать Android свободно доступным создал платформу, которая в конечном итоге достигла доминирующей доли мирового рынка. Аналогичным образом, модели ИИ с открытым исходным кодом могут преодолеть закрытые системы через чистое повсеместное распространение и коллективное инновации тысяч участников.

Последствия простираются за пределы рыночной конкуренции до фундаментальных вопросов о доступе к технологиям. Западные лидеры искусственного интеллекта все больше сталкиваются с критикой за то, что они концентрировали усовершенствованные возможности среди хорошо ресурсованных корпораций и отдельных лиц. Подход DeepSeek распределяет эти возможности более широко, потенциально ускоряя глобальное принятие ИИ.

Поскольку DeepSeek-V3-0324 попадает в исследовательские лаборатории и рабочие станции разработчиков по всему миру, конкуренция больше не просто о создании самого мощного ИИ, а о том, чтобы позволить большинству людей строить с ИИ. В этой гонке тихой выпуск Deepseek говорит о будущем искусственного интеллекта. Компания, которая наиболее свободно разделяет свою технологию, может в конечном итоге оказывать наибольшее влияние на то, как ИИ меняет наш мир.