Atlas и открытые модели: своя нейросеть в вашем контуре

Из чего состоит решение

• СерверAtlas 800I A3 или A2: 8 процессоров Ascend, по 128 ГБ памяти на процессор у A3 и по 64 ГБ у A2.
• Запуск моделиДвижок vLLM Ascend. Это проект сообщества с открытым кодом, у него опубликованы инструкции для Atlas. Модель сжимают инструментом ModelSlim.
• МодельОткрытые веса, например DeepSeek V4.1 Flash, которые компания скачивает и запускает у себя.
• ДанныеЗапросы и документы остаются внутри контура. Хранение обеспечивает СХД, например OceanStor Dorado.

DeepSeek V4.1 Flash

Модель работает с текстом и изображениями, контекст до 1 млн токенов. Репозиторий и веса распространяются по лицензии MIT, поэтому коммерческое использование разрешено при сохранении уведомления об авторстве. В карточке указано 552 млрд параметров основной части, в метаданных репозитория 763 млрд. Карточка модели.

Какое оборудование нужно

Документация vLLM Ascend описывает запуск V4.1 Flash в сжатом виде W8A8 на Atlas 800 A3 и A2. Ветки документа расходятся: в одной это один сервер A3, в другой два сервера A3 или четыре A2. Поэтому конфигурацию считаем под вашу нагрузку. Документация.

Опубликованных замеров скорости для этой модели на Atlas мы не нашли: в документации сказано, что производственный показатель пока не опубликован. Скорость лучше проверять тестом на ваших задачах.

Что значит «открытая модель»

Открытые веса позволяют запускать и дообучать модель у себя без оплаты за запросы. Это не значит, что открыты данные обучения. Условия для каждой модели свои, их нужно проверять по лицензии конкретной версии.

Что важно понимать

Локальный запуск сам по себе не выполняет требования 152-ФЗ: нужны разграничение доступа, журналы и защита данных. Условия поставки оборудования и применимые ограничения проверяются отдельно по каждому проекту.