DeepSeek представила экспериментальную ИИ-модель с технологией «разреженного внимания»

Компания DeepSeek представила экспериментальную модель V3.2-Exp, которая использует технологию «разреженного внимания» (DeepSeek Sparse Attention) для работы с длинными контекстами при сниженных затратах на вычисления, пишет Bloomberg.

Технология DeepSeek Sparse Attention выбирает приоритетные фрагменты текста с помощью модуля lightning indexer и затем определяет конкретные токены через специальную систему. Такой подход позволяет моделям обрабатывать длинные последовательности почти линейно по числу выбранных токенов, а не квадратично по длине текста, снижая нагрузку на серверы и стоимость работы.

Модель V3.2-Exp рассчитана на задачи, где требуется учитывать тысячи токенов: анализ документов, программного кода и многошаговые научные рассуждения. В бенчмарках модель демонстрирует сопоставимые результаты с предшественником V3.1-Terminus и превосходит его в ряде сценариев, включая веб-поиск и генерацию кода.

Технология разреженного внимания делает модель интересной для корпоративных и исследовательских задач, требующих обработки больших объемов текста с минимальными затратами, отмечает Bloomberg.