В исследовательской статье «Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights» группа исследователей из Стэнфорда (включая автора DSPy Омара Хаттаба) показала качественный фазовый переход: флагманская reasoning-модель GPT-6 Astra способна понимать семантику сырых числовых тензоров нейросетей и целенаправленно переписывать их в памяти без градиентного спуска, без бэкпропа и без запуска традиционных тренировочных циклов.
Всю историю глубокого обучения веса оптимизировались с помощью стохастических алгоритмов (SGD, Adam, Muon), кодирующих базовые индуктивные смещения через градиенты функции потерь. Концепция Weight-Space Programming переносит оптимизацию в плоскость прямой компиляции и семантического редактирования весового пространства.
Проблема: зацикливание рассуждений в малых reasoning-моделях
Компактные модели с поддержкой цепочек рассуждений (thinking models) страдают от критического дефекта инференса — зацикливания мыслей (reasoning loops). Модель входит в рекурсивный семантический цикл, бесконечно повторяя вариации одного и того же шага доказательства, пока не упрется в контекстный лимит.
В официальной карточке модели Qwen3.5-0.8B разработчики отдельно отмечают склонность архитектуры к патологическим петлям генерации. При стандартных параметрах сэмплинга (temperature 0.6, top-p 0.95, top-k 20) на бенчмарке MATH-500 базовый Qwen3.5-0.8B упирался в лимит 32 768 токенов в 93% тестовых задач, демонстрируя итоговую точность всего 7.9%.
Традиционное решение этой проблемы потребовало бы сбора датасета пар «зацикливание / корректный выход», сложного DPO/RL-пайплайна и сотен GPU-часов обучения с постоянным риском катастрофического забывания (catastrophic forgetting) в смежных задачах.
Эксперимент: локализация и хирургический патч весов через GPT-6 Astra
В эксперименте исследователи предоставили GPT-6 Astra доступ к сессии Python с загруженными тензорами Qwen3.5-0.8B (24 слоя, ~800 млн параметров) без доступа к GPU и без механизма вычисления градиентов.
Астре был выделен жесткий бюджет исключительно на прямые проходы (forward passes) — пакеты до 512 примеров из тренировочной выборки GSM8K и MATH. Модель-инспектор исследовала внутренние активации и динамику скрытых состояний при возникновении петли:
- Изоляция вектора патологии: Анализируя активации, Astra локализовала направление в скрытом пространстве, запускающее генерацию циклов. Оно формировалось в MLP-блоках 15-го и 19-го слоев трансформера.
- Точечная модификация: Вместо переобучения Astra вычислила корректирующий вектор и вычла его проекцию из 64 выходных колонок матриц весов в каждом из двух проблемных слоев.
- Объем вмешательства: Патч затронул ровно 131 072 параметра, что составляет 0.016% от общего объема весов модели Qwen3.5-0.8B.
Результаты бенчмарков
Коррекция всего 0.016% весов без единого шага градиентного спуска кардинально изменила метрики компактной модели:
- MATH-500: Точность выросла с 7.9% до 48.1% (при бюджете в 50 forward passes).
- GSM8K: Показатель поднялся с 13.8% до 67.1%.
- IFEval (следование инструкциям): Вырос более чем в 3 раза — с 21.0% до 62.3%, подтвердив, что устраненная аномалия носила системный характер и не была специфична только для математики.
- Срыв в лимит токенов: Доля генераций, упирающихся в 32 768 токенов на MATH-500, упала с 93% до 33%.
Практические следствия для production-контуров
Способность фронтирных моделей ориентироваться в пространстве весов открывает прикладные сценарии, недоступные через классический fine-tuning:
- Аудит безопасности без бэкмарков: Выявление скрытых троянов, уязвимостей и недекларированных закладок напрямую по структуре весовых матриц до развертывания модели на реальном трафике.
- Нулевая деградация смежных навыков: Традиционный SFT/RLHF деформирует глобальное представление модели. Локализованное вычитание конкретных интеррогируемых направлений (0.016% матрицы) устраняет дефект без побочных эффектов для базового языкового ядра.
- Гетерогенное слияние архитектур (Circuit Grafting): Текущие методы слияния моделей (Model Merging) ограничены простым усреднением матриц одинаковой топологии. Weight-Space Programming позволяет извлекать функциональные подсети из одной архитектуры и встраивать их в веса принципиально другой модели.