Інструменти / Аналіз
LLM відредагувала 0,016% ваг Qwen. Результат із математики зріс із 7,9% до 48,1%
Weight-Space Programming виправив схильність невеликої моделі до зациклення. Друга модель показала, чому це не універсальний спосіб навчити ШІ нового.
Невелика мовна модель може витратити весь ліміт відповіді на міркування й так і не дійти до результату. У дослідницькому матеріалі від 2 листопада Рікія Такехі та його колеги описують, як інша LLM знайшла цю проблему всередині Qwen3.5-0.8B і безпосередньо відредагувала її ваги. За однакового протоколу оцінювання результат на MATH-500 зріс із 7,9% до 48,1%. Ключове питання — що саме вдалося виправити.
Знайти зациклення, потім змінити ваги
Метод Weight-Space Programming надає потужній LLM доступ до числових параметрів іншої нейромережі. У цьому експерименті редактор із позначенням gpt-6-astra працював через Python-середовище й окремий інструмент запуску Qwen. Він міг досліджувати тензори, переглядати активації та передавати зміни. Градієнтний спуск, зворотне поширення похибки й підбір ваг за функцією втрат були заборонені.
У запуску з бюджетом 50 проходів Astra пов’язала повторення з напрямком у внутрішніх представленнях моделі, який сильно підсилювали блоки прямого поширення у шарах 15 і 19. Вона відняла цей напрямок від 64 вихідних стовпців у кожному шарі. За ширини стовпця 1 024 це охоплює 131 072 елементи ваг — приблизно 0,016% від заявлених 0,8 мільярда параметрів моделі. Це не означає витрату 0,016% обчислень, потрібних для звичайного навчання.
Оприлюднені пояснення містять важливе уточнення: після округлення до bfloat16 від оригіналу фактично відрізняються 130 188 елементів. Скрипт відновлення перевіряє хеші початкових і змінених тензорів. Отже, доступні конкретні зміни двох названих тензорів, які можна перевірити, а не лише словесний опис поліпшення.
Джерела: Rikiya Takehi and collaborators [2] · Rikiya Takehi and collaborators [7] · Rikiya Takehi and collaborators [5]
Що поліпшилося — і яких зусиль це потребувало
Початкове оцінювання використовувало режим міркування й ліміт 32 768 нових токенів. Окрім зростання на MATH-500 із 7,9% до 48,1%, результат GSM8K піднявся з 13,8% до 67,1%, а IFEval за суворою перевіркою всього запиту — з 21,0% до 62,3%. Частка відповідей MATH-500, що впиралися в ліміт токенів, зменшилася з 93,0% до 33,1%. Така картина узгоджується з поясненням авторів: усунення руйнівного зациклення дає моделі змогу завершувати більше корисних відповідей.
Відсутність градієнтів не означає відсутності обчислень. Один прохід міг генерувати відповіді на 512 тренувальних задач або аналізувати до 1 024 текстів. Успішний запуск містив 80 виконань Python-коду й тривав 20,3 години, зокрема 4,7 години очікування через недоступність моделі. Матеріали для практики походили з навчальних частин наборів; за словами авторів, редактор не бачив тестів, за якими визначали підсумкові результати.
Значну частину процесу можна перевірити: оприлюднено запити, відповіді, дії в Python, підсумки оцінювання та остаточні зміни ваг. Але це не повний архів усіх дослідницьких спроб. Автори не включили попередні випробування промптів, великі проміжні файли активацій і саму інфраструктуру виконання агента. Тому відтворити змінений чекпойнт простіше, ніж увесь процес пошуку, який привів до цього виправлення.
У таблиці наведено початковий запуск за однакових умов: увімкнені міркування, до 32 768 нових токенів, temperature 0,6, top_p 0,95, top_k 20 і presence penalty 1,5. Для MATH-500 усереднено чотири відповіді на задачу, для GSM8K та IFEval — дві. Це результати, повідомлені авторами; довірчого інтервалу тут не наведено.
Джерела: Rikiya Takehi and collaborators [2] · Rikiya Takehi and collaborators [3] · Rikiya Takehi and collaborators [4]
| Тест | До змін | Після змін · 50 проходів |
|---|---|---|
| MATH-500 | 7,9% | 48,1% |
| GSM8K | 13,8% | 67,1% |
| IFEval | 21,0% | 62,3% |
Друга модель окреслює межу методу
Gemma 3 270M IT стала важливим контрприкладом. Вона рідко зациклювалася, а редагування з бюджетом 50 проходів змінило результат MATH-500 лише з 6,8% до 7,0%. Для неї застосовували інший ліміт токенів, параметри генерації та спосіб виділення відповіді. Це перевірка змін усередині однієї моделі, а не пряме змагання з Qwen. Експеримент не доводить існування універсального способу створити математичні здібності, яких бракує.
Для оприлюдненого на Hugging Face чекпойнта повідомляють про окремий повторний результат MATH-500 — 51,0%. Хеші мовних тензорів перевірили, проте використали повний мультимодальний випуск замість початкового текстового експорту; супровідна перевірка базової моделі охопила лише 25 задач. Цей результат не має підміняти початкове порівняння за однакових умов. Перспективний напрям тут — відтворюване виправлення: знайти конкретний внутрішній збій, усунути його, а потім перевірити і здобуток, і те, що втручання могло порушити.
Джерела: Rikiya Takehi and collaborators [6] · Rikiya Takehi and collaborators [7]
ДЖЕРЕЛА ТА МЕТОД
Що стоїть за цим матеріалом
За матеріалом авторів від 2 листопада, кодом Experiment 8 та JSON-результатами з коміту 4d09ba6, а також за зафіксованою версією картки моделі на Hugging Face. Ми прочитали оприлюднені матеріали, але не запускали експерименти й самостійно не перевіряли хеші тензорів. Числа нижче відтворюють початкове порівняння за однакових умов, а не окремий повторний запуск чекпойнта. Джерело журналів і даних — Рікія Такехі та співавтори, ліцензія CC BY 4.0.
- Weight-Space Programming research report Rikiya Takehi and collaborators · 2026-11-02
- Experiment 8: protocol and run ledger Rikiya Takehi and collaborators
- Original Qwen evaluation results Rikiya Takehi and collaborators
- Edited Qwen evaluation results Rikiya Takehi and collaborators
- apply_edit.py: checkpoint reconstruction Rikiya Takehi and collaborators
- Gemma follow-up: negative control Rikiya Takehi and collaborators
- Edited Qwen model card and separate rerun Rikiya Takehi and collaborators
- Rikiya Takehi’s announcement Rikiya Takehi / X
