Інструменти / Аналіз
Google пропонує фазу сну для ШІ, який продовжує вчитися
Дослідники відокремлюють засвоєння інформації від її закріплення. Результат на довгому контексті вражає, але умови навчання не менш важливі.
Фреймворк Sleep від Google Research додає мовній моделі окрему фазу закріплення: інформація, отримана під час активної роботи, переходить у довготривалі параметри. Мета — засвоювати нове, зберігаючи попередні здібності. Google представила пояснення 27 жовтня. Це дослідження, а не анонсована функція Gemini.
Що відбувається під час «сну»
Система залучає зарезервовану місткість експертних модулів, переносить туди тимчасові знання через дистиляцію, а потім очищує швидку пам’ять для наступного циклу. На етапі «сновидінь» вона генерує й відбирає приклади для подальшого навчання. Це оновлення ваг за заданими правилами, а не біологічний сон чи переписування моделлю власного програмного забезпечення.
Джерела: Google Research [1]
Результат важливий разом з умовами
Hope зі Sleep показує майже ідеальний результат на 10 млн токенів у BABILong. Додаток B.2 уточнює: застосовано донавчання під тест; без нього показники суттєво падають. Це не доводить універсальної пам’яті на десять мільйонів токенів. Окремо таблиця 2 наводить результати Qwen3-8B з міркування, усереднені за 16 спробами:
Джерела: Behrouz, Hashemi, Javanmard and Mirrokni / arXiv [2]
| Метод | AIME 2024 | AIME 2025 | HMMT 2025 |
|---|---|---|---|
| Базова (Instruct) | 73,8 | 68,1 | 42,4 |
| Sleep | 79,2 | 69,0 | 46,1 |
Пам’ять потребуватиме обслуговування
На нашу думку, практична цінність — у помічнику, який засвоює корисні виправлення, замість щоразу вимагати тих самих пояснень. Проте тривала пам’ять створює й обов’язок. Якщо помилкова інструкція закріпилася, як користувач зможе її переглянути, виправити або видалити? Робочій системі потрібна відповідь поряд із показниками точності.
Наступна корисна демонстрація могла б простежити проєкт, що змінюється: засвоїти правило, замінити його, зберегти інші навички й порахувати обчислювальні витрати. Так стало б зрозуміло, чи закріплення знань справді полегшує роботу з помічником, а не лише підвищує результат тесту.
ДЖЕРЕЛА ТА МЕТОД
Що стоїть за цим матеріалом
1 листопада 2026 року перевірено пояснення Google від 27 жовтня та пов’язану наукову статтю, зокрема таблицю 2 й додаток B.2. Результати наведено за авторами; ми не відтворювали експерименти.
- The sleep framework: A new way for LLMs to retain knowledge in continual learning Google Research · 2026-10-27
- Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories — Table 2 and Appendix B.2 Behrouz, Hashemi, Javanmard and Mirrokni / arXiv · 2026-07-10
