Погляд режисера
Чи прискорює ШІ власну розробку? METR досліджує докази
Найскладніше — відокремити швидший прогрес від його причин. Нова оцінка чітко розрізняє ці питання.

За оцінкою METR від 5 листопада, прогрес Anthropic у чітко визначених завданнях ШІ приблизно вдвічі швидший, ніж у березні 2024-го — жовтні 2025-го. Автори допускають діапазон 1,3–3× і вважають, що більшу частину прискорення, ймовірно, пояснює використання ШІ в дослідженнях.
Швидший темп — конкретне твердження
Одиниця вимірювання тут принципова. Якщо певний показник можливостей раніше зростав на десять балів за рік, а тепер на двадцять, темп прогресу подвоївся. Сама ця арифметика нічого не говорить про час завершення програмного проєкту чи ймовірність правильної відповіді. Для них потрібні окремі вимірювання.
Тренд бенчмаркового індексу AECI в аналізі METR дає прискорення 1,9× із 95-відсотковим довірчим інтервалом 1,5–2,8×. Цей результат апроксимації слід відрізняти від ширшої оцінки вище.
Джерела: METR [1]
Як різні тести перетворюються на тренд
Відкрита реалізація ECI від Epoch апроксимує бенчмаркові бали кривою, що пов’язує можливості моделі, складність тесту й крутизну зміни результату. Вона оцінює спільну шкалу можливостей, а не прирівнює відсоток з одного тесту до відсотка з іншого. Відкритий код дозволяє перевірити математичний підхід, але не надає приватних вхідних даних Anthropic.
Джерела: Epoch AI [2]
Переглянути відкриту реалізацію ECI
Код для оцінювання індексу можливостей за бенчмарковими балами. Це контекст методики, а не приватний розрахунковий блокнот METR.
Причинний зв’язок перевірити складніше
Anthropic вилучила з публічної версії більшість доказів, які METR вважала особливо інформативними. Тому читачі не можуть повністю перевірити висновок про внесок ШІ.
Побачити крутішу криву й визначити її причину — різні етапи дослідження. Для причинної оцінки потрібне порівняння з прогресом, який відбувся б без цього чинника. Таку альтернативну історію не можна безпосередньо зчитати зі спостережуваної кривої. Тому читати результат варто у два кроки: оцінити повідомлене прискорення, а потім — наскільки наявні докази дозволяють виокремити внесок ШІ. Самі ці числа не дають дати появи автономних досліджень ШІ.
Джерела: METR [1]
ДЖЕРЕЛА ТА МЕТОД
Що стоїть за цим матеріалом
Аналіз опублікованої оцінки та відкритої методики індексу. Ми не вивчали конфіденційні дані Anthropic й не відтворювали розрахунки.
