Tencent порівнює Hy-Nomas із Genie 4. Та світ ще треба запам’ятати.

Нове порівняння, а не нова модель

29 жовтня Tencent Hunyuan опублікувала відео, в якому відтворила приклади Google Genie 4 за допомогою Hy-Nomas. Це відібрана компанією демонстрація, а не контрольований порівняльний тест. Саму Hy-Nomas випустили раніше: репозиторій датує вихід коду й демо 21 жовтня, а технічний звіт подали на arXiv 27 жовтня.

Пропозиція, однак, цілком конкретна: публічна сторінка проєкту, ваги моделі для завантаження та код запуску, який можуть досліджувати фахівці. Це дає змогу вивчити механізм за показаними прикладами, а не оцінювати систему лише за рекламним монтажем.

Джерела: Tencent Hunyuan / X [1] · Tencent Hunyuan / GitHub [2] · Hy-Nomas authors / arXiv [3]

Вказівка надходить, поки сцена розвивається

Hy-Nomas — дифузійна модель із вісьмома мільярдами параметрів. Вона генерує відеофрагменти за поточними вказівками й кешованою історією. Компонент уточнення запиту враховує попередній візуальний контекст, а увага з урахуванням дій прив’язує вказівку до потрібного проміжку часу.

Джерела: Hy-Nomas authors / arXiv [4]

Складніший результат із наукової роботи

У роботі просторову пам’ять порівнюють із Genie 3 — не з Genie 4. У 60 сценаріях, де камера віддалялася й поверталася, Hy-Nomas виграла 13,3% порівнянь, отримала нічию в 56,7% і програла в 30%. Це оцінювання людей у дослідженні авторів, а не наші тести.

Це суттєво, адже неперервність сцени — більше, ніж привабливий кадр. Дверний отвір, орієнтир чи положення предмета допомагають глядачеві уявити простір. Якщо після повернення камери ця карта змінюється, послідовність дослідження світу втрачає свою географію.

Джерела: Hy-Nomas authors / arXiv [4]

Шлях до запуску на 4090 є. Гарантії FPS — немає.

Репозиторій містить варіант запуску на одній RTX 4090 з меншим споживанням пам’яті. Він поєднує квантування, ковзне вікно історії та перенесення частини обчислювальних даних на CPU. Це зменшує потребу в пам’яті, але можливість умістити модель на відеокарті ще не доводить інтерактивної швидкості генерації на ній.

Tencent також перелічує інтеграції з Diffusers та інтерфейсами спільноти. Технічному читачеві варто почати з конкретної конфігурації й приміток щодо обладнання. Демо, яке працює на іншій машині, не гарантує такої самої продуктивності на локальній станції.

Джерела: Tencent Hunyuan / GitHub [2]

Де справді зустрічаються кіно та ігри

Для кіно приваблива можливість змінювати розвиток послідовності, а не писати новий запит для кожного ізольованого кадру. Для ігор — перспектива сцени, яка реагує на дію, а не просто відтворюється. В обох випадках важливо, що відбувається в часі: чи спрацює вказівка, чи триватиме дія стільки, скільки потрібно, і чи залишиться оточення узгодженим.

Але згенероване відео від цього не стає редагованою ігровою сценою. Пікселі не дають автоматично геометрії, правил зіткнення чи сталого стану гри. Hy-Nomas цікава як експеримент із візуальними послідовностями, що реагують на вказівки. Назвати її заміною ігрового рушія означало б приписати анонсу те, чого він не доводить.

Джерела: Tencent Hunyuan [5] · Tencent Hunyuan / GitHub [2]

Найпоказовіший кадр — повернення

Красивий від’їзд можна згенерувати кадр за кадром. Переконливе повернення вимагає зберегти щось про місце, де система вже побувала. Tencent дала змогу предметно дослідити цю проблему: опублікувала код і невигідне для себе порівняння пам’яті поряд із сильнішими результатами. Наступна корисна демонстрація — не просто ще один ефектний пейзаж. Це місце, яке лишається впізнаваним, коли ви повертаєтеся.