Улучшение изображений и генерация видео с помощью нейросетей

Вы же уже видели эти нейро картинки, когда берут какой-то кадр из мультфильма, старую игру или простую картинку и просят нейросеть создать детализированное изображение на его основе? Получается впечатляюще.

А недавно опубликовали программу Framepack https://github.com/lllyasviel/FramePack, прорывное отличие которой — низкая требовательность к ресурсам, минутные видео программа может генерировать буквально на ноутбуке со средней видеокартой.

А также, уже сейчас тестируют использование в  3D играх вместо рендеринга всех кадров додумывание и улучшение кадров с помощью нейросети — так получается больше деталей и живее картинка, чем привычный рендер.

Думаю, что в будущем нейрокартинки смогут проявить себя не только как улучшатель в играх, но и как улучшатель отображения информации и ретушёр: в браузере, чтобы контент сайта больше подходил вкусу посетителя; в интерактивной рекламе, чтобы показывать индивидуальные вариативные предложения; в автоматических фильтрах обработчика камеры смартфона; и конечно как real-time улучшение некачественного видео в кино и на ютубе.

В этом смысле механика внедрения нейросетей напоминает эволюцию использования мозга: то что появилось как помощник для усложняющейся системы в итоге превращается в основу самой системы. И тут и нам самим потребуется адаптироваться: нашему мозгу предстоит освоить как отличать правду от выдумки в промышленных масштабах, подстроиться под то что любой визуал может не иметь реального существования.