EMO, генератор видео по фотографии и аудио

Опубликовали научную работу про нейро-фреймворк EMO (Emote Portrait Alive), генератор видео по фотографии и аудио, например из картины и фотографии. Подобных проектов за последнее время видел несколько, но этот отличается действительно высоким качеством.

https://humanaigc.github.io/emote-portrait-alive/

Adobe добавит искуственный интелект в свои программы

В блоге Adobe написали, что работают над добавлением искуственный интелект в Photoshop, Express и Lightroom.
https://blog.adobe.com/en/publish/2022/10/18/bringing-next-wave-ai-creative-cloud

В постановочное видео с Photoshop показано словно, пользователь вводит текстовое описание к выделенной области, добавляет изображение совы поверх фотографии, перемещает внедренный элемент, который подстраиватеся под фотографию ниже:

В примере с Adobe Express показано, как набранный определенным шрифтом текст стилизуется по текстовому описанию.

В примере с Lightroom представлено как можно было бы менять на фотографиях небо, осещение и допридумывать изображение за краями кадра.

Безусловно крутые нововведения, облегчат и расширят возможности простым и продвинутым пользователям.

Это не что-то новое, можно говорить что в небольшой мере ИИ уже есть в продукции Адобе. Например, Фотошоп давно умеет додумывать изображение, стирать неужное. Фильтры Лайтрум не просто математические обработчики внесенных параметров, они учитывают содержание изображения.

Мне бы хотелось чтобы ИИ добрался до InDesign, программе цифровой вёрстки печатных материалов. В ней очень многое надо делать руками, хотя в мире уже выпущенно гигантское колличество газет, журналов, книг, буклетов и листовок. На этой базе можно было бы сделать с помощью ИИ автогенерацию как шаблонов так и готовых для печати макетов — предоставь свой контент, а ИИ сгенерирует для тебя вёрстку в любом стиле. Было бы здорово!

Фото из мульт персонажей

Daniel Voshart с помощью Artbreeder и ручного фотошопа создал фотореализмы из мультперсонажей, словно они на общей выпускной фотографии.
https://voshart.medium.com/90s-cartoons-as-school-portraits-fed9a66aec25

Ранее Дэниел Вошарт делал аналогичное восстановление: фото римских императоров из их бюстов https://vovkasolovev.ru/blog/990167/

Будущее за нейро коммерцией!

Предсказываю, что первой эффективной областью массового использования нейросетей и, конкретнее, дипфейков будут интернет-магазины. Конкретнее, там где требуется продемонстрировать как товар подходит именно вам, например, на интернет-витринах одежды.

Вот как я думаю это будет работать: сейчас интернет-магазин может составить достаточно ясную картину о вас, спасибо инстаграму и фэйсбуку легко отследить не только интересы но и то как вы выглядете. Заходя на сайт для выбора одежды вам будут показывать не просто заготовленные фотографии товаров на манекенах или непохожих на вас людей. Фотографии моделей в одежде будут на лету изменяться, чтобы выглядеть похожими на вас, вашу расу, комплекцию — всё, что поможет вам проассоциировать товар с вами. Такой генератор очень сильно увеличит продажи — то что похожие фотографии продают лучше хорошо известно и вы сами можете это за собой заметить.

Впрочем брать информацию из соцсетей не обязательно. Достаточно будет устроить автоматическое А/Б тестирование, в ходе которого нейросеть будет выдавать гипотезами всё более продающие изображения для каждой выборки посетителей. В итоге нейроэволюционный отбор добудет самые подходящие фотографии под каждую геолокацию.

Ну и чтобы два раза не вставать, посмотрите на любопытный список онлайн генератороров, какие есть в общем доступе: https://thisxdoesnotexist.com/

Вот, например, случайное ненастоящее лицо:

Случайная ненастоящая абстрактная картина:

А вот случайный ненастоящий котик:

Восстановление старых киносъемок с помощью нейросети

Денис Ширяев (Denis Shiryaev) делает удивительную реставрацию — с помощью нейросети восстанавливает качество, увеличивает число кадров и раскрашивает старые видеозаписи конца 19 и начала 20 века. Видео получаются в 4k и 60 fps. Детали поражают — удивительно видеть как естественно двигаются смешно разодетые люди, из времени, когда не было электрического освещения, пластмассы, нейлона, асфальта и многих других штук, привычных сегодняшней улице. 

Во-первых, разумеется, «Прибытие поезда». Arrival of a Train at La Ciotat (The Lumière Brothers, 1896).

[4k, 60 fps] Arrival of a Train at La Ciotat (The Lumière Brothers, 1896), AI-enhanced

 

Москва, Тверская улица, 1896 год. Moscow, Tverskaya Street, 1896.

[60 fps] Moscow, Tverskaya Street in 1896

 

Париж, 1900 год. A Trip Through Paris, France in late 1890s / Un voyage à travers Paris, 1890.
На пятой минуте виден траволатор Эдисона, подвижный тротуар из двух уровней, опоясывающий парижскую выставку достижений. И свежепостроенную башню Эйфеля.

[60 fps] A Trip Through Paris, France in late 1890s / Un voyage à travers Paris, 1890

 

Нью-Йорк, 1911 года. A Trip Through New York City in 1911.

[4k, 60 fps] A Trip Through New York City in 1911

 

Гонки на лунном ровере экспедиции Аполлон-16, пятой высадки на Луну. Apollo 16 Lunar Rover «Grand Prix» (1972 April 21, Moon).

[4k, 60 fps] Apollo 16 Lunar Rover "Grand Prix" (1972 April 21, Moon)