Я всегда пробую и проверяю всё, на что ссылаюсь. Но не в этот раз. Эту жесть я испытывать не буду —Deep Dream Doom это мод для игры Дум, в котором спрайты и текстуры проанимированны и преобразованы нейросетью гугла (библиотека с собачками и стрекозами).
https://kingdomakrillic.tumblr.com/post/178601577996/
В соседнем посте разработчик обещает выпустить скоро новую версию. Мне же уже достаточно видосов и картинок.

Кристофер Хисс запрограммировал гениальную распозновалку: по введённым пользователем картинкой с областями или контурами создаётся изображение на основе библиотеки образов (Гитхаб).

Поиграть в неё можно тут http://affinelayer.com/pixsrv

Там есть несколько примеров с разными библиотеками. Поскольку я хочу открыть вам глаза на перспективу использования, а в примерах маленькие картинки, результат слегка отретуширован. Вот пример с домами, за минуту.

Вот пример из библиотеки котят, тоже около минуты.

Если бы изображение из примера имело чуть выше разрешающую способность, художнику достаточно было бы сделать самое интересное — подход по уточнению контура и деталей, чтобы получить из этой заготовки приличного персонажа (например, чтобы не выполнять первые 80% из этого видео).

Сила в том, что подобный подход в будущем можно распространить, например, на рутину, где детали важны, но конкретность не принципиальна. Первичный набросок, фоны, текстурирование трехмерных моделей. Например, при визуализации архитектуры, порой на окружающую обстановку следует приложить не меньшее количество усилий, чем на основной объект визуализации. А с таким помощником можно будет расставить тэги на кубиках здания, вжух — готова фотографическая раскраска модели.

Гугл открыл ящик Пандоры опубликовал исследование о распознавании образов — поиске того чего нет на картинках по библиотеке изображений. Возможно, это станет ключевым инструментом для художников будущего и вот почему.

Самая первое и простое применение Deep Dream это преобразование картинок: программа находит элементы похожие на ей знакомые, и подставляет эти элементы в изображение.

Существующую библиотеку, по которой это делается, назвали Puppyslug, за то что в её заложенных образах много млекопитающих и моллюсков, что приводит к тому что получаются картинки, которые напоминают щеночков и улиток. В восприятии человеком изображения имеют достаточно отталкивающий визуальный результат.

А уж видео с покадровым преобразованием DeepDream нельзя развидеть от слова совсем.

Видео с трекингом и сохранением найденных образов выглядит намного приятнее. (Представьте такое встроить в VR).

Ссылки на Гитхаб: Оригинальный DeepDream образ машины и библиотека для видео.

В исследовании Гугла приводится пример использования — стилистическое преобразование одного изображения в другое.

Первой успешной публичной реализацией такой идеи оказалось приложение Prisma. Она делает преобразования изображения у себя на сервере, а само приложение только интерфейс загрузчика и выбиралка существующих стилей.

Самое же интересное направление, то что могло бы реально облегчить порог входа, повысить качество и скорость стилизации изображений, это полуавтоматический контроль результата. Если полностью полагаться на автомат, то часто теряется целостность объектов. Программа хоть и подставляет точно, но не мыслит о целостности образа и сущности изображения — смысл при автоматическом преобразовании может сильно измениться, например, от очень тёмной тени, которая будет выглядеть как объект.

До этого руками что-то такое подобное можно было сделать в Photoshop. Там существуют Content-Aware преобразования, метод, который пытается сохранить и дополнить существующие детали картинки их копиями.

А теперь появилось и первое удачное применение принципа такого автоматического помощника это NeuralDoodle.

На видео, по модели картин Клода Моне программа заполняет простые области стилистически подходящими элементами.

Мечтаю, что вот уже скоро, к типичным инструментам художника-иллюстратора, клипарту, кистям и текстурам, добавится подборки для автоматической стилизации, которые избавят от основной рисовальной рутины, штриховки, размазывании и пачкании — деталям, от которых радуется глаз, но которые совсем не интересно делать на потоке.

Такое направление можно развить и дальше — на основе изображения генерировать и трёхмерную модель высот.

Только представьте: делаете простейший скетч, после чего автоматически дополняете его цветными деталями, превращаете в объёмную модель, печатаете и вот у вас готовая картина, которую сложно назвать поделкой.