5 программ для анимации лица и речи (face rig, lip sync)

В начале 2018 изучал современные способы создания 2d персонажной анимации, обращая внимание на возможности лицевой анимации и lip sync. Запишу, о каких направлениях узнал. Руками анимировать лицо-рот, конечно, эффектнее всего, но сегодня ни у кого на это нет времени. Вы же делаете ролик для ютюба, а не в студии мультипликации работаете (а тогда значит знаете хардкорный тру путь аниматора). Да, даже самостоятельно лицевой моушен кэпчер делать больше не надо, всё уже есть. Скорстные пути такие:

  1. Кукла в Adobe After Effects с помощью Duik, плагин для автоматического рига через null объекты с Inverse kinematics. Минус в том, что клипы в AE живут в относительных координатах, из-за чего это всё не очень для него подходит — неудобно с нестед клипами, менять scale персонажа, менять координаты анимации целиком. Да и не так удобно по сравнению с другими способами, которые специально для персонажной анимации создавались.
  2. Adobe Character Animator начал обрастать возможностями. Совмещает в себе и риг куклы и лицевую анимацию. Лицо можно анимировать через вебкамеру, конечности можно таскать мышкой, есть триггеры для того чтобы менять состояния на лету.
  3. MOHO Anime Studio — очень крутой и простой 2D векторный аниматор, настоящий инструмент для анимации. Напоминает Flash, только с mesh warp, псевдо 3D сценой, и главное, отличной системой для создания костей, переключателей состояний и рига персонажа. Есть свой липсинк из аудиофайла. Если бы я начал делать качественный мультсериал, то выбрал бы его.
    • Papagayo софт для липсинка по тексту и аудиофайлу. Эта программа была основной для создания липсинка в ранних версиях MOHO, а потом её упрощенная версия стала использоваться внутри MOHO. (У программы баг с путями, лучше хранить её в корне диска).
  4. Reallusion объеденила под своим названием несколько разных проектов:
    • CrazyTalk Animator — есть готовые костяные риги и их анимации. Осталось только навешивать ваши 2D спрайты частей тела на это. Делаете все нужные анимации и вставляете в свой мультфильм. Отличный выбор для того, чтобы делать шаблонные видео-объяснялки на потоке, не хватая звёзд и не теряя времени.
    • CrazyTalk (Standart, PRO, Pipeline) — есть готовый лицевой риг, Осталось только повесить на него ваш портрет. Анимация на лету — липсинк из аудофайла, движения головы мышкой, моргания по клику. Резуальтат подключается в CrazyTalk Animator. 
    • Для 3D у Reallusion есть аналогичная пара: iClone и iClone Faceware Facial Mocap. И ещё отдельно конструктор Avatar Toolkit.
  5. FaceRig — изначально игрушка с вебкамерой и заранее готовыми 3D персонажами (но все какие-то не клёвые). У неё есть плагин для Live2D персонажей и это оказалось прорывом. При запуске присутствует в системе как виртуальная камера, поэтому можно сразу подключить её слоем в OBS, т.е. в реалтайм анимировать персонажа глядя в вебкамеру.
    • Live2D — китайский инструмент чтобы делать 2D говорящие головы. Риг можно подключать к FaceRig. Самый короткий путь сделать качественную анимированную голову — собрать её в этом конструкторе и вставить в FaceRig.

Признаюсь, все эти программы, кроме Адобовских, мне показались немного баговатыми, и не очень продуманны интефейсно, не очень актуально выглядящие и в них не ощущается рыночной устойчивости развиваться вечно. Буду рад если подскажите ещё какие-то инструменты. Возможно в будущем надо будет смотреть ещё и на Spine, а также на Unity, в котором постепенно появляются нативные инструменты для всей анимации (а не плагинами, на которые опасно рассчитывать).

 

Мои красивые короткие понятные ссылки

Соцсетей много а голова одна. Чтобы каждый раз не вспоминать как правильно дать ссылку на свою соцсеть, придумал поставить у себя на сайте редирект от «папки» с именем соцсети.

Теперь работают вот такие ссылки от короткого адреса http://vlso.ru:
http://vlso.ru/youtube
http://vlso.ru/yt
http://vlso.ru/twitter
http://vlso.ru/tw
http://vlso.ru/vkontakte
http://vlso.ru/vk
http://vlso.ru/facebook
http://vlso.ru/fb
http://vlso.ru/instagram
http://vlso.ru/ig
http://vlso.ru/livejournal
http://vlso.ru/lj
http://vlso.ru/google+
http://vlso.ru/google
http://vlso.ru/g+
http://vlso.ru/g
http://vlso.ru/odnoklassniki
http://vlso.ru/odnoklasniki
http://vlso.ru/ok
http://vlso.ru/dribbble
http://vlso.ru/dribble
http://vlso.ru/drible
http://vlso.ru/dr
http://vlso.ru/db
http://vlso.ru/telegram
http://vlso.ru/tm
http://vlso.ru/tg
http://vlso.ru/t

И они же работают по длинному «именному» адресу https://vovkasolovev.ru:
https://vovkasolovev.ru/youtube
https://vovkasolovev.ru/yt
https://vovkasolovev.ru/twitter
https://vovkasolovev.ru/tw
https://vovkasolovev.ru/vkontakte
https://vovkasolovev.ru/vk
https://vovkasolovev.ru/facebook
https://vovkasolovev.ru/fb
https://vovkasolovev.ru/instagram
https://vovkasolovev.ru/ig
https://vovkasolovev.ru/livejournal
https://vovkasolovev.ru/lj
https://vovkasolovev.ru/google+
https://vovkasolovev.ru/google
https://vovkasolovev.ru/g+
https://vovkasolovev.ru/g
https://vovkasolovev.ru/odnoklassniki
https://vovkasolovev.ru/odnoklasniki
https://vovkasolovev.ru/ok
https://vovkasolovev.ru/dribbble
https://vovkasolovev.ru/dribble
https://vovkasolovev.ru/drible
https://vovkasolovev.ru/telegram
https://vovkasolovev.ru/tm
https://vovkasolovev.ru/tg
https://vovkasolovev.ru/t

Теперь предстоит везде заменить эти пути на свой сайт. Это, по идее, должно ещё и снизить «потопляемость» у сосцетей конкурентов.

Как я это сделал?

Как составить слово из английских букв

Узнал об англоязычном помощнике для игр на английском языке word-grabber.com. Если увлекаетесь, то знаете, что и для Андройда и для Айфона очень много игр в слова на английском языке, это распространенный жанр, большой сегмент игр. Но без хорошего словарного запаса в них играть невозможно, и получается, что для изучения новых слов такие игры совсем не подходят. Чтобы не вечно проигрывать, а вести хоть сколь-нибудь долгую игровую сессию этот сервис отлично подойдёт — там есть подсказки для Эрудита, кроссвордов, и других видов по составлению слов из набора букв из которого сами вы уже ничего не может составить. Да вот просто попробуйте — нажмите кнопку «Разгадать», перед этим можете любой набор латинских букв ввести.

word-grabber.com

Проблему нашёл только одну, если играть в игру где выдают больше 9 букв, то ввести вы их не сможете из-за ограничения. Я с этим столкнулся когда попробовал найти подсказки к моей любимой Draw Something, в которой выдают 12 букв. Ну а для множества игр, в которых надо из заданного набора букв составить как можно больше слов это буквально чит)))

Кроме игрового применения там есть простой словарь синонимов и похожих значений — удобная штука, когда надо придумать хорошее англоязычное название. Вводите отправное слово, а потом серифте по ссылкам в нужном направлении и красоте подходящего слова. Собственно, я именно этим в первую очередь и воспользовался там.

Как я в интернете искал про 3D и голограммы

Воистину, найти в интернете можно что угодно, а archive.org и youtube.com самые важные сайты его. Прекрасный пример поиска случился, решил записать. История успешного поиска про 3D и голограммы.

Придумал, что вот бы запечатлеть 3D арт модель в голограмме, того, что нельзя сголографировать лазером. Захотел разобраться, существует ли и сколько стоит «сфотографировать» 3D модель в голограмму. Ну, например, что-нибудь в духе Pawel Nolbert, плоское, с висящими частицами, выдерживающее монохромное исполнение. 

Пошёл искать, наткнулся в поиске на ветку форума по голографии из которой узнал, что в Ярославле есть студия голографии. Нашёл группу в ВК про голографию в Ярославле. В одном из сообщений обнаружил, что кто-то потерял сайт «akilov-art». Да, сайта нет. Пошёл на archive.org, нашёл там сохранённую версию сайта akilov-art.ru. Это был сайт Александра Акилова. Нашёл его канал в Ютюбе, на котором сохранились ролики для сайта. Среди роликов обнаружил вот этот:

Ура, победа! Подтверждение что это возможно есть. Ниточка найдена, она приведёт меня к свитеру к правильным ключевым словам. В конце чётко показано, что есть налаженный способ печатать из 3D моделей в пластину голограммы. В конце даже эпизод, что кадр отправляют по почте.

Секундочку, там явно по-английски написано «Digital … holograms … 3D print». Акилов вставил в свой ролик какую-то древнюю иностранную рекламу с сервисом про печать и отправку голограмм по почте).

Иду искать в англоязычный интернет. По запросу «Digital holograms 3D print» часть страниц рассказывает про компанию Zebra Imaging, её сайт почти пустой. Видосы у компании странные — пытаются приложиться к бесперспективному пути визуализации архитектуры, на котором, понятное дело, давно уже прекрасно живут планшеты.

Ищу дальше, в очередной статье про Зебру нахожу ссылку на страницу с ценами, которой у Зебры на сайте нет. Отправлюсь на archive.org, и обнаруживаю там цены. 250 баксов за вывод 3D модели в голограмму размером 290×290 мм и 850$ за 600×600 мм. Отлично, принципиально ответ про цену найден! Ну и кстати, сайт у компании был раньше лучше, а с 2017 года они его поменяли и только рассказывают только про свой мерч для Звёздных войн в твиторе.

Теперь дело за малым, выяснить занимается ли ещё этим компания или ей подобные. И если да, то найти в себе силы сделать клёвую модель. В этом поиске к сожалению, поисковики не помогут.

Музейные шедевры в высоком качестве

Один из самых посещаемых музеев, Нью-йоркский музей The Met (The Metropolitan Museum of Art) объявил, что изображения экспонатов на сайте теперь существуют под лицензией CC0 (свободное и для коммерческого использования). А там сейчас 441,121 экспоната опубликовано.

Множество шедевров доступны в высоком качестве за кнопками Enlarge или Download. Например, «Пшеничное поле с кипарисами», Ван Гог. Для тех кто на лабутенах: это достаточный размер, чтобы напечатать на календарь, например.