5 программ для анимации лица и речи (face rig, lip sync)

В начале 2018 изучал современные способы создания 2d персонажной анимации, обращая внимание на возможности лицевой анимации и lip sync. Запишу, о каких направлениях узнал. Руками анимировать лицо-рот, конечно, эффектнее всего, но сегодня ни у кого на это нет времени. Вы же делаете ролик для ютюба, а не в студии мультипликации работаете (а тогда значит знаете хардкорный тру путь аниматора). Да, даже самостоятельно лицевой моушен кэпчер делать больше не надо, всё уже есть. Скорстные пути такие:

  1. Кукла в Adobe After Effects с помощью Duik, плагин для автоматического рига через null объекты с Inverse kinematics. Минус в том, что клипы в AE живут в относительных координатах, из-за чего это всё не очень для него подходит — неудобно с нестед клипами, менять scale персонажа, менять координаты анимации целиком. Да и не так удобно по сравнению с другими способами, которые специально для персонажной анимации создавались.
  2. Adobe Character Animator начал обрастать возможностями. Совмещает в себе и риг куклы и лицевую анимацию. Лицо можно анимировать через вебкамеру, конечности можно таскать мышкой, есть триггеры для того чтобы менять состояния на лету.
  3. MOHO Anime Studio — очень крутой и простой 2D векторный аниматор, настоящий инструмент для анимации. Напоминает Flash, только с mesh warp, псевдо 3D сценой, и главное, отличной системой для создания костей, переключателей состояний и рига персонажа. Есть свой липсинк из аудиофайла. Если бы я начал делать качественный мультсериал, то выбрал бы его.
    • Papagayo софт для липсинка по тексту и аудиофайлу. Эта программа была основной для создания липсинка в ранних версиях MOHO, а потом её упрощенная версия стала использоваться внутри MOHO. (У программы баг с путями, лучше хранить её в корне диска).
  4. Reallusion объеденила под своим названием несколько разных проектов:
    • CrazyTalk Animator — есть готовые костяные риги и их анимации. Осталось только навешивать ваши 2D спрайты частей тела на это. Делаете все нужные анимации и вставляете в свой мультфильм. Отличный выбор для того, чтобы делать шаблонные видео-объяснялки на потоке, не хватая звёзд и не теряя времени.
    • CrazyTalk (Standart, PRO, Pipeline) — есть готовый лицевой риг, Осталось только повесить на него ваш портрет. Анимация на лету — липсинк из аудофайла, движения головы мышкой, моргания по клику. Резуальтат подключается в CrazyTalk Animator. 
    • Для 3D у Reallusion есть аналогичная пара: iClone и iClone Faceware Facial Mocap. И ещё отдельно конструктор Avatar Toolkit.
  5. FaceRig — изначально игрушка с вебкамерой и заранее готовыми 3D персонажами (но все какие-то не клёвые). У неё есть плагин для Live2D персонажей и это оказалось прорывом. При запуске присутствует в системе как виртуальная камера, поэтому можно сразу подключить её слоем в OBS, т.е. в реалтайм анимировать персонажа глядя в вебкамеру.
    • Live2D — китайский инструмент чтобы делать 2D говорящие головы. Риг можно подключать к FaceRig. Самый короткий путь сделать качественную анимированную голову — собрать её в этом конструкторе и вставить в FaceRig.

Признаюсь, все эти программы, кроме Адобовских, мне показались немного баговатыми, и не очень продуманны интефейсно, не очень актуально выглядящие и в них не ощущается рыночной устойчивости развиваться вечно. Буду рад если подскажите ещё какие-то инструменты. Возможно в будущем надо будет смотреть ещё и на Spine, а также на Unity, в котором постепенно появляются нативные инструменты для всей анимации (а не плагинами, на которые опасно рассчитывать).