Детектор эмоций в "Большом шоу"

Разработка первой версии детектора улыбок

В ноябре 2022 года нашу компанию, МИЭМ.ТВ, пригласили в качестве операторов PTZ-камер на съемки реалити-шоу "Большое шоу". 
Прибыв на место, мы заметили, что улыбки актёров на площадке прямо во время съемок отсматривала команда из 5 человек. Как только на лице актера появлялась улыбка, участники этой команды громко объявляли об этом для перепроверки достоверности увиденного режиссером.
Здесь мы заметили возможность для автоматизации процесса распознавания улыбок в кадре.​


На съемку следующего сезона мы приехали с первой версией детектора улыбок.

В основу легли нейронные сети InsightFace и FER позволяющие распознавать базовые эмоции человека и определять процент уверенности, что это именно распознанная эмоция. Нейросеть была обучена на записях предыдущего сезона.
В первой версии программа выводила таймкоды и номера камер, на которых коэффициент уверенности нейросети в распозанной улыбке был выше порогового значения. Пользоваться такой программой было проблематично - не было фиксации момента улыбки в виде изображения, а только временные промежутки.  


Интеграция в съемочный комплекс

Следующим шагом договорились со съемочной командой, чтобы интегрировать детектор с основной системой видеопродакшна.

Теперь нейросеть получает сигнал со всех камер. 

​Детектор находит улыбки на кадрах с каждой камеры, после чего выводит информацию о времени детекции и личности улыбнувшегося на отдельный экран у режиссера, а также выводит оверлей в виде желтой обводки на главный экран съемочной группы. Для удобства съемочной команды также выводятся скрины с историей обнаружения.


Что было дальше?

​Наша команда продолжает использовать детектор эмоций для съемок "Большого шоу". Более того факт использования в нем средств искусственного интеллекта активно раскрывается ведущим в эфире выпусков.

После успешного сотрудничества в контексте PTZ-съемок и внедрения искусственного интеллекта в съемочный процесс нас пригласили принять участие и в других проектах продакшна. И сейчас мы занимаемся разработкой для этих проектов.

Нейросети облегчают работу в любых сферах

Переходите и читайте подробнее о разработке