Детектор эмоций в "Большом шоу"
Разработка первой версии детектора улыбок
В ноябре 2022 года нашу компанию, МИЭМ.ТВ, пригласили в качестве операторов PTZ-камер на съемки реалити-шоу "Большое шоу".
Прибыв на место, мы заметили, что улыбки актёров на площадке прямо во время съемок отсматривала команда из 5 человек. Как только на лице актера появлялась улыбка, участники этой команды громко объявляли об этом для перепроверки достоверности увиденного режиссером.
Здесь мы заметили возможность для автоматизации процесса распознавания улыбок в кадре.
На съемку следующего сезона мы приехали с первой версией детектора улыбок.
В основу легли нейронные сети InsightFace и FER позволяющие распознавать базовые эмоции человека и определять процент уверенности, что это именно распознанная эмоция. Нейросеть была обучена на записях предыдущего сезона.
В первой версии программа выводила таймкоды и номера камер, на которых коэффициент уверенности нейросети в распозанной улыбке был выше порогового значения. Пользоваться такой программой было проблематично - не было фиксации момента улыбки в виде изображения, а только временные промежутки.
Интеграция в съемочный комплекс
Следующим шагом договорились со съемочной командой, чтобы интегрировать детектор с основной системой видеопродакшна.
Теперь нейросеть получает сигнал со всех камер.
Детектор находит улыбки на кадрах с каждой камеры, после чего выводит информацию о времени детекции и личности улыбнувшегося на отдельный экран у режиссера, а также выводит оверлей в виде желтой обводки на главный экран съемочной группы. Для удобства съемочной команды также выводятся скрины с историей обнаружения.
Что было дальше?
Наша команда продолжает использовать детектор эмоций для съемок "Большого шоу". Более того факт использования в нем средств искусственного интеллекта активно раскрывается ведущим в эфире выпусков.
После успешного сотрудничества в контексте PTZ-съемок и внедрения искусственного интеллекта в съемочный процесс нас пригласили принять участие и в других проектахпродакшна. И сейчас мы занимаемся разработкой для этих проектов.
Нейросети облегчают работу в любых сферах
Переходите и читайте подробнее о разработке