Детекция движений

В феврале 2024 года нашей команде предложили поучаствовать в съемках нового шоу «Замри». Сама концепция шоу — не реагировать и не шевелится во время испытаний, в которых испытывают силу воли участников. Так как мы уже работали с этой компанией и в прошлый раз предложили автоматизировать процесс распознавания улыбок, нас и в этот раз попросили для шоу разработать детектор движений.

Если в других детекторах обнаружение движения происходит за счет сравнения двух соседних кадров и нахождения разности по пикселям, то в нашей программе было учтено, что в кадре могут находиться посторонние движущиеся предметы. Исходя из этого, в нашей программе используется другой подход: она основывается непосредственно на распознавании позы человека. После определения позы в нескольких последовательных кадрах высчитывается метрика движения. Уже относительно этой метрики делается вывод: была ли реакция или движение у участника и насколько сильно. В основе программы лежат несколько нейронных сетей YOLOv8 для детекции человека, а также easy-vit-pose для определения позы человека.

Уже в сентябре на съемках первого сезона использовалась наша разработка. Для этого на площадке мы установили несколько наших камер, которые были направлены на участников, потоки с них использовались для детекции. После этого уже вычислялся игровой счет каждого из участников. Для режиссера и игроков отображался графический интерфейс программы, где уже можно было увидеть счет игрока, его график движений и самого игрока в реальном времени, на котором отрисовывалась его поза.

В процессе съемок были выявлены небольшие трудности, ракурс с наших камер оказался не самым подходящим, из-за этого иногда засчитывались лишние очки игрокам, которые исправлялись вручную. Исходя из этого в дальнейшем планируется адаптация к установленным ракурсам. И также планируется создание собственной нейронной сети для определения факта движения в заданных условиях!