Продуктивность, сервисы, обучение HitFactor

В начале 2018 года в нашу компанию Doubletapp обратились чемпионы мира по практической стрельбе: Алёна Карелина и Роман Халитов. В их виде спорта главный показатель — это хит-фактор: количество набранных очков деленное на время прохождения упражнения. Поэтому важно не только точно стрелять, но и делать это максимально быстро.

Мобильное приложение HitFactor Shots Analysis — профессиональный инструмент, который помогает спортсмену найти слабые места в своей технике прохождения упражнения и позволяет сравнивать себя с другими стрелками.

Оно распознает звуки выстрелов и стартовый сигнал начала упражнения, отображает их на временной шкале, что позволяет детально проанализировать каждое действие спортсмена в любой момент времени от начала и до конца.


КАК ЭТО РАБОТАЕТ?

Вы записываете на телефон видео прохождения упражнения, приложение анализирует его, отмечает на таймлайне звуки выстрелов, стартовый сигнал, считает интервалы между выстрелами. На основе этой информации можно понять на какие движения вы тратите наибольшее время.

Также можно сравнить два видео: себя с самим собой или себя с другим спортсменом. Видео синхронизируются по сигналам старта, а на таймлайне можно увидеть сравнение скорости выстрелов в разные моменты времени.

Итоговое видео с анализом стрельбы можно сохранить в Full HD формате.

Статья о проекте попала в лучшее на vc.ru https://vc.ru/tribuna/92856-kak-neyroseti-pomogayut-razvivat-navyki-po-strelbe-istoriya-ot-chempionov-mira

Подробнее узнать о приложении и увидеть его в деле можно в нашем видео-интервью с заказчиками https://youtu.be/nSBalSVjtk8


ПРОБЛЕМА

у профессиональных спортсменов по практической стрельбе огромное значение имеет скорость прохождения упражнения. Имеют значение даже десятые доли секунды. Необходим инструмент, который позволит очень точно сравнивать прохождение одного и того же упражнения себя с самим собой или себя с другим спортсменом. Такой инструмент позволит видеть в каких моментах другие стрелки тебя обгоняют и понимать почему это происходит. За счет этого техника стрельбы будет совершенствоваться.


РЕШЕНИЕ

Для решения этой задачи команда Doubletapp реализовала iOS-приложение, включающее в себя:

— Распознавание звуков выстрелов и стартовых сигналов из видео полностью оффлайн на iOS-устройстве;
— Отображение распознанных звуков на временной шкале;
— Удобный интерфейс для сравнения двух видео с видимостью того, когда произошел каждый выстрел и сколько времени было между выстрелами;
— Возможность сохранить итоговое видео анализа стрельбы.

Распознавание выстрелов по звуку может показаться простой задачей, которую с некоторой точностью можно решить с помощью определения выстрела по громкости. Такое решение было получено в качестве бэйзлайна и оказалось очень не точным: больше половины звуков не являлись выстрелами. Среди громких звуков на стрельбище часто встречается речь, произнесенная возле камеры и разные лязги оружия. Также такой подход не помогал в распознавании стартовых сигналов.

Поэтому мы задействовали нейронные сети. Клиент предоставил нам более тысячи видео со стрельб, и мы разработали инструмент, который позволил нам быстро разметить в видео места выстрелов и стартовые сигналы. Разработанная нейронная сеть состоит из сверточных и рекуррентных слоев и работает поверх спектрограммы. Сеть была интегрирована в приложение с помощью CoreML и работает полностью в оффлайн режиме.

Выставлено в номинациях:
   — Продуктивность, сервисы, обучение