Международная группа учёных из Португалии представила первое в своём роде мобильное приложение, которое превращает обычный смартфон в персонального ИИ-тренера по каратэ Шотокан. Приложение, построенное на технологии Google ML Kit Pose Detection, в реальном времени отслеживает 33 анатомических ключевых точки тела бойца и анализирует правильность выполнения трёх фундаментальных стоек: Дзенкуцу-дачи (передняя), Кокуцу-дачи (задняя) и Киба-дачи (конная). Результаты пилотного исследования опубликованы в престижном журнале Scientific Reports издательства Nature.
Техническая реализация приложения впечатляет своей доступностью. Система работает полностью на устройстве без необходимости подключения к облаку — никакие видеоданные не покидают смартфон пользователя. Приложение написано на Flutter и Dart, что обеспечивает кросс-платформенную совместимость с Android и iOS. В основе лежит модель BlazePose, которая определяет координаты X, Y и Z для каждой из 33 точек скелета при 30 кадрах в секунду. Для классификации стоек используется система математических правил — пороговые значения углов сгибания коленей, наклона корпуса и ширины расстановки ног.
Пилотные испытания проводились в контролируемых условиях на двух устройствах — Samsung Galaxy S10 (Snapdragon 855, 6 ГБ ОЗУ) и iPhone 12 (A14 Bionic, 4 ГБ ОЗУ). Камера располагалась на расстоянии 1,5 метра под углом 90 градусов при освещённости 300 люкс. Результаты показали среднюю абсолютную ошибку определения угла коленного сустава в 5,3° ± 3,2° и угла голени в 4,8° ± 2,6°. Эти показатели означают, что приложение способно с высокой точностью определить, правильно ли выполняется стойка, и указать конкретные ошибки в положении тела.
Помимо анализа стоек, приложение включает несколько дополнительных модулей. Тренировочный модуль автоматически подсчитывает повторения приседаний и отжиманий, определяя переходы между верхней и нижней фазой движения по углам суставов. Игровой модуль тестирует скорость реакции через распознавание ударов. Модуль статистики сохраняет историю тренировок и визуализирует прогресс спортсмена. При этом вся обработка данных происходит локально, что полностью защищает приватность пользователя.
«Система генерирует покадровые оценки углов суставов в контролируемых условиях», — отмечают исследователи во главе с Иваном Мигелем Пирешем из Института телекоммуникаций Университета Авейру. Среди авторов также — специалисты из Политехнического университета Лейрии, Университета Коимбры и INESC TEC в Порту. В число консультантов входит сертифицированный инструктор каратэ Шотокан, который валидировал результаты работы алгоритма. Исследование поддержано грантом Португальского фонда науки и технологий (FCT).
Учёные честно признают ограничения текущей версии: пилотное исследование проведено с участием одного спортсмена, фиксированные угловые пороги не учитывают разницу в телосложении, а 2D-проекция камеры вносит ошибки при движениях вне плоскости съёмки. Для полноценной валидации необходимо исследование как минимум с 30 практиками трёх уровней подготовки. Тем не менее работа демонстрирует перспективный тренд: стартапы вроде лондонского HITAI (участник NVIDIA Inception) уже создают коммерческие платформы боевой аналитики на компьютерном зрении, а ИИ-системы для тхэквондо и дзюдо активно внедряются на международных соревнованиях. Смартфон с нейросетью может стать виртуальным сэнсэем для миллионов любителей единоборств по всему миру.
