Семинар-130

Расширенный семинар отдела
вычислительных систем ИММ УрО РАН

Доклад


Когда и где
1 июня 2020 г. 15:00, понедельник
Zoom
Докладчики
  • Гайнияров Игорь Мадыхатович
Название
Робот-ассистент в сфере образования. Постановка задачи, технические вызовы и предлагаемые решения
Аннотация
Рассматривается проблема захвата движений человека для удаленного отслеживания техники выполнения физических упражнений. Это решает проблемы длительного перемещения до места обучения и отсутствию внешней обратной связи по технике выполнения упражнений на дому для ученика. А для педагога - проблемы проверки усвоенных навыков учащегося и масштабирования количества людей, которых может вести один учитель. Это решается благодаря обратной связи от роботизированного ассистента, способного сравнивать технику выполнения упражнения с эталонной моделью движений.

Сбор требований к системе базируется на основании:
- опроса спортсменов, занимающихся марафонным бегом и их тренеров (в рамках 10 сезона акселератора УрФУ);
- интервью с двумя педагогами, занимающихся обучением игре на фортепиано (в рамках направления нейротехнологии Таватуй 2020);
- интервью с телесно-ориентированными психотерапевтами;
- работы с педагогом по постановке речи.

Вызовы на аппаратном уровне:
- дрейф нуля гироскопа, дребезг акселерометра;
- энергопотребление мобильной версии системы;
- data flow (длина маршрута, синхронные и асинхронные участки).

Вызовы на программном уровне:
- определить оптимальную скорость работы сенсоров для заданного движения;
- «выжать» документированную скорость работы сенсоров BMI160;
- понижение размерности входящего потока данных с сохранением его качества;
- расчеты на одноядерном одноплатнике (Raspberry Pi Zero W) для pattern matching;
- pattern matching для частично полученного движения (оценка степени совпадения по выполняющемуся в данный момент движению);
- вынесение части логики на сторону клиента (java script).

Вызовы на уровне внедрения:
- компактность, упаковка;
- кроссплатформенное приложение для вывода обратной связи;
- динамическое развертывание приложения (python flask) по json файлу с применением кодогенерации;
- обновление программы путем сериализации самих эталонных паттернов и алгоритмов сравнения в json.

Данный доклад носит ознакомительный характер с областью работ. Основной смысл в обосновании актуальности, знакомстве с задачами. Большее внимание будет уделено динамическому разворачиванию приложения и решению задачи pattern matching в заданном контексте.
Презентация
Ссылка на видео
Видео

Вернуться к списку новостей