COMPUTER VISION IN ROBOTICS

Компьютерное зрение в робототехнике

Регистрация на курс

1 Введение

Занятие [7 октября 2020]

Лекция (Иван Хохлов) Предмет робототехники, проекты лаборатории. Соревнования, FIRA, RoboCup, лиги. Структура курса, цели, ожидаемый результат и форма оценивания. Демонстрация автономных роботов лиг KidSize и Junior. 

​Лекция уже доступна на нашем канале - https://youtu.be/EMXBKTGR5L4

Семинар (Иван Хохлов) Введение в git workflow и Google Colab.

Семинар уже доступен на нашем канале - https://youtu.be/sJAY6UeM9S0

Домашнее задание Находится на нашем GitHub в notebooks/github_1hw.ipynb. Форма для отправки ответов.

Форма для обратной связи - будем рады вашиму фидбеку о занятии. 

 

2 Классическое компьютерное зрение

Камера как основной источник информации для робота. Место компьютерного зрения в  проекте, связь с другими модулями. В рамках этой секции предполагается рассмотрение зрения с акцентом на код и реализацию необходимых для успешной игры модулей.

 

Занятие [1/3] [14 октября 2020]

Лекция (Егор Давыденко) Библиотека OpenCV. Объективы, типы оптических искажений, калибровка камеры и коррекция изображения. Цветовые пространства, фильтры, свертки, морфологическая обработка, медианный фильтр. Выделение границ.

Семинар (Егор ДавыденкоКалибровка камеры, корректировка искажений. Реализация фильтра зеленого как пример простейшего применяемого на практике фильтра.

 

Занятие [2/3] [21  октября 2020]

Лекция (Егор ДавыденкоПостановка задачи детектирования объектов на изображении и распознавания образов. Детектирование простых геометрических фигур различными методами. Преобразования координат на плоскости и в пространстве. Понятие аффинного преобразования, перспективного преобразования. Матрица смещения/поворота, ее компоненты. Углы Эйлера, кватернионы.

Семинар (Илья Осокин) Реализация детектора квадратов, линий, кругов, преобразования Birdview.

 

Занятие [3/3] [28 октября 2020]

Лекция (Егор Давыденко) Бинокулярное зрение у человека. Карта глубины, параллакс, диспаратность. Синхронизация камер, global shutter, калибровка. Облака точек, получение карты диспаратности, поиск. 

Семинар (Илья Осокин) Калибровка стереосистемы, получение карты диспаратности, получение облака точек.

Нахождение плоскости, выделение объектов по облаку точек.

 

3 Глубокое обучение

Алгоритмы глубокого обучения позволяют решать более сложные и вариативные задачи компьютерного зрения, чем классические методы. Они зачастую показывают лучшую стабильность к изменениям среды и более высокую точность. В этом разделе будут рассмотрены технические и идейные особенности самостоятельной реализации нейронных сетей. Будет дан обзор задач компьютерного зрения и методов их решения. Практические занятия включают обучение как самостоятельно реализованных сетей, так и существующих архитектур.

 

Занятие [1/3]

Лекция Введение в нейронные сети. Метод обратного распространения ошибки, функции потерь. Подготовка данных, обзор существующих датасетов.

Семинар Загрузка данных для обучения. Обучение простейшей нейронной сети.

 

Занятие [2/3]

Лекция Задача классификации. Знакомство с библиотекой PyTorch. Постановка задачи классификации для компьютерного зрения. Разбор основных архитектур.

Семинар Решение задачи классификации для MNIST.

 

Занятие [3/3] 

Лекция Детекция объектов на примере YOLO. Подробный разбор архитектуры. Примеры использования. Тонкости реализации.

Семинар Валидация YOLO на картинках из интернета. Fine-tuning на новом датасете.

 

4 Локализация

Неотъемлемой частью автономного робота является его способность определять свое положение в пространстве. Модуль локализации получает данные из модуля зрения и находит позицию робота. В рамках курса рассматривается два широко применяемых алгоритма локализации: фильтр частиц и SLAM. При рассмотрении фильтра частиц будут рассмотрены таких алгоритмы, как колесо отсева и фильтрация.

 

Занятие [1/2] 

Лекция Постановка задачи локализации. Последовательное рассмотрение возможных подходов к решению. Понятие частицы, как гипотетическое расположение робота. Фильтр частиц, колесо отсева.

Семинар Демонстрация работы алгоритма "фильтра частиц" на примере реальных данных с робота. Разбор отдельных частей алгоритма. Разбор различных возможных ситуаций. Подбор гиперпараметров фильтра частиц для адаптации под различные сценарии.

 

Занятие [2/2]

Лекция Ориентирование человека в незнакомой обстановке, визуальная одометрия, понятие о SLAM. Подходы к SLAM, детали реализации, примеры алгоритмов, широко применяющиеся системы.

Семинар Детектирование и сопоставление локальных особенностей с помощью OpenCV. Запуск системы ORB-SLAM2.

 

5 Архитектура

Лекция Принципы построения автономных систем. Разбор примеров проектов, разработанных лабораторией. Введение в Robot Operating System.

Семинар Запуск модуля ROS, интеграция в существующий проект. Создание ROS-обертки для рассмотренного ранее фильтра.

  • VK Share
  • Instagram
  • Facebook

©2020 AI in robotics. Сайт создан на Wix.com