В рамках проекта по промышленной дефектоскопии ученые МАИ разработали уникальную методику по созданию синтетических данных. Обученная на этих данных нейросеть позволяет снимать показания промышленных приборов при помощи умной камеры беспилотника.

Одной из важнейших задач на промышленных объектах является поддержание исправности оборудования и инфраструктуры. Обычно ее выполняют квалифицированные специалисты, но обход огромных территорий занимает много времени, а в некоторых местах - и небезопасен для человека. Для выполнения этой работы в последние годы стали активно использовать беспилотники, оснащенные умными камерами, которые позволяют в автоматическом режиме контролировать объекты инфраструктуры и снимать показания с приборов - как электронных, так и стрелочных.

Такой проект для теплоэлектростанции реализовали в МАИ. В задачи промышленного беспилотника входят, в частности, дефектоскопия труб, связанных с топкой парового котла, а также определение показаний приборов машинного зала.

- Для машинного зрения распознавание показаний приборов сильно отличается от дефектоскопии труб. Главная сложность заключается в том, что дрон может с любой стороны подлететь к манометру, прибор может иметь разные ракурсы освещения, соответственно, получатся разные изображения. Поскольку реальных данных для обучения нейросети в нашем распоряжении было мало, мы сделали синтетический датасет, связанный с манометром. Мы изучили большой массив мировых научных публикаций и выяснили, что для стрелочных приборов, которые до сих пор используются повсеместно, не существует универсальной методики создания синтетических данных. Похожую задачу решали американские коллеги в Гарварде, но они смогли предложить решение только для неподвижной камеры, мы же сделали свое оригинальное решение для камеры БЛА в полете, - рассказывает один из разработчиков, руководитель лаборатории искусственного интеллекта института № 8 "Компьютерные науки и прикладная математика" МАИ Вадим Кондаратцев.

Не менее сложной задачей было научить систему определять дефекты труб. Главная трудность здесь состояла в том, что дрон летает в полной темноте с зажженным прожектором, а потому в зависимости от того, как ложится на трубу свет, меняется и изображение возможного дефекта. Таких сложных вариаций реальных изображений на практике получить невозможно, поэтому и здесь разработчики пошли по пути создания генератора синтетических данных.

- Технически это выглядит следующим образом. Разработчик берет целевую модель обстановки - улицу, помещение, топку котла, трубу и т.д. - и под эту целевую модель заготавливает, во-первых, базовую сцену: в нашем случае, создает в специальной программе 3D-модель трубы. Потом придумывает алгоритм, как, имея базовую сцену, автоматически двигать камеру, строить разметку, наносить дефекты. Как ставить фильтры, которые будут искажать изображение таким образом, чтобы моделировать реальную съемку. Как сделать так, чтобы данные, которые генерируются на основе этого движка, упаковывались и отправлялась в фреймворк обучения нейронной сети, - отмечает эксперт.

Разработка таких исходных 3D-моделей - довольно трудоемкая работа, которая в среднем занимает несколько месяцев. Зато когда генератор готов, он способен за неделю создать несколько сотен тысяч изображений, которых вполне хватает для обучения нейросети.

- Конечно, обученный специалист распознает дефекты и считывает показания приборов в 100% случаев: для умной камеры это пока невозможный показатель. Но в данном случае выигрыш в скорости: дрон с умной камерой может облететь всю топку за пять минут, а человеку надо потратить несколько недель на строительство лесов и последующий осмотр, не говоря уже о рисках при проведении такого рода работ, - говорит Вадим Кондаратцев.

Материал подготовлен при поддержке Минобрнауки России