Анализ архитектуры нейронной сети PointNet

Цель. Большинство исследователей преобразуют данные облаков точек в обычные трехмерные воксельные сетки или коллекции изображений, что делает данные излишне объемными и вызывает проблемы при их обработке. Целью исследования является проведение анализа архитектуры нейронной сети PointNet. Метод. Применен единый подход к решению различных задач трехмерного распознавания, начиная от классификации объектов, сегментации деталей и заканчивая семантическим анализом сцены. Результат. Проведен сравнительный анализ классификации 2d и 3d объектов, подробно изучены слои и функции, благодаря которым происходит классификация. Рассмотрен тип нейронной сети, которая непосредственно использует облака точек, что хорошо учитывает инвариантность перестановок точек во входных данных. Определено, что сеть обеспечивает унифицированную архитектуру для приложений, начиная от классификации объектов, сегментации деталей и заканчивая семантикой сцены. Для семантической сегментации входными данными может быть, как отдельный объект из сегментации области детали, так и небольшая часть 3D-сцены. Нейронная сеть, которая широко используется для редактирования растровых изображений, графического дизайна и цифрового искусства представляет собой глубокую архитектуру облака точек под названием PointNet. Вывод. Представлена новая глубокая архитектура облака точек PointNet. Для задачи классификации объектов облако входных точек непосредственно выбирается из формы или предварительно сегментируется из облака точек сцены. Для получения виртуальной модели реального мира используются нейросетевые решения, основанные на предположении, что имеется RGB облако точек, полученное RGB-D камерой с одного или нескольких ракурсов.

1. Можаев А. Н. Сегментация облаков точек с помощью средств библиотеки point cloud library / А. Н. Можаев // Экстремальная робототехника. – 2018. – Т. 1, № 1. – С. 301-308. – EDN YNCUTJ

2. Zhu X. X., Tuia D., Mou L., Xia G. S., Zhang L., Xu F., Fraundorfer F. Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources // IEEE Geoscience and Remote Sensing Magazine. – 2017. – P. 8–36. DOI: 10.1109/MGRS.2017.2762307

3. Ферлитш Э. Шаблоны и практика глубокого обучения / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2022. – 538 с. ISBN 978-5-93700-113-9

4. Алиев Р.М., Мирзофат О.Н. «Сравнительный анализ применения методов обработки облаков точек PointNet и PointNet++ для задачи сегментации 3D-объектов» // Труды Института системного программирования РАН. - 2020. - Т. 29. - № 1. - С. 37-54.

5. Мельник С.П., Иванов И.В. «Анализ метода PointNet для задачи сегментации трехмерных объектов» // Информационные технологии и компьютерная инженерия. - 2018. - Т. 16. - № 5. - С. 951-960.

6. Федоров В.И., Поповкин В.В. «Сверточные нейронные сети в задаче классификации облаков точек» // Вестник Российской академии наук. - 2019. - Т. 89. - № 5. - С. 428-436.

7. Курманбаев Б.Б. «Применение метода PointNet для классификации трехмерных объектов» // Вестник КазНТУ. - 2019. - № 4(134). - С. 111-117.

8. Хаустов А.М., Прыгульский М.В. «Анализ предложенной архитектуры PointNet» // Информационные системы и технологии. - 2019. - № 4(98). - С. 49-57.

9. Гура Д.А., Дьяченко Р.А., Хушт Н.И. К вопросу о предобработке данных трехмерного лазерного сканирования // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2021. № 3. С. 39-46. EDN: GKDDTK

10. Гура Д.А., Дьяченко Р.А., Хушт Н.И., Марковский И.Г. К вопросу о методах генерации, классификации и распознавания трехмерных изображений // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2021. № 2. С. 86-97. EDN: KNEICL

11. Гура Д.А., Дьяченко Р.А., Андрющенко А.В. Технология имитации полетного маршрута беспилотного летательного аппарата и воздушного лазерного сканирования // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2022. № 6. С. 126-133. EDN: QPPBDL

12. Кадров И. В. Виды функций активации для обучения свёрточных нейронных сетей / И. В. Кадров, Л. Б. Кижнер // Вопросы устойчивого развития общества. – 2022. – № 6. – С. 1109-1115. – EDN TELYIO.

13. Косолапов П.А., Дьяченко Р.А., Гура Д.А., Хушт Н.И. К вопросу о нормализации данных трехмерного лазерного сканирования // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2021. № 4. С. 56-66. EDN: ILVHIQ

14. Свитов Д. В. Дистилляция моделей для распознавания лиц, обученных с применением функции Софтмакс с отступами / Д. В. Свитов, С. А. Алямкин // Автоматика и телемеханика. – 2022. – № 10. – С. 35-46. – DOI 10.31857/S000523102210004X. – EDN AJXJDG.

15. Krizhevsky I., Sutskever G. E., Hinton. Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6):84–90, May 2017. ISSN 0001-0782, 1557-7317. doi: 10.1145/3065386.

16. Малашин Р. О. Глава 12. Современные нейронные сети глубокого обучения для автоматического анализа изображений / Р. О. Малашин, С. В. Пономарев // Нейротехнологии : коллективная монография. – Санкт-Петербург : ВВМ, 2018. – С. 271-335. – EDN DHAIFS.

17. Maenpaa T. The local binary pattern approach to texture analysis – Extensions and Applications. – Oulu University Press, 2003.

18. Zaganidis A., Sun L., Duckett T., Cielniak G. Integrating Deep Semantic Segmentation into 3-D Point Cloud Registration // IEEE Robotics and Automation Letters. – 2018. – Vol. 3, No. 4. – P. 2942–2949. DOI:10.1109/LRA.2018.2848308

19. Орлова С. Р. Трехмерное распознавание: текущее состояние и тенденции / С. Р. Орлова, А. В. Лопота // Автоматика и телемеханика. – 2022. – № 4. – С. 5-26. – DOI 10.31857/S000523102204002X. – EDN AAALWB.

20. Березовский Б. А., Барышников Ю. М., Борзенко В. И., Кемпнер Л. М. Многокритериальная оптимизация: Математические аспекты / Б. А. Березовский, Ю. М. Барышников, В. И. Борзенко, Л. М. Кемпнер. М.: Наука, 1989. - 128 с. - ISBN 5-02-006543-9