<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">vdgtu</journal-id><journal-title-group><journal-title xml:lang="ru">Вестник Дагестанского государственного технического университета. Технические науки</journal-title><trans-title-group xml:lang="en"><trans-title>Herald of Dagestan State Technical University. Technical Sciences</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2073-6185</issn><issn pub-type="epub">2542-095X</issn><publisher><publisher-name>Daghestan State Technical University</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.21822/2073-6185-2023-50-4-158-165</article-id><article-id custom-type="elpub" pub-id-type="custom">vdgtu-1404</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИ</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>INFORMATION TECHNOLOGY AND TELECOMMUNICATIONS</subject></subj-group></article-categories><title-group><article-title>Анализ архитектуры нейронной сети PointNet</article-title><trans-title-group xml:lang="en"><trans-title>Analysis of the PointNet neural network architecture</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Щенявская</surname><given-names>Л. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Shchenyavskaya</surname><given-names>L. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Щенявская Людмила Андреевна - лаборант кафедры кадастра и геоинженерии.</p><p>1350072, Краснодар, ул. Московская, 2</p></bio><bio xml:lang="en"><p>Lyudmila A. Shchenyavskaya - Laboratory assistant, Department of Cadastre and Geoengineering.</p><p>2 Moskovskaya St., Krasnodar 350072</p></bio><email xlink:type="simple">yudmela2311@mail.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Гура</surname><given-names>Д. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Gura</surname><given-names>D. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Гура Дмитрий Андреевич - кандидат технических наук, доцент кафедры кадастра и геоинженерии.</p><p>1350072, Краснодар, ул. Московская, 2; 2350044, Краснодар, ул. имени Калинина 13</p></bio><bio xml:lang="en"><p>Dmitry A. Gura - Cand. Sci.(Eng.), Assoc.Prof.; Department of Cadastre and Geoengineering.</p><p>2 Moskovskaya St., Krasnodar 350072; 13 Kalinin St., Krasnodar 350044</p></bio><email xlink:type="simple">gda-kuban@mail.ru</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Дьяченко</surname><given-names>Р. А.</given-names></name><name name-style="western" xml:lang="en"><surname>Dyachenko</surname><given-names>R. A.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Дьяченко Роман Александрович - доктор технических наук, профессор кафедры информатики и вычислительной техники.</p><p>1350072, Краснодар, ул. Московская, 2</p></bio><bio xml:lang="en"><p>Roman A. Dyachenko - Dr. Sci.(Eng.), Prof., Department of Informatics and Computer Engineering.</p><p>2 Moskovskaya St., Krasnodar 350072</p></bio><email xlink:type="simple">emessage@rambler.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru"><institution>Кубанский государственный технологический университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Kuban State Technological University</institution><country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru"><institution>Кубанский государственный технологический университет; Кубанский государственный аграрный университет</institution><country>Россия</country></aff><aff xml:lang="en"><institution>Kuban State Technological University; Kuban State Agrarian University</institution><country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2023</year></pub-date><pub-date pub-type="epub"><day>23</day><month>01</month><year>2024</year></pub-date><volume>50</volume><issue>4</issue><fpage>158</fpage><lpage>165</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Щенявская Л.А., Гура Д.А., Дьяченко Р.А., 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Щенявская Л.А., Гура Д.А., Дьяченко Р.А.</copyright-holder><copyright-holder xml:lang="en">Shchenyavskaya L.A., Gura D.A., Dyachenko R.A.</copyright-holder><license xml:lang="ru" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>Данная работа распространяется под лицензией Creative Commons Attribution 4.0.</license-p></license><license xml:lang="en" license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://vestnik.dgtu.ru/jour/article/view/1404">https://vestnik.dgtu.ru/jour/article/view/1404</self-uri><abstract><p>Цель. Большинство исследователей преобразуют данные облаков точек в обычные трехмерные воксельные сетки или коллекции изображений, что делает данные излишне объемными и вызывает проблемы при их обработке. Целью исследования является проведение анализа архитектуры нейронной сети PointNet. Метод. Применен единый подход к решению различных задач трехмерного распознавания, начиная от классификации объектов, сегментации деталей и заканчивая семантическим анализом сцены. Результат. Проведен сравнительный анализ классификации 2d и 3d объектов, подробно изучены слои и функции, благодаря которым происходит классификация. Рассмотрен тип нейронной сети, которая непосредственно использует облака точек, что хорошо учитывает инвариантность перестановок точек во входных данных. Определено, что сеть обеспечивает унифицированную архитектуру для приложений, начиная от классификации объектов, сегментации деталей и заканчивая семантикой сцены. Для семантической сегментации входными данными может быть, как отдельный объект из сегментации области детали, так и небольшая часть 3D-сцены. Нейронная сеть, которая широко используется для редактирования растровых изображений, графического дизайна и цифрового искусства представляет собой глубокую архитектуру облака точек под названием PointNet. Вывод. Представлена новая глубокая архитектура облака точек PointNet. Для задачи классификации объектов облако входных точек непосредственно выбирается из формы или предварительно сегментируется из облака точек сцены. Для получения виртуальной модели реального мира используются нейросетевые решения, основанные на предположении, что имеется RGB облако точек, полученное RGB-D камерой с одного или нескольких ракурсов.</p></abstract><trans-abstract xml:lang="en"><p>Objective. Most researchers convert point cloud data into ordinary three-dimensional voxel grids or image collections, which makes the data unnecessarily voluminous and causes problems when processing them. The purpose of the study is to analyze the architecture of the PointNet neural network. Method. A unified approach has been applied to solving various 3D recognition problems, ranging from object classification, detail segmentation to semantic scene analysis. Result. A comparative analysis of the classification of 2d and 3d objects was carried out, the layers and functions through which classification occurs were studied in detail. A type of neural network is considered that directly uses point clouds, which takes into account the invariance of permutations of points in the input data. The network is determined to provide a unified architecture for applications ranging from object classification, part segmentation, and scene semantics. For semantic segmentation, the input data can be either a single object from the part area segmentation or a small part of the 3D scene. A neural network that is widely used for raster image editing, graphic design, and digital art is a deep point cloud architecture called PointNet. Conclusion. A new deep point cloud architecture, PointNet, is introduced. For object classification task, the input point cloud is directly selected from the shape or pre-segmented from the scene point cloud. To obtain a virtual model of the real world, neural network solutions are used, based on the assumption that there is an RGB point cloud obtained by an RGB-D camera from one or several angles.</p></trans-abstract><kwd-group xml:lang="ru"><kwd>облако точек</kwd><kwd>трехмерное пространство</kwd><kwd>архитектура PointNet</kwd><kwd>входные данные</kwd><kwd>пространственные объекты</kwd><kwd>задачи классификации и сегментации</kwd><kwd>глобальная функция</kwd><kwd>визуализация данных</kwd></kwd-group><kwd-group xml:lang="en"><kwd>point cloud</kwd><kwd>three-dimensional space</kwd><kwd>PaintNet architecture</kwd><kwd>input data</kwd><kwd>spatial objects</kwd><kwd>classification and segmentation tasks</kwd><kwd>global function</kwd><kwd>data visualization</kwd></kwd-group></article-meta></front><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Можаев А. Н. Сегментация облаков точек с помощью средств библиотеки point cloud library / А. Н. Можаев // Экстремальная робототехника. – 2018. – Т. 1, № 1. – С. 301-308. – EDN YNCUTJ</mixed-citation><mixed-citation xml:lang="en">Mozhaev A. N. Segmentation of point clouds by means of the point cloud library. Extreme robotics. 2018; 1(1):301-308. – EDN YNCUTJ (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Zhu X. X., Tuia D., Mou L., Xia G. S., Zhang L., Xu F., Fraundorfer F. Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources // IEEE Geoscience and Remote Sensing Magazine. – 2017. – P. 8–36. DOI: 10.1109/MGRS.2017.2762307</mixed-citation><mixed-citation xml:lang="en">Zhu X. X., Tuia D., Mou L., Xia G. S., Zhang L., Xu F., Fraundorfer F. Deep Learning in Remote Sensing: A Comprehensive Review and List of Resources. IEEE Geoscience and Remote Sensing Magazine. 2017; 8–36. DOI: 10.1109/MGRS.2017.2762307</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Ферлитш Э. Шаблоны и практика глубокого обучения / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2022. – 538 с. ISBN 978-5-93700-113-9</mixed-citation><mixed-citation xml:lang="en">Ferrit S. E. Patterns and practice of deep learning / translated from English by A.V. Logunov. – M.: DMK Press, 2022; 538. ISBN 978-5-93700-113-9(In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Алиев Р.М., Мирзофат О.Н. «Сравнительный анализ применения методов обработки облаков точек PointNet и PointNet++ для задачи сегментации 3D-объектов» // Труды Института системного программирования РАН. - 2020. - Т. 29. - № 1. - С. 37-54.</mixed-citation><mixed-citation xml:lang="en">Aliyev R.M., Morozova O.N. “Comparative analysis of the application of point cloud processing methods Paint Net and Paint Net++ for the task of segmentation of 3D objects”. Proceedings of the Institute of System Programming of the Russian Academy of Sciences. 2020; 29(1):37-54. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Мельник С.П., Иванов И.В. «Анализ метода PointNet для задачи сегментации трехмерных объектов» // Информационные технологии и компьютерная инженерия. - 2018. - Т. 16. - № 5. - С. 951-960.</mixed-citation><mixed-citation xml:lang="en">Melnik S.P., Ivanov I.V. Analysis of the PointNet method for the task of segmentation of three-dimensional objects”. Information technologies and computer engineering. 2018; 16( 5): 951-960. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Федоров В.И., Поповкин В.В. «Сверточные нейронные сети в задаче классификации облаков точек» // Вестник Российской академии наук. - 2019. - Т. 89. - № 5. - С. 428-436.</mixed-citation><mixed-citation xml:lang="en">Fedorov V.I., Popovkin V.V. “Convolutional neural networks in the problem of point cloud classification” Bulletin of the Russian Academy of Sciences. 2019; 89(5):428-436. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Курманбаев Б.Б. «Применение метода PointNet для классификации трехмерных объектов» // Вестник КазНТУ. - 2019. - № 4(134). - С. 111-117.</mixed-citation><mixed-citation xml:lang="en">Kurmanbaev B.B. “Application of the PointNet method for classification of three-dimensional objects” Bulletin of KazNTU. 2019; 4(134): 111-117. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Хаустов А.М., Прыгульский М.В. «Анализ предложенной архитектуры PointNet» // Информационные системы и технологии. - 2019. - № 4(98). - С. 49-57.</mixed-citation><mixed-citation xml:lang="en">Khaustov A.M., Prygulsky M.V. “Analysis of the proposed PointNet architecture”. Information systems and technologies. 2019; 4(98): 49-57. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Гура Д.А., Дьяченко Р.А., Хушт Н.И. К вопросу о предобработке данных трехмерного лазерного сканирования // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2021. № 3. С. 39-46. EDN: GKDDTK</mixed-citation><mixed-citation xml:lang="en">Gura D.A., Dyachenko R.A., Khusht N.I. On the issue of preprocessing three-dimensional laser scanning data. Electronic network polythematic journal “Scientific works of KubSTU”. 2021; 3:39-46. EDN: GKDDTK (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Гура Д.А., Дьяченко Р.А., Хушт Н.И., Марковский И.Г. К вопросу о методах генерации, классификации и распознавания трехмерных изображений // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2021. № 2. С. 86-97. EDN: KNEICL</mixed-citation><mixed-citation xml:lang="en">Gura D.A., Dyachenko R.A., Khusht N.I., Markovsky I.G. On the methods of generation, classification and recognition of three-dimensional images. Electronic network polythematic journal “Scientific works of KubSTU”. 2021; 2: 86-97. EDN: KNEICL (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Гура Д.А., Дьяченко Р.А., Андрющенко А.В. Технология имитации полетного маршрута беспилотного летательного аппарата и воздушного лазерного сканирования // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2022. № 6. С. 126-133. EDN: QPPBDL</mixed-citation><mixed-citation xml:lang="en">Gura D.A., Dyachenko R.A., Andryushchenko A.V. Technology of flight route simulation of an unmanned aerial vehicle and aerial laser scanning. Electronic network polythematic journal “Scientific works of KubSTU”. 2022; 6: 126-133. EDN: QPPBDL (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Кадров И. В. Виды функций активации для обучения свёрточных нейронных сетей / И. В. Кадров, Л. Б. Кижнер // Вопросы устойчивого развития общества. – 2022. – № 6. – С. 1109-1115. – EDN TELYIO.</mixed-citation><mixed-citation xml:lang="en">Cadres I. V. Types of activation functions for training convolutional neural networks / I. V. Cadres, L. B. Kizhner. Issues of sustainable development of society. 2022; 6: 1109-1115. – EDN TELYIO. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Косолапов П.А., Дьяченко Р.А., Гура Д.А., Хушт Н.И. К вопросу о нормализации данных трехмерного лазерного сканирования // Электронный сетевой политематический журнал «Научные труды КубГТУ». 2021. № 4. С. 56-66. EDN: ILVHIQ</mixed-citation><mixed-citation xml:lang="en">Kosolapov P.A., Dyachenko R.A., Gura D.A., Khusht N.I. On the normalization of three-dimensional laser scanning data. Electronic network polythematic journal “Scientific works of KubSTU”. 2021; 4: 56-66. EDN: ILVHIQ (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Свитов Д. В. Дистилляция моделей для распознавания лиц, обученных с применением функции Софтмакс с отступами / Д. В. Свитов, С. А. Алямкин // Автоматика и телемеханика. – 2022. – № 10. – С. 35-46. – DOI 10.31857/S000523102210004X. – EDN AJXJDG.</mixed-citation><mixed-citation xml:lang="en">Svitov D. V. Distillation of models for face recognition trained using the Softmax function with indents / D. V. Svitov, S. A. Alyamkin. Automation and telemechanics. 2022; 10:35-46. – DOI 10.31857/S000523102210004X. – EDN AJXJDG. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Krizhevsky I., Sutskever G. E., Hinton. Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6):84–90, May 2017. ISSN 0001-0782, 1557-7317. doi: 10.1145/3065386.</mixed-citation><mixed-citation xml:lang="en">Krizhevsky I., Sutskever G. E. Hinton. Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6):84–90, May 2017. ISSN 0001-0782, 1557-7317. doi: 10.1145/3065386.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Малашин Р. О. Глава 12. Современные нейронные сети глубокого обучения для автоматического анализа изображений / Р. О. Малашин, С. В. Пономарев // Нейротехнологии : коллективная монография. – Санкт-Петербург : ВВМ, 2018. – С. 271-335. – EDN DHAIFS.</mixed-citation><mixed-citation xml:lang="en">Malashin R. O. Chapter 12. Modern neural networks of deep learning for automatic image analysis / R. O. Malashin, S. V. Ponomarev. Neurotechnologies : a collective monograph. St. Petersburg : VVM, 2018; 271-335. – EDN DHAIFS. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Maenpaa T. The local binary pattern approach to texture analysis – Extensions and Applications. – Oulu University Press, 2003.</mixed-citation><mixed-citation xml:lang="en">Maenpaa T. The local binary pattern approach to texture analysis – Extensions and Applications. Oulu University Press, 2003.</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Zaganidis A., Sun L., Duckett T., Cielniak G. Integrating Deep Semantic Segmentation into 3-D Point Cloud Registration // IEEE Robotics and Automation Letters. – 2018. – Vol. 3, No. 4. – P. 2942–2949. DOI:10.1109/LRA.2018.2848308</mixed-citation><mixed-citation xml:lang="en">Zaganidis A., Sun L., Duckett T., Cielniak G. Integrating Deep Semantic Segmentation into 3-D Point Cloud Registration. IEEE Robotics andAutomation Letters. 2018;3(4): 942–2949. DOI:10.1109/LRA.2018.2848308</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Орлова С. Р. Трехмерное распознавание: текущее состояние и тенденции / С. Р. Орлова, А. В. Лопота // Автоматика и телемеханика. – 2022. – № 4. – С. 5-26. – DOI 10.31857/S000523102204002X. – EDN AAALWB.</mixed-citation><mixed-citation xml:lang="en">Orlova S. R. Three-dimensional recognition: current state and trends / S. R. Orlova, A.V. Lopota. Automation and telemechanics. 2022; 4: 5-26. DOI 10.31857/S000523102204002X. – EDN AAALWB. (In Russ)</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Березовский Б. А., Барышников Ю. М., Борзенко В. И., Кемпнер Л. М. Многокритериальная оптимизация: Математические аспекты / Б. А. Березовский, Ю. М. Барышников, В. И. Борзенко, Л. М. Кемпнер. М.: Наука, 1989. - 128 с. - ISBN 5-02-006543-9</mixed-citation><mixed-citation xml:lang="en">Berezovsky B. A., Baryshnikov Yu. M., Borzenko V. I., Kempner L. M. Multicriteria optimization: Mathematical aspects / B. A. Berezovsky, Yu. M. Baryshnikov, V. I. Borzenko, L. M. Kempner. M.: Nauka, 1989; 128.- ISBN 5-02-006543-9 (In Russ)</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
