vdgtuВестник Дагестанского государственного технического университета. Технические наукиHerald of Dagestan State Technical University. Technical Sciences2073-61852542-095XDaghestan State Technical University10.21822/2073-6185-2023-50-1-114-122vdgtu-1223Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИINFORMATION TECHNOLOGY AND TELECOMMUNICATIONSРазработка программно-технического решения для выявления трендов спроса на товарыDevelopment of a software and hardware solution to identify trends in demand for goodsМифтаховаА. И.MiftahovaA. I.

Мифтахова Альбина Ирековна, студент, факультет инфокоммуникационных технологий

197101, г. Санкт-Петербург, Кронверкский проспект, д.49, лит. А

Albina I. Miftahova, Student

49, lit. A, Kronverksky Ave., St. Petersburg 197101

miftakhovaalbina@gmail.comЯнгировЭ. И.YangirovE. I.

Янгиров Эмиль Илдарович, студент, факультет инфокоммуникационных технологий

197101, г. Санкт-Петербург, Кронверкский проспект, д.49, лит. А

Emil I. Yangirov, Student

49, lit. A, Kronverksky Ave., St. Petersburg 197101

emilyangirov@gmail.comКарасеваЕ. И.KarasevaE. I.

Карасева Екатерина Ивановна, кандидат экономических наук, доцент, факультетаинфокоммуникационных технологий 

197101, г. Санкт-Петербург, Кронверкский проспект, д.49, лит. А

Ekaterina I. Karaseva, Cand. Sci. (Econom), Assoc. Prof.

49, lit. A, Kronverksky Ave., St. Petersburg 197101

eikaraseva@itmo.ruЯнгировА. И.YangirovA. I.

Янгиров Адиль Илдарович, начальник сектора функциональных испытаний инженерно-техническихсредств защиты отдела технических экспертиз и функциональных испытаний 

111539, г. Москва, Реутовская, 12Б

Adil I. Yangirov, Head of the sector of functional testing of engineering and technical means of protectionof the department of technical expertise and functional tests

12B Reutovskaya Str., Moscow 111539

adil-yan@yandex.ruНикулинаЕ. Ю.NikulinaE. Yu.

Никулина Екатерина Юрьевна, кандидат технических наук, доцент, кафедра автоматизированныхинформационных систем ОВД

394065, г. Воронеж, пр. Патриотов, 53

Ekaterina Yu. Nikulina, Cand. Sci. (Eng), Assoc. Prof., Department of Automated Information Systems ofthe Department of Internal Affairs

53 Patriotov Ave., Voronezh 394065

5nikeu@mail.ruДровниковаИ. Г.DrovnikovaI. G.

Дровникова Ирина Григорьевна, доктор технических наук, доцент, профессор кафедры автоматизированных информационных систем органов внутренних дел 

394065, г. Воронеж, пр. Патриотов, 53

Irina G. Drovnikova, Dr. Sci. (Eng.), Prof., Assoc. Prof., Department of Automated Information Systemsof Internal Affairs Bodies

53 Patriotov Ave., Voronezh 394065

idrovnikova@mail.ruУниверситет ИТМОРоссияITMO UniversityRussian FederationФКУ «НИЦ «Охрана» РосгвардииРоссияFKU "Research Center "Protection" of the Russian GuardRussian FederationВоронежский институт МВД РоссииРоссияVoronezh Institute of the Ministry of Internal Affairs of RussiaRussian Federation202310052023501114122Copyright © Мифтахова А.И., Янгиров Э.И., Карасева Е.И., Янгиров А.И., Никулина Е.Ю., Дровникова И.Г., 20232023Мифтахова А.И., Янгиров Э.И., Карасева Е.И., Янгиров А.И., Никулина Е.Ю., Дровникова И.Г.Miftahova A.I., Yangirov E.I., Karaseva E.I., Yangirov A.I., Nikulina E.Y., Drovnikova I.G.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.dgtu.ru/jour/article/view/1223Цель

Цель. Целью исследовательской работы является разработка программного решения для выявления трендов спроса на потребительские товары путем анализа больших данных.

Методы

Методы. Для достижения поставленной цели в работе было проанализировано текущее состояние развития рынка интернет-ретейла в России, а также рассмотрены технологии и инструменты анализа больших данных, необходимые для проектирования программно-технического решения. Для оценки эффективности полученной модели обработки данных применяется выборка, полученная из открытых источников.

Результат

Результат. В результате исследования разработано техническое решение, позволяющее анализировать спрос на товары в заданном временном диапазоне на основе данных из открытых источников.

Вывод

Вывод. Разработан программный компонент, позволяющий анализировать спрос на потребительские товары на основе данных о заказах. Полученное техническое решение поддерживает пакетную обработку данных, а архитектура инфраструктурного компонента позволяет вести вычисления распределенно. Тестирование инструмента на реальной выборке показало эффективность такого подхода к анализу трендов потребительского спроса.

Objective

Objective. The aim of the research work is to develop a software solution for identifying trends in demand for consumer goods by analyzing big data.

Method

Method. To achieve this goal, the work analyzed the current state of development of the Internet retail market in Russia, as well as the technologies and tools for analyzing big data necessary for designing a software and hardware solution. To evaluate the effectiveness of the obtained data processing model, a sample obtained from open sources is used.

Result

Result. As a result of the study, a technical solution has been developed that allows analyzing the demand for goods in a given time range based on data from open sources.

Conclusion

Conclusion. A software component has been developed to analyze the demand for consumer goods based on order data. The resulting technical solution supports batch processing of data, and the architecture of the infrastructure component allows distributed computing. Testing the tool on a real sample showed the effectiveness of this approach to analyzing consumer demand trends.

большие данныеспрострендестественный языкпрограммный компонентbig datademandtrendnatural languagesoftware componentReferencesВеличко, Н. А. Технология Big Data. Анализ рынка Big Data / Н. А. Величко, И. П. Митрейкин // Синергия Наук. – 2018. – № 30. – С. 937-943.Velichko N. A. Big Data technology. Analysis of the Big Data market/ N. A. Velichko, I. P. Mitreikin. Synergy of Sciences. 2018; 30: 937-943.[In Russ]Черненко, О. С. Применение TF-IDF алгоритма в рекомендательных системах государственных закупок / О. С. Черненко // Мир компьютерных технологий: Сборник статей студенческой научнотехнической конференции, Севастополь, 04–07 апреля 2017 года / Научный редактор Е.Н. Мащенко. – Севастополь: Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет", 2017. – С. 66-67.Chernenko O. S. Application of the TF-IDF algorithm in recommendatory public procurement systemsWorld of Computer Technologies: Collection of articles of the student scientific and technical conference, Sevastopol, April 04–07, 2017 / Scientific editor E .N. Mashchenko. - Sevastopol: Federal State Autonomous Educational Institution of Higher Education "Sevastopol State University", 2017; 66-67 [In Russ].Леонтьева, С. А. Кластеризация изображений методом "k-средних" / С. А. Леонтьева, А. Ю. Демин // Молодежь и современные информационные технологии: Сборник трудов XVI Международной научно-практической конференции студентов, аспирантов и молодых ученых, Томск, 03–07 декабря 2018 года/Томский политехнический университет. – Томск: Национальный исследовательский Томский политехнический университет, 2019. – С. 86-87.Leontieva, S. A. Clustering of images by the "k-means" method / S. A. Leontieva, A. Yu. Demin . Youth and modern information technologies: Proceedings of the XVI International scientific and practical conference of students, graduate students and young scientists , Tomsk, December 03–07, 2018 / Tomsk Polytechnic University. Tomsk: National Research Tomsk Polytechnic University, 2019; 86-87.[In Russ]Прохоренков, П. А. Современные информационные технологии маркетинга / П. А. Прохоренков, О. М. Гусарова, Т. В. Аверьянова // Фундаментальные исследования. – 2018. – № 12-1. – С. 158-162.Prokhorenkov P. A. Modern information marketing technologies / P. A. Prokhorenkov, O. M. Gusarova, T. V. Averyanova. Fundamental research. 2018;12(1): 158-162.[In Russ]Маркетинговое исследование Интернет-торговля в России 2021 // Data Insight URL: https://datainsight.ru/eCommerce_2021 (дата обращения: 19.09.2022).Marketing research Internet commerce in Russia 2021. Data Insight URL: https://datainsight.ru/eCommerce_2021 (Accessed 09/19/2022). [In Russ]Kiran M. et al. Lambda architecture for cost-effective batch and speed big data processing //2015 IEEE International Conference on Big Data (Big Data). – IEEE, 2015. – С. 2785-2792.Kiran M. et al. Lambda architecture for cost-effective batch and speed big data processing //2015 IEEE International Conference on Big Data (Big Data). IEEE, 2015; 2785-2792.Panwar A., Bhatnagar V. Data lake architecture: a new repository for data engineer //International Journal of Organizational and Collective Intelligence (IJOCI). – 2020. – Т. 10. – №. 1. – С. 63-75.Panwar A., Bhatnagar V. Data lake architecture: a new repository for data engineer. International Journal of Organizational and Collective Intelligence (IJOCI). 2020; 10(1): 63-75.Григорьев Ю. А., Ермаков О. Ю. Обработка запросов в системе с лямбда-архитектурой на уровне ускорения //Информатика и системы управления. – 2020. – №. 2. – С. 3-16.Grigoriev Yu. A., Ermakov O. Yu. Processing of requests in a system with lambda architecture at the level of acceleration. Computer Science and Control Systems. 2020; 2:3-16.[In Russ]Матвеева П.Р. Сравнение лямбда и традиционной архитектуры //Форум молодых ученых. – 2018. – №. 1. – С. 734-740.Matveeva P.R. Comparison of lambda and traditional architecture.Forum of young scientists. 2018;1: 734- 740 [In Russ]Fernández-Manzano E. P., Neira E., Clares-Gavilán J. Data management in audiovisual business: Netflix as a case study //El profesional de la información (EPI). – 2016. – Т. 25. – №. 4. – С. 568-576.Fernández-Manzano E. P., Neira E., Clares-Gavilán J. Data management in audiovisual business: Netflix as a case study. El profesional de la información (EPI). 2016;25(4): 568-576Big Data Solution with Hadoop, Spark, Jupyter and Docker // Medium URL: https://medium.com/@martinkarlsson.io/big-data-solution-with-hadoopspark-jupyter-and-docker6763983ed5d8 (дата обращения: 24.09.2022).Big Data Solution with Hadoop, Spark, Jupyter and Docker. Medium URL: https://medium.com/@martinkarlsson.io/big-data-solution-with-hadoopspark-jupyter-and-docker6763983ed5d8 (Accessed: 09/24/2022)Козинцев Д. А., Шиян А. А. Контейнеризация для анализа больших данных на примере kubernetes и docker //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2020). – 2020. – С. 393-396.Kozintsev D. A., Shiyan A. A. containerization for big data analysis on the example of kubernetes and docker. Actual problems of infotelecommunications in science and education (APINO 2020). 2020; 393- 396. [In Russ]Raschka S., Patterson J., Nolet C. Machine learning in python: Main developments and technology trends in data science, machine learning, and artificial intelligence //Information. – 2020. – Т. 11. – №. 4. – С. 193.Raschka S., Patterson J., Nolet C. Machine learning in python: Main developments and technology trends in data science, machine learning, and artificial intelligence.Information. 2020;11(4):193.Khyani D. et al. An Interpretation of Lemmatization and Stemming in Natural Language Processing //Journal of University of Shanghai for Science and Technology. – 2021.Khyani D. et al. An Interpretation of Lemmatization and Stemming in Natural Language Processin. Journal of University of Shanghai for Science and Technology. 2021URL: https://www.nltk.org/_modules/nltk/stem/snowball.html (дата обращения: 01.10.2022). Source code for nltk.stem.snowball//NLTK::nltk.stem.snowballURL: https://www.nltk.org/_modules/nltk/stem/snowball.html (Accessed: 01.10.2022). Source code for nltk.stem.snowball // NLTK:: nltk.stem.snowballURL: https://www.nltk.org/_modules/nltk/tokenize/regexp.html (дата обращения: 01.10.2022). Source code for nltk.tokenize.regexp//NLTK::nltk.tokenize.regexp sklearn.cluster.KMeans // scikit-learn 1.1.2 documentationURL: https://www.nltk.org/_modules/nltk/tokenize/regexp.html (Accessed: 01.10.2022). Source code for nltk.tokenize.regexp // NLTK:: nltk.tokenize.regexpURL: https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html (дата обращения: 03.10.2022).URL:https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html(Accessed: 03.10.2022). sklearn.cluster.KMeans // scikit-learn 1.1.2 documentationGranato D. et al. Use of principal component analysis (PCA) and hierarchical cluster analysis (HCA) for multivariate association between bioactive compounds and functional properties in foods: A critical perspective //Trends in Food Science & Technology. – 2018. – Т. 72. – С. 83-90.Granato D. et al. Use of principal component analysis (PCA) and hierarchical cluster analysis (HCA) for multivariate association between bioactive compounds and functional properties in foods: A critical perspective. Trends in Food Science & Technology. 2018;72:83-90.Text Clustering with TF-IDF in Python // Medium URL: https://medium.com/mlearning-ai/text-clusteringwith-tf-idf-in-pythonc94cd26a31e7 (дата обращения: 29.09.2022).Text Clustering with TF-IDF in Python // Medium URL: https://medium.com/mlearning-ai/text-clusteringwith-tf-idf-in-pythonc94cd26a31e7 (Accessed: 29.09.2022).Seaborn: statistical data visualization // Seaborn Documentation URL: https://seaborn.pydata.org/index.html (дата обращения: 02.10.2022).Seaborn: statistical data visualization //Seaborn Documentation URL: https://seaborn.pydata.org/index.html (Accessed: 02.10.2022).H&M Personalized Fashion Recommendations//Kaggle URL: https://www.kaggle.com/competitions/hand-m-personalized-fashionrecommendations (дата обращения: 01.10.2022).H&M Personalized Fashion Recommendations. Kaggle URL: https://www.kaggle.com/competitions/h-andm-personalized-fashionrecommendations (Accessed: 01.10.2022).Saavedra M. Z. N., Yu W. E. A comparison between text, parquet, and PCAP formats for use in distributed network flow analysis on Hadoop //Journal of Advances in Computer Networks. – 2018. – Т. 5. – №. 2. – С. 59-64.Saavedra M. Z. N., Yu W. E. A comparison between text, parquet, and PCAP formats for use in distributed network flow analysis on Hadoop. Journal of Advances in Computer Networks. 2018; 5(2): 59-64.

The authors declare that there are no conflicts of interest present.