Разработка программно-технического решения для выявления трендов спроса на товары

Цель. Целью исследовательской работы является разработка программного решения для выявления трендов спроса на потребительские товары путем анализа больших данных.

Методы. Для достижения поставленной цели в работе было проанализировано текущее состояние развития рынка интернет-ретейла в России, а также рассмотрены технологии и инструменты анализа больших данных, необходимые для проектирования программно-технического решения. Для оценки эффективности полученной модели обработки данных применяется выборка, полученная из открытых источников.

Результат. В результате исследования разработано техническое решение, позволяющее анализировать спрос на товары в заданном временном диапазоне на основе данных из открытых источников.

Вывод. Разработан программный компонент, позволяющий анализировать спрос на потребительские товары на основе данных о заказах. Полученное техническое решение поддерживает пакетную обработку данных, а архитектура инфраструктурного компонента позволяет вести вычисления распределенно. Тестирование инструмента на реальной выборке показало эффективность такого подхода к анализу трендов потребительского спроса.

1. Величко, Н. А. Технология Big Data. Анализ рынка Big Data / Н. А. Величко, И. П. Митрейкин // Синергия Наук. – 2018. – № 30. – С. 937-943.

2. Черненко, О. С. Применение TF-IDF алгоритма в рекомендательных системах государственных закупок / О. С. Черненко // Мир компьютерных технологий: Сборник статей студенческой научнотехнической конференции, Севастополь, 04–07 апреля 2017 года / Научный редактор Е.Н. Мащенко. – Севастополь: Федеральное государственное автономное образовательное учреждение высшего образования "Севастопольский государственный университет", 2017. – С. 66-67.

3. Леонтьева, С. А. Кластеризация изображений методом "k-средних" / С. А. Леонтьева, А. Ю. Демин // Молодежь и современные информационные технологии: Сборник трудов XVI Международной научно-практической конференции студентов, аспирантов и молодых ученых, Томск, 03–07 декабря 2018 года/Томский политехнический университет. – Томск: Национальный исследовательский Томский политехнический университет, 2019. – С. 86-87.

4. Прохоренков, П. А. Современные информационные технологии маркетинга / П. А. Прохоренков, О. М. Гусарова, Т. В. Аверьянова // Фундаментальные исследования. – 2018. – № 12-1. – С. 158-162.

5. Маркетинговое исследование Интернет-торговля в России 2021 // Data Insight URL: https://datainsight.ru/eCommerce_2021 (дата обращения: 19.09.2022).

6. Kiran M. et al. Lambda architecture for cost-effective batch and speed big data processing //2015 IEEE International Conference on Big Data (Big Data). – IEEE, 2015. – С. 2785-2792.

7. Panwar A., Bhatnagar V. Data lake architecture: a new repository for data engineer //International Journal of Organizational and Collective Intelligence (IJOCI). – 2020. – Т. 10. – №. 1. – С. 63-75.

8. Григорьев Ю. А., Ермаков О. Ю. Обработка запросов в системе с лямбда-архитектурой на уровне ускорения //Информатика и системы управления. – 2020. – №. 2. – С. 3-16.

9. Матвеева П.Р. Сравнение лямбда и традиционной архитектуры //Форум молодых ученых. – 2018. – №. 1. – С. 734-740.

10. Fernández-Manzano E. P., Neira E., Clares-Gavilán J. Data management in audiovisual business: Netflix as a case study //El profesional de la información (EPI). – 2016. – Т. 25. – №. 4. – С. 568-576.

11. Big Data Solution with Hadoop, Spark, Jupyter and Docker // Medium URL: https://medium.com/@martinkarlsson.io/big-data-solution-with-hadoopspark-jupyter-and-docker6763983ed5d8 (дата обращения: 24.09.2022).

12. Козинцев Д. А., Шиян А. А. Контейнеризация для анализа больших данных на примере kubernetes и docker //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2020). – 2020. – С. 393-396.

13. Raschka S., Patterson J., Nolet C. Machine learning in python: Main developments and technology trends in data science, machine learning, and artificial intelligence //Information. – 2020. – Т. 11. – №. 4. – С. 193.

14. Khyani D. et al. An Interpretation of Lemmatization and Stemming in Natural Language Processing //Journal of University of Shanghai for Science and Technology. – 2021.

15. URL: https://www.nltk.org/_modules/nltk/stem/snowball.html (дата обращения: 01.10.2022). Source code for nltk.stem.snowball//NLTK::nltk.stem.snowball

16. URL: https://www.nltk.org/_modules/nltk/tokenize/regexp.html (дата обращения: 01.10.2022). Source code for nltk.tokenize.regexp//NLTK::nltk.tokenize.regexp sklearn.cluster.KMeans // scikit-learn 1.1.2 documentation

17. URL: https://scikit-learn.org/stable/modules/generated/sklearn.cluster.KMeans.html (дата обращения: 03.10.2022).

18. Granato D. et al. Use of principal component analysis (PCA) and hierarchical cluster analysis (HCA) for multivariate association between bioactive compounds and functional properties in foods: A critical perspective //Trends in Food Science & Technology. – 2018. – Т. 72. – С. 83-90.

19. Text Clustering with TF-IDF in Python // Medium URL: https://medium.com/mlearning-ai/text-clusteringwith-tf-idf-in-pythonc94cd26a31e7 (дата обращения: 29.09.2022).

20. Seaborn: statistical data visualization // Seaborn Documentation URL: https://seaborn.pydata.org/index.html (дата обращения: 02.10.2022).

21. H&M Personalized Fashion Recommendations//Kaggle URL: https://www.kaggle.com/competitions/hand-m-personalized-fashionrecommendations (дата обращения: 01.10.2022).

22. Saavedra M. Z. N., Yu W. E. A comparison between text, parquet, and PCAP formats for use in distributed network flow analysis on Hadoop //Journal of Advances in Computer Networks. – 2018. – Т. 5. – №. 2. – С. 59-64.