vdgtuВестник Дагестанского государственного технического университета. Технические наукиHerald of Dagestan State Technical University. Technical Sciences2073-61852542-095XDaghestan State Technical University10.21822/2073-6185-2024-51-1-106-112vdgtu-1460Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И ТЕЛЕКОММУНИКАЦИИINFORMATION TECHNOLOGY AND TELECOMMUNICATIONSИсследование обнаружения аномалий с использованием Isolation Forest в машинном обученииAnomaly detection research using Isolation Forest in Machine LearningКечеджиевА. С.KechedzhievA. S.

Кечеджиев Александр Сергеевич, магистрант кафедры «Вычислительные системы и информационная безопасность»

344003, г. Ростов-на-Дону, пл. Гагарина 1, Россия 

Alexander S. Kechedzhiev, Master's Student, Department of Computer Systems and Information Security 

 1 Gagarin Square, Rostov-on-Don 344003, Russia 

Kechedzhiev.alex@mail.ruЦветковаО. Л.TsvetkovaO. L.

Цветкова Ольга Леонидовна, кандидат технических наук, доцент, доцент кафедры «Вычислительныесистемы и информационная безопасность»  

 344003, г. Ростов-на-Дону, пл. Гагарина 1, Россия 

Olga L. Tsvetkova, Cand. Sci. (Eng), Assoc. Prof., Assoc. Prof., Department of Computer Systems and Information Security

 1 Gagarin Square, Rostov-on-Don 344003, Russia 

olga_cvetkova@mail.ruДонской государственный технический университетРоссияDon State Technical UniversityRussian Federation202416042024511106112Copyright © Кечеджиев А.С., Цветкова О.Л., 20242024Кечеджиев А.С., Цветкова О.Л.Kechedzhiev A.S., Tsvetkova O.L.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestnik.dgtu.ru/jour/article/view/1460Цель

Цель. Исследование посвящено оценке применимости метода Isolation Forest в задаче обнаружения аномалий на данных сетевого трафика, характеризующихся недостаточной разметкой. Основной целью данной работы является оценка эффективности Isolation Forest при ограниченной разметке данных и его потенциала в критически важных областях, таких как кибербезопасность и финансовая аналитика.

Метод

Метод. Исследование включает предварительную обработку данных, обучение модели на тренировочном наборе, а также оценку производительности модели на тестовом наборе с использованием метрик точности, матрицы ошибок и отчета о классификации. Для реализации данного исследования был выбран язык программирования Python и библиотека scikit-learn для реализации Isolation Forest, а также Pandas для работы с данными.

Результат

Результат. Оценка применимости метода Isolation Forest на неструктурированных данных выявила его потенциал в выделении аномальных паттернов без необходимости обширной разметки. Это подтверждает эффективность Isolation Forest в условиях, где доступ к размеченным данным ограничен или отсутствует.

Вывод

Вывод. Полученные результаты демонстрируют высокую полноту обнаружения аномалий, несмотря на относительно низкую общую точность, что указывает на важность контекстуальной интерпретации метрик в задаче обнаружения редких событий в данных.

Objective

Objective. The study is devoted to assessing the applicability of the Isolation Forest method in the task of detecting anomalies in network traffic data characterized by insufficient markup. The main purpose of the work is to evaluate the effectiveness of Isolation Forest with limited data markup and its potential in critical areas such as cybersecurity and financial analytics.

Method

Method. The study includes data preprocessing, training the model on the training set, and evaluating the model's performance on the test set using accuracy metrics, error matrix, and classification report. To implement this research, the Python programming language and the scikit-learn library were chosen to implement the Isolation Forest, as well as Pandas for working with data.

Result

Result. Evaluating the applicability of the Isolation Forest method on unstructured data revealed its potential for identifying anomalous patterns without the need for extensive labeling. This confirms the effectiveness of Isolation Forest in environments where access to labeled data is limited or absent.

Conclusion

Conclusion. The results demonstrate high anomaly detection recall despite relatively low overall accuracy, indicating the importance of contextual interpretation of metrics in the task of detecting rare events in data.

искусственный интеллектмашинное обучениекибербезопасностькиберугрозыинформационная безопасностьIsolation Forestartificial intelligencemachine learningcybersecuritycyberthreatsinformation securityIsolation ForestReferencesПопова, И.А. Обнаружение аномалий в наборе данных с помощью алгоритмов машинного обучения без учителя Isolation Forest и Local Outlier Factor / И.А. Попова // StudNet. – 2020. – Т. 3, № 12. – С. 1460-1470. – EDN XILRBX.Popova, I.A. Detection of anomalies in a data set using unsupervised machine learning algorithms Isolation Forest and Local Outlier Factor/ I.A. Popova StudNet. 2020; 3(12):1460-1470. – EDN XILRBX. (In Russ)Гайдук, К.А. К вопросу о реализации алгоритмов выявления внутренних угроз с применением машинного обучения / К.А. Гайдук, А.Ю. Исхаков // Вестник СибГУТИ. – 2022. – Т. 16, № 4. – С. 80-95. – DOI 10.55648/1998-6920-2022-16-4-80-95. – EDN SGBSIH.Gaiduk, K.A. On the issue of implementing algorithms for identifying internal threats using machine learning / K.A. Gaiduk, A.Yu. Iskhakov. Bulletin of SibGUTI. 2022;16(4):P. 80-95. – DOI 10.55648/1998-6920-2022- 16-4-80-95. – EDN SGBSIH. (In Russ)Савицкий, Д.Е. Выявление аномалий при обработке потоковых данных в реальном времени / Д.Е. Савицкий, М.Е. Дунаев, К.С. Зайцев // International Journal of Open Information Technologies. – 2022. – Т. 10, № 6. – С. 70-76. – EDN IGAWAO.Savitsky, D.E. Detecting anomalies when processing streaming data in real time / D.E. Savitsky, M.E. Dunaev, K.S. Zaitsev. International Journal of Open Information Technologies. 2022;10(6):70-76. – EDN IGAWAO. (In Russ)Терских, М. Г. Обнаружение аномального поведения пользователей в журналах событий безопасности Windows с применением алгоритмов машинного обучения / М. Г. Терских, Е. М. Тишина // Теория и практика современной науки. – 2018. – № 5(35). – С. 821-839. – EDN UYMTHC.Terskikh, M. G. Detection of anomalous user behavior in Windows security event logs using machine learning algorithms / M. G. Terskikh, E. M. Tishina. Theory and practice of modern science. 2018; 5(35): 821-839. – EDN UYMTHC. (In Russ)Динамическая аутентификация пользователей на основе анализа работы с компьютерной мышью / А. В. Березникер, М. А. Казачук, И. В. Машечкин [и др.] // Вестник Московского университета. Серия 15: Вычислительная математика и кибернетика. – 2021. – № 4. – С. 3-16. – EDN XIQNIZ.Dynamic user authentication based on analysis of work with a computer mouse / A. V. Berezniker, M. A. Kazachuk, I. V. Mashechkin [etc.]. Bulletin of Moscow University. Episode 15: Computational mathematics and cybernetics. 2021; 4: 3-16. – EDN XIQNIZ. (In Russ)Токарев, Д. М. Обнаружение аномалий на основе машинного обучения с использованием сочетания алгоритмов K-MEAN и SMO / Д. М. Токарев, М. Г. Городничев // Телекоммуникации и информационные технологии. – 2023. – Т. 10, № 1. – С. 5-13. – EDN ILCJZP.Tokarev, D. M. Anomaly detection based on machine learning using a combination of K-MEAN and SMO algorithms / D. M. Tokarev, M. G. Gorodnichev. Telecommunications and information technologies. 2023; 10(1):5-13. – EDN ILCJZP. (In Russ)Мельник, М. В. Обнаружение аномального поведения пользователей и сущностей в контейнерных системах на основе методов машинного обучения / М. В. Мельник, И. В. Котенко // Информационная безопасность регионов России (ИБРР-2023): XIII Санкт-Петербургская межрегиональная конференция. Материалы конференции, Санкт-Петербург, 25–27 октября 2023 года. – Санкт-Петербург: Санкт-Петербургское Общество информатики, вычислительной техники, систем связи и управления, 2023. – С. 97-98. – EDN QOBTZP.Melnik, M. V. Detection of anomalous behavior of users and entities in container systems based on machine learning methods / M. V. Melnik, I. V. Kotenko. Information security of regions of Russia (IBRR-2023): XIII St. -Petersburg interregional conference. Conference materials, St. Petersburg, October 25–27, 2023. – St. Petersburg: St. Petersburg Society of Informatics, Computer Science, Communication and Control Systems, 2023: 97-98. – EDN QOBTZP. (In Russ)Н. Эйб, Б. Задрозный, Дж. Лэнгфорд. Обнаружение выбросов с помощью активного обучения. В материалах 12-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, страницы 504-509. ACM Press, 2006.N. Abe, B. Zadrozny, J. Langford. Outlier detection using active learning. In Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM Press, 2006: 504–509. (In Russ)Сафин, А. Р. Обнаружение аномального поведения сетевого трафика на основе статистических методов при помощи машинного обучения / А. Р. Сафин // Информационная безопасность и защита персональных данных. Проблемы и пути их решения: Материалы XIII Межрегиональной научнопрактической конференции, Брянск, 30 апреля 2021 года. – Брянск: Брянский государственный технический университет, 2021. – С. 228-231. – EDN UDRGDA.Safin, A. R. Detection of anomalous behavior of network traffic based on statistical methods using machine learning. Information security and personal data protection. Problems and ways to solve them: Materials of the XIII Interregional Scientific and Practical Conference, Bryansk, April 30, 2021. – Bryansk: Bryansk State Technical University, 2021: 228-231. – EDN UDRGDA. (In Russ)А. Асунсьон, Д. Ньюман. Репозиторий машинного обучения UCI, 2007.Asuncion, D. Newman. UCI Machine Learning Repository, 2007. (In Russ)

The authors declare that there are no conflicts of interest present.