Исследование обнаружения аномалий с использованием Isolation Forest в машинном обучении

Цель. Исследование посвящено оценке применимости метода Isolation Forest в задаче обнаружения аномалий на данных сетевого трафика, характеризующихся недостаточной разметкой. Основной целью данной работы является оценка эффективности Isolation Forest при ограниченной разметке данных и его потенциала в критически важных областях, таких как кибербезопасность и финансовая аналитика.

Метод. Исследование включает предварительную обработку данных, обучение модели на тренировочном наборе, а также оценку производительности модели на тестовом наборе с использованием метрик точности, матрицы ошибок и отчета о классификации. Для реализации данного исследования был выбран язык программирования Python и библиотека scikit-learn для реализации Isolation Forest, а также Pandas для работы с данными.

Результат. Оценка применимости метода Isolation Forest на неструктурированных данных выявила его потенциал в выделении аномальных паттернов без необходимости обширной разметки. Это подтверждает эффективность Isolation Forest в условиях, где доступ к размеченным данным ограничен или отсутствует.

Вывод. Полученные результаты демонстрируют высокую полноту обнаружения аномалий, несмотря на относительно низкую общую точность, что указывает на важность контекстуальной интерпретации метрик в задаче обнаружения редких событий в данных.

1. Попова, И.А. Обнаружение аномалий в наборе данных с помощью алгоритмов машинного обучения без учителя Isolation Forest и Local Outlier Factor / И.А. Попова // StudNet. – 2020. – Т. 3, № 12. – С. 1460-1470. – EDN XILRBX.

2. Гайдук, К.А. К вопросу о реализации алгоритмов выявления внутренних угроз с применением машинного обучения / К.А. Гайдук, А.Ю. Исхаков // Вестник СибГУТИ. – 2022. – Т. 16, № 4. – С. 80-95. – DOI 10.55648/1998-6920-2022-16-4-80-95. – EDN SGBSIH.

3. Савицкий, Д.Е. Выявление аномалий при обработке потоковых данных в реальном времени / Д.Е. Савицкий, М.Е. Дунаев, К.С. Зайцев // International Journal of Open Information Technologies. – 2022. – Т. 10, № 6. – С. 70-76. – EDN IGAWAO.

4. Терских, М. Г. Обнаружение аномального поведения пользователей в журналах событий безопасности Windows с применением алгоритмов машинного обучения / М. Г. Терских, Е. М. Тишина // Теория и практика современной науки. – 2018. – № 5(35). – С. 821-839. – EDN UYMTHC.

5. Динамическая аутентификация пользователей на основе анализа работы с компьютерной мышью / А. В. Березникер, М. А. Казачук, И. В. Машечкин [и др.] // Вестник Московского университета. Серия 15: Вычислительная математика и кибернетика. – 2021. – № 4. – С. 3-16. – EDN XIQNIZ.

6. Токарев, Д. М. Обнаружение аномалий на основе машинного обучения с использованием сочетания алгоритмов K-MEAN и SMO / Д. М. Токарев, М. Г. Городничев // Телекоммуникации и информационные технологии. – 2023. – Т. 10, № 1. – С. 5-13. – EDN ILCJZP.

7. Мельник, М. В. Обнаружение аномального поведения пользователей и сущностей в контейнерных системах на основе методов машинного обучения / М. В. Мельник, И. В. Котенко // Информационная безопасность регионов России (ИБРР-2023): XIII Санкт-Петербургская межрегиональная конференция. Материалы конференции, Санкт-Петербург, 25–27 октября 2023 года. – Санкт-Петербург: Санкт-Петербургское Общество информатики, вычислительной техники, систем связи и управления, 2023. – С. 97-98. – EDN QOBTZP.

8. Н. Эйб, Б. Задрозный, Дж. Лэнгфорд. Обнаружение выбросов с помощью активного обучения. В материалах 12-й международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, страницы 504-509. ACM Press, 2006.

9. Сафин, А. Р. Обнаружение аномального поведения сетевого трафика на основе статистических методов при помощи машинного обучения / А. Р. Сафин // Информационная безопасность и защита персональных данных. Проблемы и пути их решения: Материалы XIII Межрегиональной научнопрактической конференции, Брянск, 30 апреля 2021 года. – Брянск: Брянский государственный технический университет, 2021. – С. 228-231. – EDN UDRGDA.

10. А. Асунсьон, Д. Ньюман. Репозиторий машинного обучения UCI, 2007.