ПОДХОД К ОБРАБОТКЕ, КЛАССИФИКАЦИИ И ОБНАРУЖЕНИЮ НОВЫХ КЛАССОВ И АНОМАЛИЙ В РАЗНОРОДНЫХ И РАЗНОМАСШТАБНЫХ ПОТОКАХ ДАННЫХ


https://doi.org/10.21822/2073-6185-2018-45-3-85-93

Полный текст:


Аннотация

Цель. Целью исследования является поиск эффективных методов и подходов к обработке разнородных потоков данных и управления задачами бесконечной длины, концептуальной эволюции и концептуального дрейфа. Поток разнородных данных может иметь бесконечную длину и содержать структурированные или неструктурированные данные. Обработка разнородного и разномасштабного потока данных представляет собой основную проблему для исследователей. Большая часть исследований сосредоточена на решении проблемы бесконечной длины и концепции-дрейфа.

Метод. Новые стратегии обнаружения класса классифицируются как параметрические и непараметрические. Данная работа основана на непараметрическом подходе. Классификатор работает на ансамбле трех моделей. Разделение генерирует различное количество классов в каждом фрагменте. Классы вычисляются путем применения метода K-медоидной кластеризации на каждом фрагменте. Эффективность метода K-медиодной кластеризации больше подходит для набора данных, содержащего аномалии.

Результат. Разработанный алгоритм способен обрабатывать разнородные и разномасштабные данные. Каждый экземпляр, присутствующий в модели, принадлежит только одному классу. Экспериментальная работа была выполнена на четырех выборках потоковых данных по 2000 строк. После выполнения предварительной обработки в наборе данных были обнаружены многозначные характеристики данных.

Вывод. В данной работе представлен эффективный подход для обработки разнородных потоков данных и управления задачами бесконечной длины, концептуальной эволюции и концептуального дрейфа. Разработанный подход основан на параметре сопоставления строк вместо расстояния для обработки четырех задач потоков данных. Уровень ложных срабатываний в разработанном алгоритме довольно низок и может считаться незначительным. Подход не классифицирует новый экземпляр класса как существующий класс, но может эффективно обрабатывать функциональную эволюцию.


Об авторе

Р. А. Багутдинов
Национальный исследовательский Томский политехнический университет.
Россия

634050, г.Томск, просп. Ленина, 30.

Багутдинов Равиль Анатольевич – ассистент, отделение автоматизации и робототехники Инженерной школы информационных технологий и робототехники.



Список литературы

1. A. El-Hoiydi, “Spatial TDMA and CSMA with preamble sampling for low power ad hoc wireless sensor networks”, Proceedings of ISCC 2002, Seventh International Symposium on Computers and Communications, pp. 685 - 692, July 2002.

2. Bagutdinov R.A. The processing of heterogeneous data for multisensor systems of technical vision on the example of analysis of temperature and gas concentration / MSIT TPU. 2018. P. 25-26.

3. Багутдинов Р.А. Принцип разработки алгоритмического обеспечения системы технического зрения роботов / Наукоемкие технологии в космических исследованиях Земли. 2017. Т. 9.№5. С. 66-71.

4. Bagutdinov R.A., Zaharova A.A. The task adaptation method for determining the optical flow problem of interactive objects recognition in real time / Journal of Physics: Conference Series. 2017. Т. 803. №1. С. 012014.

5. Барсегян А.А. Технологии анализа данных. Data Mining, Visual Mining, Text Mining, OLAP / Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И // СПб.: БХВ-Петербург, 2007.- 384 с.: ил.

6. Ganguly AR, Steinhaeuser K Data mining for climate change and impacts. In Proceedings of IEEE international conference on data mining (ICDM)workshops. 2009; pp 385–394

7. Кадиев И.П., Кадиев П.А. Основы индексной структуризации nxn - комбинаторных конфигураций//Вестник Дагестанского государственного технического университета. Технические науки. 2018;45(1):139-146

8. Качаева Г.И., Попов А.Д., Рогозин Е.А. Показатели эффективности функционирования при разработке систем защиты информации от несанкционированного доступа в автоматизированных информационных системах//Вестник Дагестанского государственного технического университета. Технические науки. 2018;45(1):147-159.

9. Kuei-PingShih , Hung-ChangChen , Chien-MinChou , Bo-JunLiu “On target coverage in wireless heterogeneous sensor networks with multiple sensing units”, Journal of Network and Computer Applications, vol. 32, pp. 866 – 877, 2009.

10. Островский О.А. Дефиницальный анализ корреляционной зависимости информационной модели и криминалистической характеристики преступления в сфере компьютерной информации / Евразийский юридический журнал. №7 (110). 2017. С. 221-225.

11. Островский О.А. Принцип объектной декомпозиции в систематизации идентификационных кодов, характеризующих преступления в сфере компьютерной информации / Полицейская деятельность. № 3. 2017. С. 10-18.

12. Островский О.А.Криминалистический анализ, описывающий состояние детерминированного конечного автомата в модели наблюдателя при расследовании преступлений в сфере компьютерной информации / Евразийский юридический журнал. №3 (118). 2018. С. 294-296.

13. Островский О.А.Алгоритмы проведения осмотров цифровых носителей информации для предотвращения компьютерных преступлений / Военно-юридический журнал. № 11. 2017. С. 3-6.

14. Pietro Ciciriello, Luca Mottola, Gian Pietro Picco, “Efficient routing from multiple sources to multiple sinks in wireless sensor networks”, in Proceedings of the 4th European Conference on Wireless Sensor Networks (EWSN’07), Lecture Notes in Computer Science, vol. 4373, pp. 34–50, January 2007.

15. Петренко Н.А., Багутдинов Р.А. Анализ мультисенсорных систем и сенсорного слияния данных / В сборнике: Молодёжь и современные информационные технологии. Сборник трудов XV Международной научно-практической конференции студентов, аспирантов и молодых учёных. Национальный исследовательский Томский политехнический университет. 2018. С. 73-74.

16. Ramaswamy S, Rastogi R, Shim K Efficient algorithms for mining outliers from large data sets. ACM SIGMOD. 2000; Rec 29(2):427–438

17. Hart JK, Martiez K Environmental sensor networks: a revolution in the earth system sciene? 2006; Earth SciRev 78:177–191

18. Юркова О.Н. Применение методов анализа данных для автоматизации формирования онтологии. // Вестник Дагестанского государственного технического университета. Технические науки. 2018;45(1):172-180.

19. W. Ye, J. Heidemann, and D. Estrin, “Medium Access Control with Coordinated Adaptive Sleeping for Wireless Sensor Networks”, IEEE/ACM Trans. Networking, 2004; vol. 12, no. 3, pp. 493–506

20. Xie M, Hu J, Tian B Histogram-based online anomaly detection in hierarchical wireless sensor networks. In: Trust, Security and Privacy in Computing and Communications, 2012 IEEE 11th International Conference On. IEEE. 751–759


Дополнительные файлы

Для цитирования: Багутдинов Р.А. ПОДХОД К ОБРАБОТКЕ, КЛАССИФИКАЦИИ И ОБНАРУЖЕНИЮ НОВЫХ КЛАССОВ И АНОМАЛИЙ В РАЗНОРОДНЫХ И РАЗНОМАСШТАБНЫХ ПОТОКАХ ДАННЫХ. Вестник Дагестанского государственного технического университета. Технические науки. 2018;45(3):85-93. https://doi.org/10.21822/2073-6185-2018-45-3-85-93

For citation: Bagutdinov R.A. APPROACH OF PROCESSING, CLASSIFICATION AND DETECTION OF NEW CLASSES AND ANOMALIES IN HETEROGENIOUS AND DIFFERENT STREAMS OF DATA. Herald of Dagestan State Technical University. Technical Sciences. 2018;45(3):85-93. (In Russ.) https://doi.org/10.21822/2073-6185-2018-45-3-85-93

Просмотров: 18

Обратные ссылки

  • Обратные ссылки не определены.


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 2073-6185 (Print)
ISSN 2542-095X (Online)