634050, г.Томск, просп. Ленина, 30.
Багутдинов Равиль Анатольевич – ассистент, отделение автоматизации и робототехники Инженерной школы информационных технологий и робототехники.
30 Lenina Ave., Tomsk 634050.
Ravil A. Bagutdinov– Assistant, Department of Automation and Robotics, School of Information Technology and Robotics.
Цель. Целью исследования является поиск эффективных методов и подходов к обработке разнородных потоков данных и управления задачами бесконечной длины, концептуальной эволюции и концептуального дрейфа. Поток разнородных данных может иметь бесконечную длину и содержать структурированные или неструктурированные данные. Обработка разнородного и разномасштабного потока данных представляет собой основную проблему для исследователей. Большая часть исследований сосредоточена на решении проблемы бесконечной длины и концепции-дрейфа.
Метод. Новые стратегии обнаружения класса классифицируются как параметрические и непараметрические. Данная работа основана на непараметрическом подходе. Классификатор работает на ансамбле трех моделей. Разделение генерирует различное количество классов в каждом фрагменте. Классы вычисляются путем применения метода K-медоидной кластеризации на каждом фрагменте. Эффективность метода K-медиодной кластеризации больше подходит для набора данных, содержащего аномалии.
Результат. Разработанный алгоритм способен обрабатывать разнородные и разномасштабные данные. Каждый экземпляр, присутствующий в модели, принадлежит только одному классу. Экспериментальная работа была выполнена на четырех выборках потоковых данных по 2000 строк. После выполнения предварительной обработки в наборе данных были обнаружены многозначные характеристики данных.
Вывод. В данной работе представлен эффективный подход для обработки разнородных потоков данных и управления задачами бесконечной длины, концептуальной эволюции и концептуального дрейфа. Разработанный подход основан на параметре сопоставления строк вместо расстояния для обработки четырех задач потоков данных. Уровень ложных срабатываний в разработанном алгоритме довольно низок и может считаться незначительным. Подход не классифицирует новый экземпляр класса как существующий класс, но может эффективно обрабатывать функциональную эволюцию.
Objectives. The aim of the study is to search for effective methods and approaches to the processing of heterogeneous data streams and the management of problems of infinite length, conceptual evolution and conceptual drift. A heterogeneous data stream can have infinite length and contain structured or unstructured data. Processing a heterogeneous and multi-scale data flow is a major challenge for researchers. Most of the research focuses on solving problems of infinite length and concept-drift.
Method. New class detection strategies are classified as parametric and non-parametric. This work is based on a non-parametric approach. The classifier works on the ensemble of three models. The separation generates a different number of classes in each fragment. Classes are calculated by applying the K-Medoid clustering method on each fragment. The effectiveness of the K-media clustering method is more suitable for a data set containing anomalies.
Result. The developed algorithm is capable of processing heterogeneous and multi-scale data. Each instance that is present in the model belongs to only one class. Experimental work was performed on four samples of stream data of 2000 lines each. After performing the pre-processing, the multi-valued characteristics of the data were found in the data set.
Conclusion. This paper presents an effective approach for processing heterogeneous data streams and managing tasks of infinite length, conceptual evolution and conceptual drift. The developed approach is based on the string matching parameter instead of the distance for processing the four tasks of data streams. The level of false positives in the developed algorithm is rather low and can be considered insignificant. The approach does not classify a new instance of the class as an existing class, but can effectively handle the functional evolution.
The authors declare that there are no conflicts of interest present.