Исследование и разработка методов сжатия данных для систем технического мониторинга

Цель. Целью исследования является развитие методов сжатия данных применительно к системам мониторинга.

Метод. Исследования проводились преимущественно экспериментально, путем обработки данных, генерируемых информационно-измерительной системой Алтайского государственного технического университета в процессе проведения метеонаблюдений, температурного контроля и контроля расходования таких энергетических ресурсов как горячая и холодная вода, теплоснабжение. Для уплотнения хранимых данных предлагалось изменение их структуры и формы представления, степень сжатия находилась теоретически.

Результат. Приводятся результаты исследований, проведённых с участием автора публикации, в области обработки, передачи и хранения данных. Рассматриваются методы потокового сжатия данных «на лету» по мере поступления как с потерями, так и без потерь, а также методы, основанные на оптимизации структуры баз данных, предназначенных для хранения собираемой в процессе мониторинга информации. Основное внимание уделено рассмотрению сжатия данных, создаваемых в процессе температурного мониторинга, поскольку именно контроль и наблюдение за температурными процессами наиболее распространён в различных технических системах управления технологическими процессами, системах учёта тепла как на стороне потребителя (ЖКХ), так и на стороне теплоснабжающей организации.

Вывод. В подавляющем большинстве случаев сжатие без потерь позволяет сжать поступающую от системы мониторинга информацию более чем в 10 раз, а сжатие с потерями – существенно сильнее, причём без потерь прагматической ценности хранимой информации.

1. Контроль температурного режима, контроль температуры//https://ruglonass.ru/kontrol-temperaturnogo-rezhimana-skladakh.php (01.06.2023)

2. Всё о сжатии данных, изображений и видео// https://www.compression.ru/ (01.06.2023)

3. Solomon, D. Data Compression: The Complete Reference: Fourth edition/ David Solomon.- London: Springer, 2007.- 1093p.

4. Хахина А.М. Современные алгоритмы архивации/А.М. Хахина , Н.Ю. Константинов // Заметки ученого - 2020г. №2. - С.189 -192. - https://e.lanbook.com/reader/journalArticle/704000

5. Лихтциндер, Б.Я. Адаптивное сжатие измерительных данных в беспроводных сенсорных сетях/Б.Я. Лихтциндер, Ю.О. Бакай // Измерение. Мониторинг. Управление. Контроль - 2021г. №1. - С.52-57 https://e.lanbook.com/reader/journalArticle/603370

6. Богачев, И.В. Геометрический подход к сжатию данных телеметрических систем/ И.В.Богачев, А.В. Левенец , Ун Чье Ен// Информатика и системы управления - 2015г. - С.16 -22. - №4 https://e.lanbook.com/reader/journalArticle/346090

7. Артюшкин А.Б., М.А. Куксенко, А.П. Пантенков. Экономное кодирование как метод повышения скорости передачи информации в телеметрических системах//Вестник Российского нового университета. Серия Сложные системы модели, анализ и управление.2020г. №1. С.43 -54. - https://e.lanbook.com/reader/journalArticle/782456

8. Бакулина, М.П. Эффективное кодирование длин серий при факсимильной передаче данных по сети//Ползуновский вестник 2013г. №2. С.257 -259. https://e.lanbook.com/reader/journalArticle/405229

9. Минкин, А. С. Сжатие гиперспектральных данных методом главных компонент/А. С. Минкин, О. В. Николаева, А.А. Руссков// Компьютерная оптика. 2021г. №2. C.235-246. - https://e.lanbook.com/reader/journalArticle/595721

10. Ярмоленко, А.С. Применение теории вейвлетов при сжатии и фильтрации геоинформации/А.С. Ярмоленко, О.В. Скобенко//Записки Горного института - 2018г. - С.612 -623. - №234 https://e.lanbook.com/reader/journalArticle/71014

11. Сучкова, Л.И. Масштабируемые программно-технические решения для экологического и технического мониторинга/СучковаЛ.И., Х.М.Хуссейн, М.А. Якунин, А.Г. Якунин// Ползуновский Альманах - 2013г. №1. - C. 75- 82. https://e.lanbook.com/reader/journalArticle / 379151

12. Hussein H.М. Design and implementation of weather and technology process monitoring systems/H.М. Hussein, R.V.Kuntz, L.I. Suchkova, A.G.Yakunin//Известия Алтайского государственного университета, 2013, No. 1-1(77) ,C. 210-214.

13. Yakunin, A.G. Hardware-software and algorithmic provision of multipoint systems for long-term monitoring of dynamic processes/A.G. Yakunin, H.M. Hussein//IOP Publishing IOP Conf. Series: Journal of Physics: Conf. Series 881 (2017) DOI: 90.1088/1742-6596/881/1/012028

14. Hussein, H.М. Ways for improving methods of data storing in monitoring systems / H.Hussein, L.I. Suchkova, M.A. Yakunin // Ползуновский альманах, № 2.–Барнаул: Изд-во АлтГТУ, 2012.– С. 48-50.

15. Hussein, H. M. Data Differencing Method To Optimize Data Storing In Weather Monitoring System / H.M. Hussein A.G. Yakunin // Ползуновский вестник, 2013.- № 2. – С.65-68. URL: https://journal.altstu.ru/media/f/old2/pv2013_02/pdf/065hussein.pdf

16. Мельников Е.М. Исследование эффективности методов сжатия без потерь данных температурного мониторинга / Е.М. Мельников., А.Г. Якунин // Материалы XX Международной научно-технической конференции «Измерение, контроль, информатизация» - 2019. - Барнаул, АлтГТУ, 2019 г. - C.32-38 https://elibrary.ru/item.asp?id=41166261

17. Hussein, H.M. Simple Curve Smoothing Methods For Weather Monitoring System/ H. Hussein, A. Yakunin // Materiali XI Mezinarodni vedecko-practicka conference «Veda a Technologie: krok do budoucnos-ti-2015», Dil 17. Technichke vedy. - Praha, 2015. - pp. 73-76.

18. Hussein, H. A Comparison of Data Compression Methods for Solving Problems of Temperature Monitoring/H.Hussein , A. Yakunin, L Suchkova// MATEC Web of Conferences, 2016, V. 79(2016). URL: http://dx.doi.org/10.1051/matecconf/20167901076.

19. Zhen, Ch. Design and Realization of Data Compression in Real-Time Data-base/Ch. Zhen and B. Ren. IEEE International Conference on Computational Intelligence and Software Engi-neering, China, 11 – 13 Dec. 2009; 340-243.

20. Ray G. Data Compression in Databases//Master’s Thesis, Dept. of Computer Science and Automation, Indian Institute of Science, June 1995.

21. Yang, H. On the performance of data compression algorithms based upon string match-ing/H. Yang// IEEE Transactions on Information Theory, Jan 1998,Vol. 44,Issue 1,pp.47- 65.

22. Lin, M. A New Architecture of a Two-Stage Lossless Data Compres-sion and Decompression Algorithm/M. Lin and Y. Yi Chang//IEEE transactions on VLSI, 2009; 17(19): 1297- 1303.

23. Tamrakar, A A Compression Algorithm for Optimization of Storage Con-sumption of Non Oracle Database/Abha Tamrakar and V. Vinti Nanda//Research Gate, July 2012, Vol. 1, Issue 5, pp. 39-43.

24. Yakunin, A. Application of the E – layer model for solving the problems of parametric estimation in measuring devices/A. Yakunin , L. Suchkova// MATEC Web of Conferences 155, 01020 (2018) DOI: https://doi.org/10.1051/matecconf/201815501020

25. Suchkova, L.I. Application of E-Regions of the Parameters of the Model Function of the Signal for the Extraordinary Situations Detection/L.I. Suchkova, A.G. Yakunin//in “2018 International Multi-Conference on Industrial Engineering and Modern Technologies” (FarEastCon, 3-4 Oct. 2018, Vladivostok, Russia, added to to IEEE Xplore: 07 January 2019), pp.1-6, URL: https://ieeexplore.ieee.org/document/8602766, DOI: 10.1109/FarEastCon.2018.8602766

26. Суслова С.В. Способ выделения тренда нестационарного процесса с адаптацией интервалов аппроксимации/Суслова С.В., Якунин А.Г.//Патент России № 2645273. 2018. Бюл. № 5.