Агентні моделі в інформаційній технології інтелектуального моніторингу

Abstract

Вирішено науково-прикладне завдання підвищення ефективності функціонування моніторингового програмного агента в інформаційній технології інтелектуального моніторингу шляхом розробки методів побудови та засобів програмної реалізації багатошарових агентних моделей. Актуальність роботи зумовлена зростаючою складністю та динамічністю середовищ, у яких функціонують сучасні розподілені інформаційні системи та мікросервіс. У процесі експлуатації таких систем відбувається неминуча зміна статистичних властивостей даних та режимів функціонування. Традиційні статичні засоби моніторингу в таких умовах втрачають адекватність, що призводить до пропуску критичних збоїв [64]. Виникає проблема між динамічною природою об’єкта та статичністю засобів спостереження. Вирішенням є створення моніторингових агентів, здатних до автономного синтезу адаптивних моделей, що забезпечують високу точність без втручання людини. Складність цього завдання підтверджується сучасними дослідженнями у галузі MLOps (Machine Learning Operations). У реальних умовах статистичні властивості даних постійно змінюються, що призводить до явища "дрейфу концепцій" (concept drift). Оскільки в потоках телеметрії неможливо миттєво отримати істинні мітки (ground truth) для нових даних, традиційні методи моніторингу помилок стають неефективними. Тому виникає гостра потреба у використанні методів виявлення дрейфу без вчителя (unsupervised drift detection), які здатні працювати в режимі реального часу. Саме тому моніторинговий агент повинен вміти автономно адаптувати свою структуру до цих непередбачуваних змін. Мета дослідження: Підвищення ефективності функціонування моніторингового програмного агента у інформаційній технології інтелектуального моніторингу шляхом розробки методів побудови та програмної реалізації багатошарових агентних моделей. Наукова новизна отриманих результатів. 1. Вперше запропоновано метод багатошарового синтезу агентних моделей, який заключається у формуванні масиву вхідних даних, синтезу моделі, добавленні сигналу із виходу моделі до масиву вхідних даних і повторного синтезу моделі, який, на відміну від існуючих, використовує кластеризацію вхідних даних і побудову для кожного кластеру моделей, що дозволяє підвищити точність і адекватність результатів моделювання та профілювати метод проектування програмного забезпечення агента за рахунок підвищення однорідності точок спостереження у кластерах. 2. Удосконалено метод синтезу багатошарових моделей та їх програмної реалізації шляхом зростання різноманітності структури шарів, що дозволяє підвищити повноту опису об’єкта та покращити результати моделювання. 3. Набув подальшого розвитку метод багатошарового синтезу агентних моделей за рахунок використання у процесі проєктування алгоритмів синтезу моделей та їх програмного забезпечення спрямованого ациклічного графу (DAG), що дозволяє забезпечити багатоетапність процесу удосконалення структури моделі шляхом обробки сигналів на виході та використання моделей, побудованих у різних середовищах. У вступі обґрунтовано актуальність теми дисертації, сформульовано мету, завдання, об'єкт та предмет дослідження, розкрито наукову новизну та практичне значення отриманих результатів. У першому розділі розглянуто проблематику динамічних змін у середовищах інтелектуального моніторингу складних інформаційних систем. Здійснено теоретичний аналіз методів прогнозування часових рядів та обґрунтовано доцільність застосування алгоритмів машинного навчання для задач табличної регресії. Проаналізовано проблеми MLOps щодо відтворюваності експериментів, форм представлення архітектур та обмежень існуючих форматів серіалізації моделей. У другому розділі викладено теоретичні основи та математичну формалізацію розроблених методів. Описано метод підвищення однорідності вхідних даних шляхом кластеризації та збагачення простору ознак, а також удосконалений метод багатошарової рециркуляції з використанням гетерогенних пулів алгоритмів (АСМ) та пошаровим тестуванням структури. У третьому розділі наведено результати експериментальних досліджень на структурно відмінних відкритих наборах даних. Доведено, що комплексне застосування методів кластеризації та рециркуляції дозволяє зменшити похибку прогнозування (RMSE, MAE) порівняно з базовими алгоритмами та класичними статичними ансамблями. У четвертому розділі здійснено проектування інформаційної технології та моніторингового програмного агента на основі декларативного підходу. Розроблено компонентну архітектуру та логіку подання багатоетапних процесів конструювання моделей у вигляді спрямованого ациклічного графа (DAG), що гарантує детермінізм обчислень та машинну відтворюваність результатів. У висновках узагальнено результати роботи, підтверджено виконання поставлених завдань та доведено ефективність розроблених рішень. Практичне значення отриманих результатів. Розроблений метод підвищення однорідності даних та удосконалений метод рециркуляції дозволяють моніторинговому агенту автономно розпізнавати різні режими функціонування інформаційної системи та адаптувати під них свою прогностичну логіку. Застосування декларативного підходу та подання процесів на основі DAG вирішують прикладну інженерну проблему MLOps щодо надійного перенесення навчених багатошарових ансамблів у середовище експлуатації із гарантуванням повної машинної відтворюваності обчислень. Дисертацію виконано у Черкаському державному технологічному університеті, м. Черкаси.

The scientific and applied problem of improving the efficiency of a monitoring software agent in the information technology of intelligent monitoring has been solved by developing methods for constructing and software implementation tools for multilayer agent models. The relevance of the work is driven by the growing complexity and dynamism of the environments in which modern distributed information systems and microservices operate. During the operation of such systems, an inevitable change in the statistical properties of data and operational modes occurs. Traditional static monitoring tools lose their adequacy under such conditions, leading to missed critical failures. A problem arises between the dynamic nature of the object and the static nature of observation tools. The solution is the creation of monitoring agents capable of the autonomous synthesis of adaptive models that ensure high accuracy without human intervention. The complexity of this task is confirmed by modern research in the field of MLOps (Machine Learning Operations). Under real-world conditions, the statistical properties of data constantly change, leading to the phenomenon of "concept drift". Since it is impossible to instantly obtain ground truth labels for new data in telemetry streams, traditional error monitoring methods become ineffective. Therefore, there is an acute need to use unsupervised drift detection methods capable of operating in real-time. That is why a monitoring agent must be able to autonomously adapt its structure to these unpredictable changes. The goal of the research: improving the efficiency of a monitoring software agent in the information technology of intelligent monitoring through the development of methods for constructing and software implementation of multilayer agent models. Scientific novelty of the obtained results. 1. For the first time, a method of multilayer synthesis of agent models is proposed, which consists of forming an input data array, synthesizing a model, adding a signal from the model output to the input data array, and re-synthesizing the model. Unlike existing methods, it uses input data clustering and the construction of models for each cluster, which makes it possible to improve the accuracy and adequacy of modeling results and to profile the agent software design method by increasing the homogeneity of observation points within clusters. 2. The method of synthesizing multilayer models has been improved by involving machine learning algorithms for layer formation, which makes it possible to increase the number of models in a layer, enhance the completeness of the object description, and improve the modeling results. 3. The method of multilayer synthesis of agent models received further development by using a Directed Acyclic Graph (DAG) in the process of designing model synthesis algorithms, which ensures the multi-stage nature of the model structure improvement process by processing output signals and using models built in different environments.

In the introduction, the relevance of the dissertation topic is substantiated, the goal, tasks, object, and subject of the research are formulated, and the scientific novelty and practical significance of the obtained results are revealed. The first chapter considers the issues of dynamic changes in the environments of intelligent monitoring of complex information systems. A theoretical analysis of time series forecasting methods is performed, and the feasibility of applying machine learning algorithms for tabular regression tasks is substantiated. MLOps issues regarding experiment reproducibility, forms of architecture representation, and limitations of existing model serialization formats are analyzed. The second chapter presents the theoretical foundations and mathematical formalization of the developed methods. It describes a method for increasing the homogeneity of input data through clustering and feature space enrichment, as well as an improved method of multilayer recirculation using heterogeneous pools of algorithms and layer-by-layer structure testing. The third chapter presents the results of experimental studies on structurally distinct open datasets. It is proven that the complex application of clustering and recirculation methods significantly reduces the forecasting error (RMSE, MAE) compared to basic algorithms and classical static ensembles. The fourth chapter covers the design of information technology and a monitoring software agent based on a declarative approach. The component architecture and logic for representing multi-stage model construction processes in the form of a Directed Acyclic Graph (DAG) have been developed, which guarantees computational determinism and machine reproducibility of the results. The conclusions summarize the results of the work, confirm the fulfillment of the set tasks, and prove the effectiveness of the developed solutions. Practical significance of the obtained results. The developed method for increasing data homogeneity and the improved recirculation method allow the monitoring agent to autonomously recognize different operating modes of the information system and adapt its predictive logic to them without human intervention. The proposed declarative approach and the DAG-based representation of processes significantly simplify the design and solve the applied engineering MLOps problem of reliably transferring trained complex ensembles to the production environment while preserving full machine reproducibility. The dissertation was carried out at the Cherkasy State Technological University, Ukraine, Cherkasy.