Методологія багатовимірного аналізу мультимодальних даних

Abstract

Бойко Н. І. Методологія багатовимірного аналізу мультимодальних даних – Кваліфікаційна наукова праця на правах рукопису. Дисертація на здобуття наукового ступеня доктора технічних наук за спеціальністю 05.13.06 – інформаційні технології. – Черкаський державний технологічний університет Міністерства освіти і науки України, Черкаси, 2025. Сучасні технології розвиваються дуже швидко, і разом із цим зростають обсяги та різнотиповість даних. У медицині це особливо відчутно, адже доводиться працювати з великою кількістю інформації: від сенсорів і приладів до знімків, записів лікарів та числових показників. Такі різнорідні дані називають мультимодальними, і для їх якісної обробки потрібні нові рішення. Мультимодальні дані часто різняться за форматом, точністю чи часом отримання, можуть бути неповними або надлишковими. Це створює труднощі при їх поєднанні й аналізі. Крім того, в реальних завданнях важливо враховувати одразу кілька вимог – швидкість, точність, стійкість до шуму та обчислювальну ефективність. Класичні методи, які орієнтуються лише на один критерій, у таких випадках виявляються малоефективними. Перспективним напрямом є пошук балансу між кількома вимогами. Модель можна налаштувати так, щоб вона зберігала достатню точність навіть при відсутніх даних, або ж працювала швидше без помітної втрати якості. У цьому дослідженні запропоновано підходи для побудови ознакових просторів для різних типів даних, узгодження інформації з різнорідних джерел та адаптації моделей до неповних чи зашумлених даних. Відсутність комплексних моделей, методів і засобів підтримки прийняття медичних рішень на основі багатовимірного аналізу мультимодальних даних, які б одночасно враховували різнорідність джерел інформації, часову синхронізацію модальностей і багатокритеріальний характер клінічних рішень, а також методологічна фрагментарність існуючих підходів і неможливість їх інтеграції в єдину ефективну систему створюють актуальну науково-прикладну проблему. Особливу увагу приділено медичній галузі, де точність і своєчасність рішень відіграють критичну роль. Виявлено, що наразі бракує універсальних інформаційних технологій підтримки прийняття рішень, які б могли ефективно об’єднувати дані різної модальності – наприклад, електрокардіограми (ЕКГ), електроенцефалограми (ЕЕГ), магнітно-резонансні томограми (МРТ) та враховувати як структурну різнорідність, так і часову неузгодженість цих даних. Розроблена в роботі інформаційна технологія вирішує цю проблему шляхом формалізованого подання медичних даних, що враховує їхню складність і багатошаровість. Вона дозволяє інтегрувати інформацію з кількох джерел, забезпечує її часову синхронізацію, зберігає аналітичну точність навіть за умови нестачі або надлишку інформації та підвищує якість і швидкість клінічних рішень. Такий підхід відкриває нові можливості для побудови сучасних інтелектуальних медичних систем і підвищення їх ефективності у реальній практиці. Наукова новизна результатів дисертаційної роботи полягає у вирішенні важливої науково-прикладної проблеми розроблення методології багатовимірного аналізу мультимодальних даних, що дало змогу розробити інформаційну технологію для автоматизованої обробки, інтеграції та інтерпретації різнорідної інформації й забезпечило подальший розвиток цього наукового напряму. Отримано такі нові наукові результати: вперше: запропонована концепція аналізу мультимодальних даних, яка полягає у виділенні ознак для кожної модальності та їх об’єднанні в єдиний багатовимірний простір ознак, яка, на відміну від існуючих, забезпечує формування окремих множин ознак із різних модальностей для розробки методів класифікації станів пацієнта, що дозволяє підвищити інформативність масивів вхідних даних та збільшити кількість правильно класифікованих станів; сформульовано принципи багатовимірного аналізу мультимодальних даних, які полягають в інтеграції різнорідних ознак та модальних моделей у єдиній інформаційній технології, що забезпечує підвищення точності, надійності та адаптивності класифікаційних систем в умовах гетерогенності та неповноти медичних даних. розроблено метод інтеграції модальних даних, який полягає у поєднанні цих даних за певними ознаками, що, на відміну від існуючих, будує точки спостереження шляхом адаптивного, погодженого та поетапного об’єднання даних із різних модальностей в єдиний вектор та поєднання цих векторів, що дозволяє створити із окремих точок спостереження за пацієнтом спільний масив вхідних даних та формувати модель-класифікатор; розроблено метод побудови мультимодальної моделі, який полягає у побудові моделей окремих модальностей та використанні результатів моделювання для класифікації станів пацієнта, який на відміну від існуючих, інтегрує результати моделювання в єдину ієрархічну структуру, що дозволяє підвищити кількість правильно класифікованих станів пацієнта. Одержав подальший розвиток: метод вибору інформативних ознак, адаптований до гетерогенності джерел мультимодальних даних, завдяки формуванню багатовимірного ознакового простору з урахуванням їх кореляційної узгодженості, що дозволяє підвищити стійкість моделей машинного навчання. Удосконалено: метод оцінювання ефективності аналізу мультимодальних даних, шляхом порівняння результатів експериментів за точністю, повнотою, F1-метрикою, часом обробки та стабільністю роботи моделей, що дає змогу об’єктивно визначати переваги запропонованої технології, збільшувати кількість правильно класифікованих станів та забезпечувати адаптацію системи до клінічних умов. Практична значимість виконаного дослідження полягає у створенні інформаційної технології багатовимірного аналізу мультимодальних даних, яка забезпечує автоматизовану обробку, інтеграцію та інтерпретацію різнорідної інформації. Застосування розробленої технології підвищує ефективність функціонування інформаційних систем і сприяє достовірності отриманих результатів для вирішення прикладних завдань, що дало змогу сформувати такі прикладні результати дослідження: Запропонована концепція аналізу мультимодальних даних дозволяє реалізувати ефективні методи класифікації шляхом формування окремих наборів ознак для кожної модальності та їх об’єднання у єдиний багатовимірний простір. Сформовано узгоджений простір ознак розмірністю X∈R^(1000×24) для 1000 пацієнтів, який забезпечив загальну точність класифікації на рівні 85 %. Такий підхід підвищує інформативність вхідних даних, зменшує втрати релевантної інформації при інтеграції, та дозволяє покращити точність класифікації станів пацієнтів. Сформульовано принципи багатовимірного аналізу мультимодальних даних, зокрема інтеграції ознак різних модальностей та об’єднання моделей, побудованих за окремими модальностями. Застосування цих принципів забезпечує надійність функціонування інформаційної технології в умовах неповних чи надлишкових даних, а також адаптацію системи до змін у структурі вхідної інформації. Розроблена технологія зберігає стабільність результатів навіть за наявності пропусків та варіацій у наборі ознак, що підтверджує її прикладну цінність для прикладних задач обробки даних. Розроблено метод інтеграції модальних даних, що забезпечує адаптивне поетапне об’єднання інформації з різних джерел у єдиний ознаковий простір. Це дозволило досягти 96 % загальної точності класифікації та значення макро- та зважених середніх метрик також дорівнюють 0,96, забезпечивши збалансоване розпізнавання всіх класів, включно зі складними клінічними станами, та підтвердивши ефективність методу для системи підтримки клінічних рішень. Розроблено мультимодальну модель з інтеграцією результатів, яка досягла 71,5 % загальної точності класифікації. Найкращі результати отримано для класів Healthy (0,73) та Other (0,76), що показує здатність моделі добре розпізнавати стани з чіткими ознаками. Водночас для класу Ischemic показник виявився низьким (F1 = 0,31), що свідчить про складність у відмежуванні схожих клінічних станів і вказує на потребу вдосконалення простору ознак для підвищення точності розпізнавання подібних патологій. Проаналізовано дані та відібрано найбільш інформативні й слабо корельовані між собою ознаки, що зменшило ризик сильних залежностей та підвищило стабільність моделі. Вибрані ознаки (наприклад, Alpha_power, GM_WM_contrast, Spectral_entropy) продемонстрували низьку міжмодальну кореляцію та високу класифікаційну значущість. Це забезпечило зменшення надмірності, підвищення стійкості до шуму та точність на рівні 85% на тестовій вибірці. Удосконалено метод оцінювання ефективності аналізу мультимодальних даних, який показав суттєву перевагу моделі інтеграції ознак (Feature-level fusion) над інтеграцією модальних моделей (Model-level fusion) у багатокласовій класифікації клінічних станів. Модель Feature-level fusion досягла 96 % точності та F1-метрик на рівні 0,962, демонструючи високу точність класифікації розпізнаючи складні класи (Ischemic, Poststroke). Для порівняння, Model-level fusion забезпечила лише 71,5 % точності з F1 = 0,31 для класу Ischemic. Високі результати Feature-level fusion пояснюються тим, що на етапі попередньої обробки формується узгоджений набір ознак, що зменшує втрати інформації та підвищує здатність моделі узагальнювати дані. Крім того, використання Використання Apache Spark прискорило обробку в 1,35–1,6 рази порівняно з Hadoop, забезпечивши середній виграш понад 100 секунд на задачу. Отримані результати свідчать про ефективність розробленої технології для масштабованого медичного аналізу. Результати дисертаційної роботи впроваджено у навчальному процесі Львівського національного університету ветеринарної медицини та біотехнологій імені С. З. Ґжицького, Львівського державного університету безпеки життєдіяльності. Розроблену методологію створення та застосування інформаційних технологій підтримки прийняття рішень на основі багатовимірного аналізу мультимодальних даних було впроваджено у практичну діяльність низки підприємств: ПП «Квадро-Альянс», ТОВ «ХВАК ЮНІТ», ДП «Бумеранг-Комфорт», ТОВ «ЗБАРАЖ АГРО-ТРЕЙД», ТОВ «ІНТЕЛДІМ».

Boyko N. I. Methodology of multidimensional analysis of multimodal data – Qualifying scientific work on the right of the manuscript. Dissertation for the degree of Doctor of technical sciences for specialty 05.13.06 - information technology. – Cherkasy state technological university Ministry of Education and Science of Ukraine, Cherkasy, 2025. Modern technologies are developing very rapidly, accompanied by a constant increase in the volume and heterogeneity of data. This is especially evident in medicine, where it is necessary to process vast amounts of information: from sensors and medical devices to imaging, physicians’ notes, and numerical measurements. Such heterogeneous data are referred to as multimodal, and their effective processing requires new solutions. Multimodal data often differ in format, accuracy, or acquisition time and may be incomplete or redundant. This creates difficulties in their integration and analysis. Moreover, real-world tasks demand the simultaneous consideration of multiple requirements – speed, accuracy, noise robustness, and computational efficiency. Classical methods that focus on a single criterion are ineffective in such cases. A promising direction is to find a balance between these requirements. Models can be configured to maintain sufficient accuracy even in the presence of missing data or to operate faster without a significant loss of quality. This study proposes approaches for constructing feature spaces for different data types, aligning information from heterogeneous sources, and adapting models to incomplete or noisy datasets. The lack of comprehensive models, methods, and tools for medical decision support based on multidimensional analysis of multimodal data – capable of simultaneously accounting for data heterogeneity, temporal synchronization of modalities, and the multi-criteria nature of clinical decisions – along with the methodological fragmentation of existing approaches and their inability to be integrated into a unified system, form an urgent scientific and applied problem. Special attention is devoted to the medical field, where accuracy and timeliness of decisions are critical. It was revealed that there is currently a lack of universal information technologies for decision support that can effectively combine data of various modalities – for instance, electrocardiograms (ECG), electroencephalograms (EEG), magnetic resonance imaging (MRI) – while considering both structural heterogeneity and temporal inconsistency of such data. The information technology developed in this work addresses this problem through a formalized representation of medical data that accounts for their complexity and multilayered nature. It enables integration of information from multiple sources, ensures temporal synchronization, maintains analytical accuracy even in the presence of missing or redundant data, and improves both the quality and speed of clinical decision-making. This approach opens new opportunities for building advanced medical systems and enhancing their effectiveness in real practice. The scientific novelty of this dissertation lies in solving a significant scientific and applied problem – the development of a methodology for multidimensional analysis of multimodal data. This has made it possible to design an information technology for automated processing, integration, and interpretation of heterogeneous information, thereby advancing this research area. The following new scientific results have been obtained: For the first time: A concept for multimodal data analysis has been proposed, which involves extracting features for each modality and combining them into a unified multidimensional feature space. Unlike existing approaches, it ensures the creation of distinct feature sets from different modalities for developing classification methods of patient states, thereby increasing the informativeness of input data and the number of correctly classified cases. Principles of multidimensional analysis of multimodal data have been formulated, which lie in integrating heterogeneous features and modality-specific models within a single information technology. This enhances the accuracy, reliability, and adaptability of classification systems under conditions of heterogeneity and incompleteness of medical data. A method for integrating modality data has been developed, based on combining data by specific features. Unlike existing methods, it builds observation points through adaptive, coordinated, and stepwise merging of data from different modalities into a single vector, followed by integration into a joint dataset for classifier model construction. A method for building a multimodal model has been proposed, which constructs modality-specific models and then integrates their outputs into a unified hierarchical structure for patient state classification. This improves the number of correctly classified cases compared to existing methods. Further developed: A feature selection method adapted to the heterogeneity of multimodal data sources by forming a multidimensional feature space that accounts for correlation consistency, thereby enhancing the robustness of machine learning models. Improved: A method for evaluating the effectiveness of multimodal data analysis through comparative experiments on accuracy, recall, F1-score, processing time, and model stability. This enables objective assessment of the advantages of the proposed technology, increases the number of correctly classified states, and ensures system adaptability to clinical conditions. The practical significance of this study lies in the creation of an information technology for multidimensional analysis of multimodal data, which provides automated processing, integration, and interpretation of heterogeneous information. The application of the proposed technology improves the effectiveness of information systems and ensures reliability of results for applied tasks. The following applied results were obtained: The proposed concept of multimodal data analysis enables effective classification methods by constructing separate feature sets for each modality and merging them into a unified multidimensional space. A harmonized feature space of dimension X∈R^(1000×24) was formed for 1000 patients, achieving an overall classification accuracy of 85%. This approach increases the informativeness of input data, reduces information loss during integration, and enhances the accuracy of patient state classification. The formulated principles of multidimensional analysis—integrating features of different modalities and combining modality-specific models—ensure system reliability under incomplete or redundant data and adaptability to structural variations in input information. The technology maintains stable results even with missing or variable features, confirming its applied value. The developed method of modality data integration enables adaptive, stepwise merging of information from different sources into a single feature space. This achieved 96% overall classification accuracy, with both macro- and weighted-average F1-scores of 0,96, ensuring balanced recognition of all classes, including complex clinical states, and demonstrating the method’s effectiveness for clinical decision support systems. The developed multimodal model with integrated outputs achieved 71,5% overall accuracy. The best results were obtained for the Healthy (0,73) and Other (0,76) classes, showing strong recognition of states with distinct features. However, for the Ischemic class the F1-score was low (0,31), indicating difficulties in distinguishing similar clinical states and highlighting the need for improved feature space construction for better recognition of such pathologies. Data analysis identified the most informative and weakly correlated features, reducing redundancy and enhancing model stability. Selected features (e.g., Alpha_power, GM_WM_contrast, Spectral_entropy) demonstrated low intermodal correlation and high classification significance, resulting in reduced noise sensitivity and 85 % accuracy on the test set. The improved evaluation method of multimodal data analysis showed clear superiority of feature-level fusion over model-level fusion in multiclass classification of clinical states. Feature-level fusion achieved 96 % accuracy with F1-scores of 0,962, ensuring high recognition even of complex classes (Ischemic, Poststroke). By contrast, model-level fusion yielded only 71,5 % accuracy with an F1-score of 0,31 for the Ischemic class. The high performance of feature-level fusion is explained by the construction of a harmonized feature set at the preprocessing stage, which minimizes information loss and improves generalization. Moreover, the use of Apache Spark accelerated processing by 1,35–1,6 times compared to Hadoop, saving over 100 seconds per task on average. These results demonstrate the effectiveness of the developed technology for scalable medical data analysis. The results of the dissertation were implemented in the educational process of Stepan Gzhytskyi Lviv National University of Veterinary Medicine and Biotechnologies, and Lviv State University of Life Safety. The developed methodology was also implemented in the activities of enterprises: PE "Kvadro-Alliance", LLC "HVAC Unit", SE "Boomerang-Comfort", LLC "Zbarazh Agro-Trade", LLC "Inteldim".