Integration of multimodal biometric data into an information system for comprehensive analysis of emotional states based on electroencephalograms

Abstract

The purpose of this study was to establish quantitative parameters for emotional state detection through comprehensive analysis of electroencephalography (EEG) signal characteristics integrated with synchronised biometric indicators, enhancing recognition accuracy. The study examined the incorporation of multimodal biometric data into an information system for an extensive analysis of emotional states derived from EEG. A unique methodology integrating input from various sensory systems was offered to improve the precision of emotion recognition. The analysis focused on EEG processing techniques and the integration of data from additional biometric channels, including facial expressions, heart rate, and galvanic skin response. The algorithmic and technological facets of system creation were examined, alongside experimental study findings that validated its efficacy. Special emphasis was placed on the system’s flexibility to diverse operational situations. The algorithmic and technological aspects of system development were analysed alongside the results of experimental studies that confirmed the efficiency of such systems. Multimodal emotion recognition systems held significant potential for application in various fields, particularly in the evaluation of mental health, the diagnosis of emotional states, adaptive education, and the creation of systems for advanced human-machine interaction. Special attention was given to the adaptability of these systems to diverse operational contexts and their capacity to integrate diverse biometric modalities. These integrations enhanced the robustness and reliability of emotion detection. Additionally, advancements in machine learning, particularly deep neural networks, facilitated the comprehensive analysis and synchronisation of multimodal data, enabling these systems to capture the nuances of emotional states with high precision.

Метою цього дослідження була розробка кількісних параметрів для виявлення емоційних станів шляхом комплексного аналізу характеристик сигналів електроенцефалографії (ЕЕГ) у поєднанні з синхронізованими біометричними показниками для покращення точності розпізнавання. Дослідження розглянуло інтеграцію мультимодальних біометричних даних в інформаційну систему для всебічного аналізу емоційних станів, отриманих з ЕЕГ. Була запропонована унікальна методологія, яка об’єднує дані з різних сенсорних систем, що покращує точність розпізнавання емоцій. Аналіз було зосереджено на методах обробки ЕЕГ та інтеграції даних із додаткових біометричних каналів, таких як вирази обличчя, частота серцевих скорочень і шкірно-гальванічна реакція. Було розглянуто алгоритмічні та технологічні аспекти створення системи, а також результати експериментальних досліджень, які підтверджують її ефективність. Особливу увагу приділено гнучкості системи в різних операційних умовах. Алгоритмічні та технологічні аспекти розробки системи були проаналізовані разом із результатами експериментальних досліджень, які підтверджують ефективність таких систем. Мультимодальні системи розпізнавання емоцій мають значний потенціал застосування у різних сферах, зокрема в оцінці психічного здоров’я, діагностиці емоційних станів, адаптивній освіті та створенні систем для вдосконаленої взаємодії людини з машинами. Особлива увага була приділена адаптивності цих систем до різних операційних умов та їх здатності інтегрувати різноманітні біометричні модальності. Ця інтеграція підвищила надійність і точність розпізнавання емоцій. Крім того, прогрес у галузі машинного навчання, особливо у використанні глибоких нейронних мереж, дозволяє проводити комплексний аналіз і синхронізацію мультимодальних даних, що забезпечує високоточне визначення нюансів емоційних станів.