Metrological principles for the applicationof artificial intelligence in software certification

Abstract

The relevance of this research stems from the need for metrological assurance for the application of artificial intelligence methods in software certification procedures, which require quantitatively defined quality indicators, traceability of results, and the assessment of uncertainty in certification conclusions. The aim of this work was to develop a metrology-oriented conceptual model for the use of intelligent methods in software conformity assessment processes. The study employed systems analysis, the method of decomposing certification processes, a classification-based approach to generalising artificial intelligence methods, and a methodology for establishing metrological characteristics for measuring the quality indicators of models. As a result, a representative sample of contemporary scientific sources was compiled, on the basis of which the main areas of application of intelligent algorithms in certification procedures were identified. A structural and functional analysis of the software assessment life cycle was carried out, and key points for integrating intelligent methods into the processes of evidence base formation, artefact tracing, quality metric assessment and decision support were identified. A system of metrological characteristics has been developed for the subprocesses of data preparation, model training, testing and generalisation of results, which includes quality metrics, sources of uncertainty, methods for its assessment, traceability mechanisms and reproducibility criteria. An approach has been proposed for establishing the uncertainty budget of a certification decision as an aggregated characteristic, taking into account the contribution of all stages of data processing and model operation. Artificial intelligence methods have been classified according to their role in certification procedures, taking into account the level of metrological certainty, the risk of application and the need for uncertainty assessment. A structural-logical model for the integration of intelligent methods into software certification has been developed, combining the processes of data processing, metrological evaluation and conformity decision-making. The practical value of the results obtained lies in the possibility of using the proposed model to develop standardised procedures for evaluating artificial intelligence models, implementing reproducibility protocols, ensuring the traceability of certification artefacts, and providing a quantitative justification for conclusions regarding software conformity

Актуальність дослідження зумовлена необхідністю метрологічного забезпечення застосування методів штучного інтелекту у процедурах сертифікації програмного забезпечення, що потребують кількісно визначених показників якості, простежуваності результатів та оцінювання невизначеності сертифікаційних висновків. Метою роботи стало формування метрологічно орієнтованої концептуальної моделі використання інтелектуальних методів у процесах оцінювання відповідності програмного забезпечення. У дослідженні було застосовано системний аналіз, метод декомпозиції процесів сертифікації, класифікаційний підхід до узагальнення методів штучного інтелекту, а також методологію формування метрологічних характеристик вимірювання показників якості моделей. У результаті було сформовано репрезентативну вибірку сучасних наукових джерел, на основі якої визначено основні напрями використання інтелектуальних алгоритмів у сертифікаційних процедурах. Проведено структурно-функціональний аналіз життєвого циклу оцінювання програмного забезпечення та встановлено ключові точки інтеграції інтелектуальних методів у процеси формування доказової бази, трасування артефактів, оцінювання показників якості та підтримки прийняття рішень. Розроблено систему метрологічних характеристик для підпроцесів підготовки даних, навчання моделей, тестування та узагальнення результатів, що включає метрики якості, джерела невизначеності, методи її оцінювання, механізми простежуваності та критерії відтворюваності. Запропоновано підхід до формування бюджету невизначеності сертифікаційного рішення як агрегованої характеристики, що враховує внесок усіх етапів оброблення даних і функціонування моделей. Виконано класифікацію методів штучного інтелекту за їх роллю у сертифікаційних процедурах із урахуванням рівня метрологічної визначеності, ризику застосування та потреби в оцінюванні невизначеності. Сформовано структурно-логічну модель інтеграції інтелектуальних методів у сертифікацію програмного забезпечення, що об’єднує контури оброблення даних, метрологічного оцінювання та прийняття рішення про відповідність. Практична цінність отриманих результатів полягає у можливості використання запропонованої моделі для розроблення стандартизованих процедур оцінювання моделей штучного інтелекту, впровадження протоколів відтворюваності, забезпечення простежуваності сертифікаційних артефактів та кількісного обґрунтування висновків про відповідність програмного забезпечення.