Розробка системи розпізнавання обличчя людини у відеопотоці з доповненою реальністю

Abstract

Розглянуто проблему розпізнавання обличчя людини у відеопотоці з доповненою реальністю, досліджено сучасний стан питання. Вивчено загальний процес розпізнавання обличчя та основні поняття доповненої реальності. Проведено аналіз сучасних підходів до розв’язання задачі розпізнавання обличчя, виявлено сильні та слабкі сторони використовуваних методів. Проведено пошук методу, інваріантного до масштабування, зміни сцени, поворотів голови, зміни освітленості, аксесуарів та зміни емоцій. Розроблено алгоритм, архітектуру та саму програмну систему, що розв’язує задачу розпізнавання обличчя людини у відеопотоці з доповненою реальністю. Методом для виявлення облич обрано гістограму направлених градієнтів (від англ. “Histogram of Oriented Gradients”, HOG), розпізнавання облич розроблено на основі згорткової нейронної мережі архітектури ResNet34. Проведено експериментальні дослідження, систему протестовано як на одному, так і на кількох обличчях одночасно. Визначено оцінки якості розпізнавання розробленої програмної системи – побудова ROC-кривих, які показують залежність кількості помилкових спрацьовувань алгоритму розпізнавання (false positive) від точності розпізнавання (true positive rate), та обчислення AUC (від англ. “Area Under the Curve”). При розпізнаванні одного обличчя досягнуто значення AUC 0,95, при розпізнаванні кількох облич (максимум чотирьох) – 0,83.

In the paper, the problem of face recognition in a video stream with augmented reality is considered. The current state of this problem is investigated. The general process of face recognition and the basic concepts of augmented reality have been studied. The analysis of modern approaches to solving the face recognition problem is carried out, the strengths and weaknesses of the methods used have been found. A search is carried out for a method invariant to scaling, scene changes, head turns, changes in lighting, accessories, and changes in emotions. An algorithm, architecture, and the software system that solves the problem of face recognition in a video stream with the elements of augmented reality have been developed. A histogram of oriented gradients (HOG) is chosen as the method for face detection; face recognition functionality is developed on the basis of the convolutional neural network architecture – ResNet34. Experimental studies are carried out, the system has been tested on both one and several faces simultaneously. Estimate methods of the recognition quality for the developed software system are determined – the plotting of ROC-curves that show the dependence of the number of false positives on the detection accuracy (true positive rate) and measuring AUC. AUC = 0.95 has been achieved during recognition of one face, and AUC = 0.83 – during recognition of several faces (maximum 4)