Classification of military equipment based on computer vision methods

Abstract

Means of high-altitude reconnaissance, in particular satellites, reconnaissance drones and aviation complexes, are the most common means for solving the tasks of search and detection of targets. This work focuses on improving the process of finding and identifying targets by implementing an automatic search system using artificial intelligence, with a special emphasis on the use of this technology in drones, under conditions of limited computing resources. The purpose of the work was to create a machine learning model that would localise and classify military equipment using images obtained from unmanned aerial vehicles. Machine learning models used to localise objects in images based on CNN, ResNet, Fast CNN, EfficientDet and YOLO approaches are the research methods. Various computer vision approaches, based on convolutional networks, to localise and classify military equipment in images obtained from unmanned aerial vehicles have been investigated. The approach based on the YOLO8 method has proved to be the most effective one. The generalised precision of the proposed model of image segmentation technique is 70%, and the classification precision is close to 90%, the inference time of the proposed model is less than 400 milliseconds. The system takes an image as input and returns the input image with the found military equipment. In addition, the YOLO8 (nano, small, medium) methods have been tested in the problem of equipment identification and classification in images from unmanned aerial vehicles. The approach proves to be effective and has the potential for further application as well as improvement with larger sets. The system can be used in practice to optimise the search for targets, thus simplifying the task for the operator of unmanned aerial vehicles. Also, in the case of further refinement and optimisation for specific hardware resources, it has the potential for implementation in the real defence sector. Potentially, this solution can become an important tool for military intelligence and other related industries, where precise identification of objects in real-time images is important. The implementation of such systems can significantly increase the efficiency and speed of response in various scenarios of the use of unmanned aerial vehicles.

Найбільш поширеними засобами для вирішення завдань пошуку та виявлення цілей є засоби висотної розвідки, зокрема супутники, розвідувальні дрони та авіаційні комплекси. Дана робота фокусується на покращенні процесу знаходження та ідентифікації цілей шляхом імплементації системи автоматичного пошуку із використанням штучного інтелекту, з особливим акцентом на використання цієї технології на дронах, в умовах обмежених обчислювальних ресурсів. Метою роботи було створення моделі машинного навчання, яка дозволить локалізувати та класифікувати військову техніку за допомогою зображень, отриманих з безпілотних літальних апаратів. Методами дослідження є моделі машинного навчання, що використовуються для локалізації об’єктів на зображеннях, що базуються на підходах CNN, ResNet, Fast CNN, EfficientDet та YOLO. Було досліджено різні підходи комп’ютерного зору, на основі згорткових мереж для локалізації та класифікації військової техніки на зображеннях отриманих з безпілотних літальних апаратів. Найефективніше себе показав підхід, який базується на методі YOLO8. Узагальнена точність пропонованої моделі сегментації техніки на зображення становить 70 %, а точність класифікації наближається до 90 %, inference time пропонованої моделі становить менше 400 мілісекунд. Система приймає як вхідні дані зображення і повертає вхідне зображення із знайденою військовою технікою. Додатково проведено апробацію методів YOLO8 (nano, small, medium) у проблематиці розпізнавання та класифікації техніки на зображеннях з безпілотних літальних апаратів. Підхід виявився ефективним і має потенціал для подальшого застосування, а також покращення при наявності більших наборів. Система може використовуватися на практиці для оптимізації пошуку цілей, спрощуючи таким чином завдання для оператора безпілотних літальних апаратів. Також, у випадку подальшого доопрацювання та оптимізації під конкретні апаратні ресурси, має потенціал до впровадження у реальному секторі оборони. Потенційно дане вирішення може стати важливим інструментом для військової розвідки та інших суміжних галузей, де важлива точна ідентифікація об’єктів на зображеннях в реальному часі. Впровадження таких систем може значно підвищити ефективність і швидкість реагування в різних сценаріях використання безпілотних літальних апаратів.