ChSTU repository
ChSTU repository preserves and enables easy and open access to all types of digital content including text, images, moving images, mpegs and data sets
Learn More
Please use this identifier to cite or link to this item:
https://er.chdtu.edu.ua/handle/ChSTU/6397| Title: | Дослідження систем керування БПЛА |
| Authors: | Чичужко, Марина Володимирівна Єкатеринін, Ярослав Іванович |
| Issue Date: | Jan-2025 |
| Abstract: | У кваліфікаційній роботі магістра створено програмне забезпечення для перетворення вхідних зображеннь місцевості в сезонно інваріантну область для навігації БПЛА на місцевості за допомогою зображень з бортової камери. Досліджено біонічні технології в сфері БПЛА в контексті орнітоптера SmartBird. Робота складається з трьох основних розділів, додатків та списку використаних інформаційних джерел. В першому розділі розглядається аналіз предметної області. В другому розділі розглядається візуальна релятивна навігація місцевості та перетворення вхідних зображень з бортової камери БПЛА в сезонно інваріантну область. В третьому розділі розглянута модель орнітоптера SmartBird, проаналізована аеродинаміка махаючих крил в сфері БПЛА. Зроблено висновки щодо концепції навігації БПЛА лише за візуальною складовою і розвитку в напрямку біонічних механік польоту. Магістерська робота складається зі вступу, 3 розділів, висновку, списку використаної літератури та додатків. Вона містить 80 сторінок. |
| URI: | https://er.chdtu.edu.ua/handle/ChSTU/6397 |
| Appears in Collections: | 174 Автоматизація, комп'ютерно-інтегровані технології та робототехніка (Автоматизація та комп'ютерно-інтегровані системи та компоненти) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| М_174_2024_Єкатеринін.pdf Restricted Access | 3.19 MB | Adobe PDF | View/Open Request a copy |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.
Extracted text
ЧЕРКАСЬКИЙ ДЕРЖАВНИЙ ТЕХНОЛОІЧНИЙ УНІВЕРСИТЕТ ФАКУЛЬТЕТ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ І СИСТЕМ КАФЕДРА РОБОТОТЕХНІКИ ТА СПЕЦІАЛІЗОВАНИХ КОМП’ЮТЕРНИХ СИСТЕМ Пояснювальна записка до кваліфікаційної роботи освітнього ступеню «магістр» на тему: ДОСЛІДЖЕННЯ СИСТЕМ КЕРУВАННЯ БЕЗПІЛОТНИМИ ЛІТАЛЬНИМИ АПАРАТАМИ Виконав: студент 2 курсу, групи МАКІТ-2309 спеціальності 174 «Автоматизація, комп’ютерно-інтегровані технології та робототехніка» (освітня програма «Автоматизація, комп’ютерно-інтегровані технології та робототехніка») Ярослав ЄКАТЕРИНІН (прізвище та ініціали) Керівник Марина ЧИЧУЖКО (прізвище та ініціали) Рецензент Людмила ПОНОМАР (прізвище та ініціали) Черкаси 2024 рік 2 ЗМІСТ СПИСОК УМОВНИХ ПОЗНАЧЕНЬ ТА СКОРОЧЕНЬ ............................... 4 ВСТУП ................................................................................................................ 5 РОЗДІЛ І СТАН ПРЕДМЕТУ ДОСЛІДЖЕННЯ ТА ФОРМУВАННЯ ЗАДАЧ. ........................................................................................................................ 10 Висновки ....................................................................................................... 14 РОЗДІЛ ІІ ВІЗУАЛЬНА РЕЛЯТИВНА НАВІГАЦІЯ МІСЦЕВОСТІ ........ 16 2.1. Поняття візуальної релятивної навігації місцевості. ................. 16 2.2. Інваріантність зображень місцевості різної сезонності. ............... 20 2.3. Архітектура навігації. ...................................................................... 21 2.4. Сезонно незмінна демонстрація ВРНМ ......................................... 37 2.5. Продуктивність ВРНМ ..................................................................... 41 2.6. Показники обладнання та часу виконання .................................... 42 2.7. Матеріали та методи ......................................................................... 43 2.8. Архітектура мережі .......................................................................... 44 2.9. Методи площі .................................................................................... 45 2.10. Особливі методи ............................................................................. 46 Висновки ..................................................................................................... 51 РОЗДІЛ ІІІ БІОНІЧНІ ТЕХНОЛОГІЇ БПЛА В КОНТЕКСТІ МОДЕЛІ ОРНІТОПТЕРА SMARTBIRD .................................................................................. 53 3.1. Функціонал польоту моделі штучного птаха. ................................. 53 3.2. Аеродинаміка махаючих крил. .......................................................... 53 3.3. Модель. ................................................................................................ 55 3 3.4. Вимірювання. ...................................................................................... 57 3.5. Експериментальна установка ............................................................ 59 3.6. Результати прив’язаного польоту ..................................................... 61 3.7. Результати вільного польоту ............................................................. 66 3.8. Теоретичні основи .............................................................................. 68 3.9. Основні прогнози ................................................................................ 69 3.10 Прогнози на основі CFD ................................................................... 71 Висновки ..................................................................................................... 72 ВИСНОВКИ ...................................................................................................... 73 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ ........................................................ 75 4 СПИСОК УМОВНИХ ПОЗНАЧЕНЬ ТА СКОРОЧЕНЬ БПЛА — Безпілотний літальний апарат ВРНМ — Візуальна релятивна навігація місцевості GNSS — Глобальна навігаційна супутникова система НПК — Нормована перехресна кореляція ВІ — Взаємна інформація. ВІ обчислюється на кожному кроці оптимізації для вимірювання подібності між еталонним і рухомим зображеннями. МІПО — Масштабно-інваріантне перетворення об’єктів ПЗМ — Повністю згорткові мережі VGG16 — Модель згорткової нейронної мережі. ІКП — імовірна кругова помилка. 5 ВСТУП В oстaнні роки в Україні швидкими темпами розвивається сфера безпілотний літальних апаратів (БПЛА), і велике значення має автоматизація процесів управління БПЛА. На тлі постійно зростаючих потреб в даній сфері виникає необхідність в зниженні фахового рівня операторів і всебічному переорієнтуванню на інтелектуальні, електронні та механічні бортові системи БПЛА. На сьогднішній день для навігації відносно місцевості безпілотного літального апарата широко застосовуються можливості глобальної навігаційної супутникової системи (GNSS). Вона дозволяє точно визначити розташування БПЛА і коригувати азимут, швидкість та інші параметри згідно польотного завдання. Але орієнтування лише на дану систему містить вразливості: стабільність сигналу навігаціних супутників, радіоперешкоди, можливість підміни сигналів супутників системами радіо-електронної боротьби. Запобігти цим вразливостям допомає інерційна система навігації, що використовувалася задовго до появи систем супутникової навігації. Але інерційна система також не ідеальна і втрачає свою точність прямопропорційно відстані від початкової відомої точки координат до кінцевої розразхункової точки польоту. Тому інерційні системи здебільшого використовуються як резервні. Звідси слідує, що жодна з вищезгаданих систем навігації не є на сто відсотків надійною, і не зможе повністю замінити людину-оператора, що орієнтується в візуальній складовій місцевості і користується біологійним зором. Крім того, при обслідуванні космічних тіл зі стабільною поверхнею, таких, як Місяць, Марс, подібні системи не можуть бути задіяні. А людина-оператор не матиме 6 можливості керувати БПЛА онлайн через довгу тривалість надходження радіосигналу. З кожним роком все більшої актуальності набувають системи навігації на основі комп'ютерного зору та здатних до навчання нейромереж, які здатні визначити своє місцерозташування шляхом звірення зображення, отриманого з бортової камери із картографічними зображеннями в базі даних бортового комп'ютера. Надалі ВРНМ (Візуальна релятивна навігація місцевості). Актуальність дослідження БПЛА визначається широким спектром їхнього застосування, що охоплює як військові, так і цивільні сфери. Завдяки високій маневреності, можливості працювати в складних умовах та здатності до тривалого спостереження, БПЛА стають невід'ємною частиною сучасних технологій. Дослідженнями систем керування безпілотними літальними апаратами присвячені роботи відомих вчених і дослідників, таких як Adams K., Agesen O., F. Douglis, J. Ousterhout, M. Kaashoek, Huang K., Bacivarov I., Hugelshofer F., Kevin J. Barker, Davis K., Adolfy H., Darren J. K., Mike L., Scott P., Michał M., Jarosław J., Ewa N. S, Przemysław S., Krzysztof G., Vitullo F., L’Insalata N. E., Petri E., Fanucci L., Casula A. Sethia, D. A. Jamshidi, Mark Silberstein, Bryan Ford, Idit Keidar, Michael F. Spear, Virendra J. Marathe, William N. Scherer, and Michael L. Scott, Dean M. Tullsen, Susan J. Eggers, Joel S. Emer, Henry M. Levy та багатьох інших. Однак, при всій цінності проведених наукових досліджень окремі питання аналізу та порівняння систем керування безпілотними літальними апаратами дослідженні недостатньо. Тому дослідження систем керування безпілотними літальними апаратами створення нових методів та моделей удосконалення, систематизації і визначення найкращих рішень та їх компонентів з малими затратами часу на проектування, розширення експлуатаційних характеристик до можливості використання в інноваційних проблемно-орієнтованих системах є актуальним. 7 Зв’язок роботи з науковими програмами, планами, темами. Напрям дослідження кваліфікаційної магістрантської роботи пов’язаний з тематикою бюджетною науково-дослідною роботою Черкаського державного технологічного університету: «Методи, моделі при обробці інтелектуальних, інформаційних технологій для високоефективних обчислювальних та локальних підсистем управління в проблемно-орієнтованих системах» (№ д. р. 0106U004501). Мета і задачі дослідження. Дослідити методи навігації БПЛА на місцевості за рахунок візуальної релятивної навігації місцевості та визначити перспективи аеродинаміки БПЛА на основі біонічних технологій на прикладі моделі SmartBird. Для досягенення поставленої мети необхідно розв’язати такі задачі: - провести аналіз біонічних технологій в галузі БПЛА; - розробити метод перетворення зображень в стабільну інваріантну область; - запропонувати модель архітектури глибокого перетворення для оптимізації реєстрації зображень. Об’єкт дослідження. Процеси автоматизації навігації і біонічні технології в механіці. Предмет дослідження. Моделі автоматизації навігації і біонічні технології в механіці. Методи дослідження базуються на сучасних досягненнях в теорії аналізу, синтезу, теорії архітектур комп’ютерних систем, теорії дискретної математики. 8 Наукова новизна одержаних результатів полягає в тому що: 1. Зроблено аналіз біонічних технологій в галузі БПЛА на прикладі моделі орнітоптера SmartBird, що ґрунтуються на двох нових функціях біологічного польоту, активного кручення та частково лінійної кінематики, визначають вектор подальшого розвитку нестаціонарної аеродинаміки. 2. Запропоновано модель архітектури глибокого перетворення для оптимізації реєстрації зображень на основі області та об’єктів у складних сезонних умовах надасть можливість автоматизувати маршрут БПЛА, мінімізуючи участь людини-пілота. Практична значимість результатів дослідження. Практична значимість результатів дослідження полягає у доведені отриманих наукових результатів до конкретних інженерних рішень: - Ефективність архітектури глибокого перетворення для оптимізації реєстрації зображень на основі області та об’єктів у складних сезонних умовах. Після опису архітектури та наборів даних, які використовуються для навчання та тестування, надаються результати експериментальної оцінки продуктивності. - Представлено модель штучного птаха, розробленого з використанням двох нових функцій біологічного польоту, активного кручення та частково лінійної кінематики. Коли крила змахують вгору, сервомотор для активного кручення повертає зовнішнє крило з позитивного кута падіння протягом короткої частини періоду помаху в негативний кут падіння. Між точками повороту кут кручення залишається постійним. Числові розрахунки підтверджують очікувані переваги порівняно з пасивним крученням. 9 Апробація результатів. Основні положення дослідження доповідалися і обговорювалися на науково-практичній конференції ЧДТУ: 23-24 квітня 2024 р.: (Україна, 2024). Публікації. За матеріалами роботи теза доповідей: 1. Розвиток та перспективи систем керування БПЛА /Чичужко М.В., Єкатеринін Я. І., Львов О. І. // Збірник тез доповідей студентської науковопрактичної конференції ЧДТУ: 23-24 квітня 2024 р. [Електронний ресурс] / [упоряд.: Єгорова О. В., Захарова О. В., Тичков В.В. та ін.]; Мво освіти і науки України, Черкас. держ. технол. унт. – Черкаси: ЧДТУ, 2024. – C. 7 Структура і обсяг роботи. Робота складається із вступу, трьох розділів, висновків, списку використаних літературних джерел і додатків. Загальний обсяг складає 80сторінок, із них 19 рисунків, 2 таблиці, Список використаних джерел містить 59 найменувань. 10 РОЗДІЛ І СТАН ПРЕДМЕТУ ДОСЛІДЖЕННЯ ТА ФОРМУВАННЯ ЗАДАЧ. Безпілотний літальний апарат (БпЛА) — повітряне судно, призначене для виконання польоту без пілота на борту, керування польотом якого і контроль за яким здійснюються відповідною програмою або за допомогою спеціальної станції керування, що знаходиться поза повітряним судном. Залежно від призначення, існують наступні типи БПЛА: 1. Військові БпЛА БпЛА повсюдно застосовуються у військовій справі, насамперед для ведення повітряної розвідки — як тактичної, так і стратегічної. Безпілотники підкласів «міні-» та «мікро-» дедалі ширше застосовуються під час бойових дій на рівні взводу та відділення для термінового отримання інформації на зразок «що за тим пагорбом», тобто для вирішення завдань військової розвідки. Далекосяжним напрямком їх застосування є вирішення завдань у складі рою. Також використовуються БпЛА для коригування вогневих ударів по наземних цілях, як ударні та дрони-камікадзе. 2. Цивільні БпЛА Невійськові дрони застосовуються для розв'язання широкого кола завдань, виконання яких пілотованими літальними апаратами з різних причин недоцільно. Такими завданнями є: - моніторинг повітряного простору, земної й водної поверхонь (спостереження за станом інфраструктури протяжних об'єктів; - патрулювання різних зон і об'єктів; спостереження за рухом на залізничних і шосейних шляхах; 11 - контроль судноплавства; спостереження за посівами; пошук корисних копалин за допомогою спецзасобів зондування; метеорологічні спостереження; - моніторинг небезпечних природних явищ; оцінка результатів стихійних лих і ліквідації їх наслідків; - спостереження за дикими тваринами в заповідниках); - екологічний контроль; - керування повітряним рухом; - реклама (використання БпЛА як носіїв реклами); - контроль морського судноплавства; - ретрансляція сигналів (передавання радіосигналів задля збільшення дальності дії каналів зв'язку; - БпЛА як носій освітлювального обладнання,гучномовця; - БпЛА як майданчик для вироблення або відбивання лазерного променя); - доставка вантажів (пошти, інструментів і матеріалів на будівництво; - ремонтні роботи, дозаправлення/підзарядка на важкодоступних об'єктах і віддалених автономних приладах (метеостанції, маяки тощо); - розпорошення хімікатів та внесення добрив на полях; підтримка продуктами, пальниками, запчастинами тощо альпіністів, туристів, експедицій; евакуаційні заходи); - художня фотографія; - керування поведінкою живих істот («пастух» для табунів коней, отар овець тощо; відлякування зграй птахів від аеродромів). Залежно від способів керування, розрізняють такі різновиди безпілотних літальних систем: - безпілотні некеровані; 12 - безпілотні автоматичні; - безпілотні дистанційно-пілотовані літальні апарати (ДпЛА). Завдяки інтенсивному розвитку мікроелектроніки, зокрема, постійному вдосконаленню мобільних пристроїв, зазнали кратного зменшення в розмірах, масі, споживанні енергії різноманітні датчики: акселерометр, гіроскоп, магнітометр, барометр, GPS, оптичні пристрої тощо. Застосування вищезгаданих датчиків у зв’язці з бортовим комп’ютером і програмним забезпеченням дозволяє стабілізувати політ БПЛА в умовах мінливого навколишнього середовища, допомогти оператору в керуванні апаратом, запобігти можливим аварійним ситуаціям і, за необхідності, забезпечити повністю автономний політ згідно польотного завдання. Як показує досвід застосування БПЛА в російсько-українській війні, оператори зіштовхуються з проблемами в керуванні літальними апаратами через дію ворожих систем радіоелектронної боротьби, а саме, підміною сигналу GPS, втручанням в частоти керування БПЛА, внаслідок чого втрачається зв’язок з апаратом, унеможливлюється виконання польотного завдання. На практиці застосовується багато варіантів вирішення проблем: - при придушенні сигналу GPS або його відсутності застосовується інерційна система поточного орієнтування, що грунтується на відомостях про початкову точку польоту, даних датчика швидкості обертання лопатей, моніторингу даних гіроскопа впродовж польоту тощо; - при втручанні в частоти керування БПЛА необхідна можливість переходу на інші частоти. Великі перспективи вирішення проблем під час польоту та/або повністю автономне виконання польотного завдання може вирішити штучний інтелект, що стрімко розвивається останні роки. Штучний інтелект на базі БПЛА, що аналізує сукупність даних бортових датчиків і містить в собі машинний зір, створює перспективу мінімізації 13 втручання оператора в роботу літального апарату. Можливість повністю автономного польоту дозволяє вирішити проблеми з радіоперешкодами. Інерційна система дозволяє стабілізувати маршрут у випадку GPS перешкод. Машинний зір, що здатен ідентифікувати мету польотного завдання, коригує маршрут. При подальшому розвитку машинного зору слід очікувати, що для цілевказівки відпаде необхідність команди від людини-оператора. Цю функцію повністю виконуватиме автоматика. БПЛА зможуть самостійно приймати рішення в рамках завдання: виконувати військові місії, обробляти сільгоспугіддя, здійснювати фото/відеозйомку логічно визначеної частини місцевості. Машинний зір розглядається в розділі ІІ цієї роботи на основі візуальної релятивної навігації місцевості. Також заслуговують на увагу перспективні розробки «FESTO» у сфері біоніки. Наразі ми не можемо спостерігати за широким розповсюдженням цих розробок в повсякденному житті. Хоча їх презентації викликають захоплення. Здається, що вони випереджають час, і незабаром обов’язково знайдуть своє практичне застосування. Один з цікавих прикладів: SmartBird. Натхнення чайкою: як і його природний взірець, Smart Bird літає, просто махаючи крилами. Надлегкий орнітоптер переконує своєю чудовою аеродинамікою і, на відміну від аналогічних льотних моделей, може самостійно злітати, літати та приземлятися без додаткового приводу. Одна з найдавніших мрій людства — літати як птах — рухатися вільно крізь повітря в усіх вимірах і «дивитися з висоти пташиного польоту». Не менш захоплюючим є сам політ птахів. Птахи досягають підйому й залишаються в повітрі, використовуючи лише м'язову силу своїх крил, якими вони створюють необхідну тягу для подолання опору повітря і приводять свої тіла в рух – без жодного компоненту обертання. Природа геніально досягла 14 функціональної інтеграції підйомної сили та руху. Птахи постійно й повністю автономно вимірюють, контролюють і регулюють свій рух у повітрі, щоб просто вижити. Для цього вони використовують свої органи чуття. Ще в 1490 році Леонардо да Вінчі побудував рудиментарні коливальні моделі крил, щоб наблизитися до досягнення польоту птахів. В 1889 р. Отто Лілієнталь опублікував книгу «Політ птахів як основа авіації: внесок у створення системи авіації». В розділ «Птах як зразок» Отто Лілієнталь докладно описує політ чайки. Останнім часом спостерігається розвиток проектів орнітоптерів, таких як професор доктор Джеймс Де Лорьє та його дослідницька група в Університеті Торонто. У 2006 році цій групі вперше вдалося злетіти зі злітно- посадкової смуги літальним апаратом, що працює від механізму з механізмом махаючих крил, в комплекті з пілотом. У серпні 2010 року літальний апарат пропелерного типу за допомогою лише м’язової сили пілота подолав відстань приблизно 150 метрів після буксирування на висоту польоту. У 2011 році інженери Festo Bionic Learning Network розробили льотну модель, яка здатна злітати автономно, піднімаючись у повітря за допомогою махаючих крил самостійно, без допомоги інших пристроїв для забезпечення підйому. SmartBird літає, планерує та плаває через повітря. Досвід, отриманий у проектах Bionic Learning AirRay та AirPenguin був включений у створення SmartBird. Мета проекту полягала в тому, щоб побудувати біонічного птаха за зразком сріблястої чайки. Захоплення створення штучного птаха, що міг злітати, літати і приземлятися лише за допомогою помахів крилами, надихнув інженерів SmartBird. Висновки Незвичайною особливістю SmartBird є активне кручення крил без використання додаткових підйомних пристроїв. Метою проекту SmartBird було створити загальну структуру, ефективну з точки зору споживання ресурсів та 15 енергії, з мінімальною загальною вагою, у поєднанні з функціональною інтеграцією двигуна і підйомної сили в крилах та блоку управління польотом в області тулуба і хвоста. Наступними вимогами були відмінна аеродинаміка, висока питома потужність для приведення в рух і підйомної сили, а також максимальна маневреність для літаючої моделі. Під науковим наглядом інтелектуальна кібернетична загальна конструкція була реалізована в окремих етапах. 16 РОЗДІЛ ІІ ВІЗУАЛЬНА РЕЛЯТИВНА НАВІГАЦІЯ МІСЦЕВОСТІ 2.1. Поняття візуальної релятивної навігації місцевості. Візуальна релятивна навігація місцевості (ВРНМ) — це метод локалізації, заснований на реєстрації вихідного зображення, отриманого з роботизованого транспортного засобу, із геоприв’язаним цільовим зображенням. Завдяки базам даних зображень Землі та інших планет із високою роздільною здатністю, які тепер доступні, ВРНМ пропонує точну навігацію без дрейфу для повітряних і космічних роботів навіть за відсутності зовнішніх сигналів позиціонування. Однак, незважаючи на потенціал високої точності, ВРНМ залишається надзвичайно чутливим до загальних і передбачуваних сезонних впливів, таких як освітлення, зміни рослинності та сніговий покрив. Розроблені алгоритми реєстрації є зрілими та мають доказові геометричні переваги, але не можуть врахувати зміни вмісту, спричинені сезонними впливами, і мають погані навички зіставлення. Підходи, засновані на глибокому навчанні, можуть враховувати зміни вмісту зображення, але створювати непрозорі оцінки позиції, які або не мають інтерпретованої невизначеності, або вимагають стомлюючої людської анотації. У цій роботі ми вирішуємо ці проблеми за допомогою цілеспрямованого використання глибокого навчання в архітектурі перетворення зображення, яка перетворює сезонні зображення в стабільну інваріантну область, яка може використовуватися звичайними алгоритмами без змін. Перетворення зберігає геометричну структуру та оцінки невизначеності застарілих підходів і демонструє чудову продуктивність за екстремальних сезонних змін, а також його легко навчати та дуже узагальнено. Показуємо, що класичні методи реєстрації працюють виключно добре для роботизованої візуальної навігації, якщо вони стабілізовані за допомогою запропонованої архітектури та здатні послідовно передбачати надійні зображення. Грубі невідповідності були майже усунені в 17 складних і реалістичних завданнях візуальної навігації, які також включали топографічні та перспективні ефекти. Реєстрація і перетворення зображень місцевості. Зображення бази даних дистанційного зондування – це звичайна наземна карта для візуальної навігації відносно місцевості (ВРНМ). Бортові камери є пасивними датчиками, які ідеально підходять для платформ з обмеженим розміром, вагою та потужністю, а велике охоплення зображень високої роздільної здатності робить ВРНМ необхідним за відсутності можливостей глобальної навігаційної супутникової системи (GNSS). Зображення бази даних використовувалися для забезпечення вимірювань абсолютного положення під час місій входу, спуску та посадки позаземних роботів; GNSS-заборонені програми захисту; оцінка стану резервного безпілотного літального апарату (БПЛА); і офлайнове субпіксельне геолокування продуктів дистанційного зондування, які можуть бути надзвичайно чутливими до помилок локалізації. ВРНМ і геолокація на цільових зображеннях є застосуваннями більш загальної проблеми реєстрації зображень, у якій зображення, зроблені з різних позицій, у різний час або різними датчиками, перетворюються в ту саму систему координат. За ідеальних умов реєстрація зображень добре вивчена та має низку зрілих автоматичних рішень. Приклади включають зіставлення шаблонів на основі інтенсивності з нормованою перехресною кореляцією (НПК), показники подібності взаємної інформації (ВІ), методи частотної області і зіставлення ознак. Класичні алгоритми реєстрації також часто оснащені геометричними та радіометричними інваріантами, які значно спрощують саму задачу ВРНМ. Наприклад, методи, засновані на об’єктах, можуть враховувати нежорсткі перетворення зображення через рельєф місцевості з дескрипторами масштабно- інваріантного перетворення об’єктів (МІПО), зокрема, будучи інваріантними до масштабу, двовимірного обертання та лінійних змін освітлення. 18 В принципі, аерокосмічний робот може бути локалізований з точністю до кількох сантиметрів відносно бази даних за допомогою бортових зображень і субпіксельного алгоритму реєстрації. Високоякісні наземні зображення з геоприв’язкою оновлюються на регулярній основі та часто доступні з роздільною здатністю 10 см на піксель або краще — глобальне покриття доступне в комерційних цілях із приблизно 30 см на піксель. Однак на практиці аерокосмічні роботи, які покладаються на зір, регулярно стикаються із серйозними змінами зовнішнього вигляду, такими як сніговий покрив або падіння листя, що змінює текстуру, освітлення та вміст ландшафту під ними. Ці зміни порушують евристичні радіометричні припущення класичної реєстрації та призводять до крихкості. Ручний вибір і зіставлення структур і контрольних точок зі стабільним зовнішнім виглядом залишається шанованою, хоча й трудомісткою практикою для реєстрації в автономному режимі. Однак автономні платформи повинні надійно виконувати зіставлення без втручання людини та історично покладалися на порівняння радіолокаційної висотоміри з топографічною базою даних. Хоча топографічні дані більш стабільні, ніж видимі дані, збіг рельєфу менш точний, ніж реєстрація зображень, і демонструє низьку продуктивність на низьких висотах або на рівнинних ділянках. Щоб усунути недоліки класичних підходів, природним варіантом є розгляд підходів глибокого навчання, які відповідають стабільним функціям високого рівня. Незважаючи на те, що сезонним змінам аерофотознімків приділено мінімум уваги, деякі методи глибокого навчання виявилися успішними для складних завдань синтезу та реєстрації, особливо в медичних зображеннях. Загальний підхід полягає у навчанні метрики глибокої подібності для заміни крихких класичних метрик за допомогою подвійної (раніше «сіамської») архітектури. Для дистанційного зондування вивчено оцінку подібності між радаром із синтетичною апертурою та оптичними зображеннями, використовуючи псевдоподвійну архітектуру, з окремими повністю згортковими 19 мережами (ПЗМ) для кожної, що подаються в загальну мережу порівняння. Реєстрація таким чином вимагає, щоб невеликі жорсткі фрагменти «чіпів» зображень багаторазово відбиралися з більших зображень і послідовно передавалися через мережу, що виключає використання в реальному часі. Наскрізні мережі підтримують нежорстку реєстрацію та уникають повторної оцінки чіпів зображення шляхом прямої оцінки геометричної трансформації між двома вхідними зображеннями, але їм не вистачає інженерних переваг класичних підходів. Чисті наскрізні підходи вимагають явного ознайомлення з усіма очікуваними трансформаціями під час навчання, для яких надзвичайно важко отримати приклади реальних нежорстких трансформацій. Надійність і невизначеність для наскрізних мереж також надзвичайно важко інтерпретувати. Крім того, глибоке навчання не обов’язково перевершує ручні підходи для мономодальної реєстрації та часто є додатковим. помітили, що мономодальна реєстрація зображень легенів під великими деформаціями виграла від гібридного використання дескрипторів, створених вручну та заснованих на навчанні. Подібним чином розширені функції МІПО з надійними «глибокими функціями», отриманими з проміжних активацій попередньо навченої мережі VGG-16. Семантичні функції також можна витягти та зіставити за допомогою сегментації на рівні пікселів, у якій стабільні попередньо визначені структури, такі як дорожні мережі, краї місячного кратера або встановлені семантичні елементи позначаються за допомогою навченої мережі та підбираються до еталонного зображення послідовно розподіляються в образах, щоб бути корисними та приписуються, а не вивчаються. Проблему надійності реєстрації також можна поставити за допомогою теорії адаптації домену, у якій неанотований «домен» цільових даних доповнює анотований вихідний домен. Передбачається, що вихідний і цільовий домени надають спільний доступ до вмісту, що стосується завдання, але відрізняються статистичними даними, що стосуються домену, наприклад, зображення листка та 20 листка є корисними для навігації, хоча їхні моделі рослинності відрізняються. Релевантний вміст можна ідентифікувати автоматично, зіставляючи два або більше вихідних доменів із загальним «латентним» доменом, оптимізованим для виконання завдання, але в якому вихідні вихідні домени більше не можна розрізнити. Зазвичай мета полягає в тому, щоб асимілювати немічені дані в модель якомога ефективніше, що широко використовується в дистанційному зондуванні, головним чином для підвищення надійності класифікатора при обмеженні навантаження на анотації. Однак автоматична реєстрація зображень приділяла мало уваги в літературі з адаптації домену, незважаючи на її надзвичайну чутливість. Робота з адаптації домену, яка є найбільш актуальною для ВРНМ, базується на перекладі зображення в зображення та походить від автомобільного співтовариства, включаючи адаптацію для сегментації сцени і переведення погіршених умов експлуатації в звичайні умови. 2.2. Інваріантність зображень місцевості різної сезонності. У світлі цих спостережень виводимо підхід до трансформації зображення для ВРНМ, який поєднує успіх глибокого навчання для перекладу зображення та адаптації домену з добре відомими інженерними властивостями класичної реєстрації зображень. Замість того, щоб намагатися згенерувати непрозору оцінку позиціонування за допомогою глибокого навчання та широких анотацій, покладаємося на той факт, що звичайні методи реєстрації в принципі мають ідеальну продуктивність, коли їх радіометричні вхідні припущення точно відповідають. Відповідно, використовуємо глибоке навчання лише для модифікації зовнішнього вигляду вхідних зображень, що є вузько визначеним завданням, з яким воно чудово справляється. Основою техніки є ПЗМ, який служить етапом попередньої обробки та перетворює вхідні зображення в сезонно інваріантну область. Ця мережа ідентифікує та покращує стабільні структури, служить механізмом уваги та оптимізована для надійної роботи порівняно з будь- 21 яким правильним класичним алгоритмом реєстрації. Після достатнього навчання одне перетворення дозволяє тестовим зображенням листя, опалого листя та снігового покриву мати ідентичний вигляд і реакцію реєстрації та може пом’якшити деякі високочастотні зміни зовнішнього вигляду, такі як глибокі зсувні тіні, які не були явним чином передбачувані або навчені заздалегідь. Структура трансформації надає сезонну інваріантність існуючому звичайному коду та методам без подальших модифікацій чи анотацій вручну. Результатом є конвеєр ВРНМ, який успадковує геометричні інваріантності від звичайної реєстрації без явного впливу під час навчання, а також пом’якшує широко порушені вхідні припущення, які спричиняють їх порушення. Продемонстровано ефективність архітектури глибокого перетворення для оптимізації реєстрації зображень на основі області та об’єктів у складних сезонних умовах. Після опису архітектури та наборів даних, які використовуються для навчання та тестування, надаються результати експериментальної оцінки продуктивності. 2.3. Архітектура навігації. Перетворення служить етапом попередньої обробки вгорі, який додає сезонну надійність ВРНМ або алгоритмам реєстрації, які самі по собі не змінюються. Мережа заздалегідь навчається з використанням різноманітних прикладів сезонних зображень і розгортається із заблокованим чорним ящиком на борту літака чи космічного робота (ВРНМ; рис. 2.1 ), або для загальної реєстрації зображень. Розміри вхідного та вихідного зображень однакові, але вихідні зображення мають відтінки сірого, як зазвичай потрібно для реєстрації. Ми навчаємо наше перетворення, використовуючи загальнодоступні дані, які вже спільно зареєстровані та не потребують додаткових анотацій. Відповідні тренувальні зображення широко доступні з глобальним і позаземним покриттям 22 із високою роздільною здатністю та фіксують роки регулярних змін зовнішнього вигляду. Рис. 2.1. ВРНМ з використанням сезонно-інваріантного глибокого перетворення в середовищі без GNSS. БПЛА визначає своє абсолютне положення, реєструючи онлайнове глибоко трансформоване зображення землі в попередньо глибоко трансформоване зображення бази даних із геоприв’язкою, запропоноване за допомогою поточної оцінки одометрії чорного ящика. Модуль глибокого перетворення ( A ) усуває ефемерний характер з обох зображень і змушує їх задовольняти радіометричні припущення ручного модуля реєстрації, який слідує. У результаті БПЛА може 23 надійно відновити своє положення за допомогою геометричної трансформації між двома зображеннями за допомогою застарілих методів, які інакше не працюють. Під час навчання надається модель трансформації зображення U-Net для зіставлення міжсезонних пар зображень у подвійному режимі — одне перетворення ідентично розподіляється між двома паралельними потоками, а продуктивність реєстрації між виходами використовується як функція втрат для оптимізації вагові коефіцієнти перетворення ( рис. 2.2 ). Рис. 2.2. Конвеєр навчання та оцінки для реєстрації зображень на основі функцій. 24 Під час навчання функція втрати спрямовує мережу на трансформацію зображень таким чином, щоб відповідні ключові точки вирівнювалися за масштабом і розташуванням, а їхні дескриптори функцій збігалися. У режимі оцінки мережа служить етапом попередньої обробки для перетворення зображень у різних доменах у загальний домен, у якому реєстрація на основі функцій є кращою. Під час виконання один потік вхідних зображень, наприклад зображення навігаційної камери (NAVCAM) або незареєстрований науковий продукт зображення, перехоплюється та замінюється виходом трансформації. Цей результат передається разом із попередньо перетвореним опорним зображенням до решти конвеєра реєстрації для обчислення геометричної трансформації між двома зображеннями. Для виявлення змін та інших наукових застосувань, у яких має бути збережено зовнішній вигляд зображення, оригінальні вхідні дані можуть бути просто спотворені відомим тепер геометричним перетворенням. Сервер ВРНМ і вибір контрольного зображення Архітектура глибокого перетворення не залежить від серверної частини реєстрації, якщо оцінка відповідності сумісна з оцінкою, яка використовується під час навчання. Для завдань зіставлення патчів використовуємо бекенд із ковзним вікном через його простоту та зрілість як метод ВРНМ. Більш ефективні реалізації можна застосувати без змін у перетворенні, і загалом для максимізації продуктивності слід вибрати відповідну серверну частину. Для будь-якої архітектури ВРНМ еталонні зображення також повинні бути запропоновані перед кроком реєстрації. Для ясності ми припускаємо, що візуально-інерційна одометрія чорного ящика доступна з точністю, достатньою лише для вибору великого контрольного зображення. Щоб продемонструвати переваги глибокого перетворення, ми також припускаємо, що одометрія не може знайти бортове зображення в межах вибраного еталонного зображення, і 25 розглядаємо відповідність незалежно. У масштабах (розмір зображення становить близько 1 км) і частоті кадрів оновлення (приблизно 20 Гц і вище) це дуже консервативне припущення з надзвичайним шумом і дрейфом. Загублений літальний апарат з більшою невизначеністю шукає більший еталонний знімок або базу даних, чому сприяє підвищена стабільність і відмінність глибоко трансформованих зображень. Навчаємо перетворення, використовуючи загальнодоступні аерофотознімки з різних регіонів Сполучених Штатів ( рис. 2.3 ). Зображення повного листя («leaf-on») і снігового покриву були отримані від Національної програми сільськогосподарських зображень (NAIP) Міністерства сільського господарства США, а зображення відсутнього листя («leaf-off») були отримані з програми геопросторових даних штату Коннектикут. Навчальні та тестові набори були створені шляхом сумісної реєстрації міжсезонних зображень у відповідні пари. Набори даних включають штучні структури, починаючи від міських поселень і закінчуючи повною відсутністю, із ландшафтним покривом, включаючи густі ліси, сільськогосподарські поля, безплідну землю, узбережжя та альпійську тундру. Включаємо набір даних про нерівні гірські райони штатів Вайомінг і Монтана, де класична реєстрація працює погано через інтенсивні зміни контрасту, спричинені снігопадом і різкими гірськими тінями. Окрім ортофотозображень, також перевіряємо нежорсткі трансформації через топографію та перспективу поза надіром, викривляючи ортофотозображення на спільно зареєстрованих цифрових моделях рельєфу (ЦМР). 26 Рис. 2.3. Типові зображення з наборів даних разом із зразками перетворень на основі НПК і МІПО. Приклади зображень із наборів даних Коннектикуту (CT) і Скелястих гір (RM) у їхніх різних доменах. ( B ) Перетворення НПК пари зображень CT "leaf- on/leaf off". Показано різні ефекти навчання з використанням чіпів зображення 600 пікселів на 600 пікселів, 300 пікселів на 300 пікселів і 150 пікселів на 150 пікселів. Збільшені зображення, окреслені червоним і жовтим контуром, 27 підкреслюють деталі, присутні під час тренування з елементами зображення 150 на 150 пікселів. ( C ) Наявність великої кількості неправильно підібраних функцій у парі зображень у градаціях сірого заважає RANSAC знайти правильне геометричне перетворення. Перетворення, оптимізоване МІПО, підкреслює корисні функції для зіставлення, одночасно видаляючи галасливі або нестабільні функції, які збільшують кількість викидів під час зіставлення. Розглядаємо дві стратегії розподілу набору даних для навчання/тестування, тимчасову та географічну, що відповідають, відповідно, оцінці продуктивності для ВРНМ та випадків використання загальної реєстрації. Для практичних місій ВРНМ потрібна завчасна база даних еталонних зображень на борту літака, і вони завжди можуть працювати на основі свого навчального набору даних. Щоб оцінити продуктивність перетворення для ВРНМ, репрезентативний тестовий набір чітко тимчасово відокремлений від навчального набору, але збігається з його географічною областю. Для загальної реєстрації зображення розглядаємо випадок, коли область інтересу занадто велика, щоб практично міститися в одному навчальному наборі. Згідно з будь-яким припущенням, сезонні ефекти могли спостерігатися лише за межами регіону експлуатації (наприклад, екстремальний снігопад рідко з’являється в загальнодоступних наборах даних), тому здатність абстрагувати структури за межами їхнього конкретного географічного положення є критичною. Відповідно, також розділяємо набір даних на навчальні та тестові набори з суворим географічним поділом. Для обох випадків припускаємо, що співвідношення навчання до даних тестування становить 4:1, а для оптимізації мережі використовуються лише дані навчання. Без втрати загальності, будь-який із доменів може служити еталонним зображенням під час виконання залежно від конкретних вимог місії та операційної області. Точність карти кожного набору даних становить 6 м. Набір даних Leaf-drop: Коннектикут 28 Набір Коннектикуту складається з 3638 спільно зареєстрованих пар зображень бази даних листів (літо 2016 і 2018) і листків (рання весна 2016), випадково відібраних у штаті Коннектикут ( рис. 2.3A , ліворуч). Зображення бази даних листочків були повторно відібрані для відповідності даним роздільної здатності NAIP (0,6 м на піксель) із розмірами 1270 пікселів на 1270 пікселів. Щоб оцінити продуктивність, коли зображення бази даних можна використовувати в навчанні, ми використовуємо набір даних 2016 року, зібраний за 2 роки до навчальної версії (2018) для тестування. Також демонструємо застосування ВРНМ із моделюванням літального апарату з використанням 308 пар, знятих над північно-західним Коннектикутом. Це зображення має пов’язану 10-сантиметрову DEM, яка використовується для деформації зображень і врахування ефектів топографії та перспективи поза межами надира. Ми зазначаємо, що цей набір даних незмінно більш міцний і лісистий, ніж набір Коннектикуту в цілому. Листкові зображення служать зображеннями NAVCAM і беруться з того самого попереднього видання, що використовується лише для тестування, а листкові зображення служать довідковою базою даних. Набір даних про снігопади: Скелясті гори Набір Скелястих гір складається з 90 спільно зареєстрованих пар чверть- чотирикутника NAIP, зроблених між 2012 і 2018 роками, що фіксують літо та умови снігового покриву в Скелястих горах штатів Вайомінг і Монтана ( рис. 2.3A , праворуч). Для навчання та тестування ділимо чверть чотирикутника на плитки розміром 1200 на 1200 пікселів, що не перекриваються, з роздільною здатністю 1 м на піксель. Зазначаємо, що цей набір даних є складним навіть для реєстрації вручну через великі безплідні території, повну відсутність штучних споруд, снігове та льодове покриття та сильну тінь у горах. Як і у випадку з набором Connecticut, також використовуємо попередні випуски літнього набору виключно для тестування випадків використання ВРНМ. 29 Оцінка ефективності Після навчання оцінюється продуктивність перетворення, порівнюючи точність широко використовуваних алгоритмів реєстрації з елементом керування градаціями сірого. Тестовий набір складається з міжсезонних пар вихідних і еталонних зображень S і R , які, відповідно, створюють реєстраційні запити та цілі. Експериментально визначаємо найкращу процедуру навчання, обмежуючи або поєднуючи різні навчальні набори та оцінюючи загальність. Оскільки типовим режимом помилки міжсезонної реєстрації є груба невідповідність, розглядаємо правильний коефіцієнт збігу чипів зображення, випадково взятих із кожного S і зареєстрованих проти відповідного R, як оцінку покращення продуктивності, що забезпечується глибоким перетворенням. Цей тест є репрезентативним для типової роботи ВРНМ, у якій NAVCAM захоплює невелику область у межах зображення бази даних, а також нежорстку реєстрацію зображення, у якій трансльовані чіпи використовуються для заповнення більш складних перетворень. Використовуєються порогові значення Intersection over Union (IoU) для визначення коефіцієнтів збігу на різних рівнях допуску, як це стандартно для оцінки продуктивності обмежувальної рамки для детекторів. Якщо IoU між тестовим чіпом і його прогнозованим аналогом на еталонному зображенні перевищує порогове значення, тоді реєстрація вважається успішною. Якщо IoU менше порогового значення, воно вважається невдалим. Зауважуємо, що обмежена точність карти може перешкодити досягненню ідеальних показників IoU навіть за ідеальної відповідності. Для оцінки продуктивності протестували K = 50 випадково вибраних мікросхем для кожної пари зображень у тестових наборах. Як обговорювалося вище, повідомляємо результати рейтингу відповідності як для тимчасово розділених, так і для географічно розділених наборів тестів. Глибокі перетворення для реєстрації на основі області 30 Для реєстрації на основі області тестуємо перетворення, оптимізоване для реєстрації НПК, перш ніж обговорювати його зв’язок із методами на основі розподілу. НПК – це просто лінійний коефіцієнт кореляції між двома фрагментами зображення з оцінкою 1, якщо два зображення повністю корельовані, і оцінкою 0, якщо вони не корельовані. Спочатку піддаємо процес навчання трьом наборам експериментів, щоб визначити найкращі методи: розглядаємо вплив розміру навчального чіпа на деталі, відновлені за допомогою перетворення, обсяг навчальних даних, необхідних для того, щоб перетворення добре працювало на ділянках, які воно не експонувало. і обсяг додаткових даних, необхідних для ефективної роботи на територіях з різним ґрунтовим покривом. Оскільки кожен із цих експериментів розглядає загальність перетворення, ми використовуємо географічно розділений тестовий набір. Хоча продуктивність під час тестування завжди покращується з більшим розміром тестового чіпа, було помічено, що менший розмір навчального чіпа дає кращі результати. Тестові мікросхеми були фіксованими на рівні 300 пікселів на стороні під час наших експериментів, але навчальні мікросхеми, які мали 150 пікселів на стороні, перевершували більші мікросхеми, створювали різко локалізовані структури та покращували деталізацію в складних областях, таких як однорідні листяні ліси ( рис. 2.3 і 2.4) . 31 Рис. 2.4. Результати реєстрації зображення НПК. Моделі в перших трьох рядках оцінювалися з географічно розділеними даними, тоді як моделі в останньому рядку тестувалися з тимчасово розділеними даними. Якщо не зазначено інше, моделі було навчено та протестовано з використанням наборів даних, зазначених у їхніх стовпцях. ( A ) Діаграми в цьому рядку відображають вплив різних розмірів мікросхем під час навчання. ( B ) Ці графіки показують позитивний коефіцієнт збігу під час тестування, одночасно збільшуючи кількість навчальних даних, які бачить модель перетворення. ( C ) Перетворення були навчені на всьому наборі CT, всьому 32 наборі RM та об’єднаному наборі, що складається з обох. Трансформації оцінювалися окремо на тестових наборах Коннектикут і Скелясті гори. ( D ) Моделі, навчені спеціально для ВРНМ, працюють нарівні з найефективнішими перетвореннями з рядка (A). Додаткові навчальні дані покращують продуктивність у географічно відокремленому тестовому наборі, але результати збільшуються разом із порогом IoU через покращену чіткість ( рис. 2.4 ). Отримання повного навчального набору даних, а не випадково вибраної підмножини в 10 разів від його розміру, забезпечує покращення на 8 процентних пунктів для набору Коннектикуту при пороговому значенні IoU 0,75, тоді як збільшення порогового значення IoU до діапазону 0,95 дає 21 покращення на відсотковий пункт. Подібним чином оцінка набору Скелястих гір дає покращення на 4 відсоткові пункти при пороговому значенні IoU 0,75, але покращення на 11 відсоткових пунктів при пороговому значенні 0,95. Також спостерігаємо, що додаткові навчальні дані з ландшафтним покривом, відмінним від тестового набору, також покращують показники відповідності ( рис. 2.4 ). На тестових наборах Скелястих гор і Коннектикуту найкраща продуктивність була досягнута шляхом навчання мережі на всіх доступних тренувальних парах Коннектикут і Скелястих гор, а не за допомогою кожного тренувального набору окремо. Для порогового значення IoU 0,9 і географічного розподілу тестових і навчальних наборів ця мережа досягла показників відповідності 0,92 для набору Коннектикут і 0,96 для набору Скелястих гір порівняно зі значеннями лише для Коннектикуту та Скелястих гір 0,83 і 0,94 і контрольними значеннями у відтінках сірого. 0,50 і 0,66. Зауважимо, що об’єднаний навчальний набір запропонував більше покращень у порівнянні з тестовим набором Коннектикуту, ніж тестовим набором Скелястих гор, особливо при порогових значеннях IoU вище 0,85. Ця асиметрія значною мірою пояснюється повною відсутністю рукотворних споруд у наборі Скелястих гір. 33 Набір Скелястих гір забезпечує релевантні тренувальні зразки поза забудованими районами Коннектикуту, але тренувальні зразки Коннектикуту змушують глибоку трансформацію покладатися на штучні структури, які не мають значення в умовах дикої природи. Очікувано, також виявлено, що навчальні набори повинні містити деякий наземний покрив, схожий на тестовий набір, щоб запропонувати покращену продуктивність порівняно з контролем у відтінках сірого — навчання тільки в Коннектикуті призвело до низької продуктивності порівняно з набором Скелястих гір і навпаки. Щоб розглянути випадки використання ВРНМ, у яких зона польоту відома заздалегідь, було об’єднано географічно відокремлені навчальні та тестові набори в єдиний навчальний набір і врахувана продуктивність на додаткових тестових наборах, тимчасово відокремлених від початкових наборів ( рис. 2.4 ). . Загалом спостерігаємо невеликий вплив від включення географічної області тестової області в навчання, з невеликим підвищенням продуктивності при високих порогових значеннях IoU та невеликим зниженням продуктивності при нижчих порогових значеннях IoU. За винятком тих, що містять постійні структурні зміни, пари, які виходять з ладу лише під час впливу додаткових даних, зазвичай мають внутрішньодоменні зміни земельного покриву, які не були розглянуті в навчальному наборі. Оскільки під час навчання кожній парі було представлено лише один приклад кожного домену, така поведінка є симптомом перенавчання певної сцени на певному зовнішньому вигляді, який може сильно змінитися під час тестування. З іншого боку, незначне збільшення при високих IoU, очевидно, пов’язане з підвищенням чіткості, яке забезпечується включенням дуже релевантних навчальних зразків. Однак той факт, що загальна продуктивність зіставлення відносно нечутлива до географічного покриття, свідчить про те, що функції, отримані за допомогою перетворення, є абстрактними та високорівневими, а не прив’язані до орієнтирів із конкретним розташуванням. 34 Також спробували навчити перетворення для безпосередньої оптимізації нормалізованої цілі ВІ, але спостерігали нестабільне навчання навіть із надзвичайно малими темпами навчання та навмисним перенавчанням над однією парою зображень, яка також використовувалася для тестування. Така поведінка узгоджується з невірною позицією ВІ як цілі оптимізації — оптимальне перетворення є дуже неунікальним, оскільки ВІ та пов’язані з ним методи розподілу інваріантні до будь-якої оборотної детермінованої функції. Крім того, ВІ є недиференційованим і не може використовуватися для зворотного поширення без використання плавної апроксимації. На щастя, ціль навчання НПК також можна використовувати для навчання перетворень, які покращують реєстрацію на основі ВІ. Незважаючи на те, що тест повної роздільної здатності нормалізованої продуктивності ВІ на чіпах зображень є складним [потрібна архітектура від грубої до тонкої, навіть якщо курс і висота відомі, навчене НПК перетворення покращує здатність нормалізованого ВІ розрізняти відповідні та невідповідні пари. На наборі з 11 600 відповідних і 11 600 невідповідних пар чіпів зображень, випадково взятих з обох тестових наборів і виставлених на нашу найефективнішу мережу, розбіжність Кульбака-Лейблера (KL) між розподілами ВІ для відповідних і невідповідних пар зображень у відтінках сірого становила 0,22, тоді як застосування перетворення НПК збільшує розбіжність KL до 1,58. Глибокі трансформації для реєстрації на основі функцій На відміну від простих функцій втрати, доступних для оптимізації методів області, адаптація нашого перетворення для продуктивності реєстрації на основі ознак вимагає одночасної оптимізації реакції детектора та дескриптора. Проілюструємо наш підхід за допомогою функцій МІПО, до яких наше перетворення додає сезонну інваріантність до добре відомих властивостей інваріантності обертання, масштабу та лінійної яскравості. Функції МІПО зазнали вражаючої невдачі в контрольних тестах відтінків сірого в сезонних парах, оскільки більшість виявлених функцій невеликі та пов’язані з ненадійними 35 ефемерними ландшафтними текстурами, такими як рослинність. Натомість одночасно оптимізуємо глибоке перетворення для відтворюваності детектора, відтворюваності дескриптора та відмінності дескриптора, щоб видалити ненадійний сезонний вміст. Що стосується методів на основі області, оцінюємо продуктивність нашого глибокого перетворення, використовуючи географічно розділені та тимчасово розділені набори для навчання та тестування. Щоб оцінити ВРНМ для NAVCAM, що має найнижчий вигляд, без інших доступних датчиків (зональні методи передбачають відому орієнтацію та висоту), розглядаємо тестові чіпи розміром 640 на 480 пікселів, витягнуті з крос-сезонних пар і піддані довільно змінним трансляціям, обертанням , і масштабні перетворення. Спостерігаємо, що наше глибоке перетворення забезпечує значні переваги в продуктивності порівняно з керуванням відтінками сірого для всіх порогових значень IoU ( рис. 2.5 ), а також над усіма наборами тестів і розглянутими стратегіями навчання. Проте методи, засновані на об’єктах, здаються більш чутливими до ґрунтового покриву, який зустрічається під час навчання, ніж методи, пов’язані з площею, і вплив зухвалих зразків може погіршити продуктивність. Об’єднання наборів даних Скелястих гір і Коннектикуту покращило показники збігу в тестовому наборі Коннектикуту за всіма пороговими значеннями IoU, головним чином завдяки покращенню щільності характеристик у лісистих районах, але погіршило показники збігу в тестовому наборі Скелястих гір через залежність від штучних структур, які не присутні під час тестування. 36 Рис. 2.5. Ефективність зіставлення МІПО на географічно та часово розділених наборах тестів, оцінених за допомогою чіпів тестового зображення розміром 640 на 480 пікселів. Тестові пари, які не мають достатньо ключових точок для обчислення пози камери, зараховуються як невідповідності в експериментах, позначених «(1)», але вважаються непридатними для навігації в експериментах, позначених «(2)», і не враховуються. ( A ) Для географічно відокремлених оцінок порівнюємо показники відповідності трансформацій, навчених на одному наборі Коннектикут (CT) або Скелясті гори (RM) («Exp. 100%», для CT або RM), з трансформаціями, навченими на обох наборах (« CT 100% + RM 100%”). ( B ) Щоб визначити ефект тренування в очікуваній зоні польоту, порівнюємо трансформації, навчені на основі географічно розділених даних («Exp. 100%»), з трансформаціями, спеціально підготовленими в тій самій зоні, що й тестовий набір, але за різні роки («Exp. 100% + Тест”). 37 На додаток до покращення рівня збігу, глибоке перетворення також забезпечує реалістичну оцінку навігаційної користі зображення та виходить з ладу набагато витонченіше, ніж зображення у відтінках сірого. Зображення, позбавлені навігаційних підказок, такі як відкрита вода чи однорідний листяний ліс, просто не мають достатньо функцій, доступних для реєстрації після впливу трансформації, і призводять до збою. З іншого боку, зображення у градаціях сірого часто мають достатньо фальшивих функцій, щоб повернути оцінку реєстрації, і мають тенденцію генерувати невідповідності, коли вони повинні натомість вийти з ладу. Відповідно, повідомляємо про експерименти, які відхиляють і зберігають невдалі тестові пари на рис. 2.5 . Нарешті, включення області тимчасово відокремленого тестового набору в навчальний набір дещо зменшує кількість відхилених пар на наборі Скелястих гір, але по суті без покращення набору тестів Коннектикуту та незначного зниження навичок зіставлення прийнятих пар в обох наборах. Це зниження продуктивності узгоджується з перетренованістю на появі сцени під час тренування. 2.4. Сезонно незмінна демонстрація ВРНМ Оцінюємо наше перетворення в реалістичних умовах ВРНМ під час змодельованого польоту над відносно нерозвиненою та нерівною територією північно-західного Коннектикуту ( рис. 2.6 ). Умови, які виникли під час польоту, загалом значно складніші, ніж у Коннектикуті, і включають великі безперервні простори листяного лісу з крутішою місцевістю та рідшою забудованістю. Зона польоту охоплена DEM і тестовим набором, розділеним у часі, який використовується для моделювання зображень із NAVCAM на борту літака. Через крутий рельєф і рух літака реєстрація зображення передбачає складну геометричну трансформацію, що включає переміщення літака, орієнтацію та зміни висоти разом із ефектами перспективи завдяки поєднанню оптики камери, 38 перегляду поза надіром і топографії. . Еталонні зображення взяті з бази даних ортофотозйомки листочків, із зображеннями NAVCAM, зробленими в повних умовах листочків, із відривом від даних навчання на 2 роки. Через складність цього перетворення та інтенсивні сезонні зміни, для створення надійних абсолютних оновлень позиції необхідні як незмінність вмісту глибоких перетворень, так і геометричні переваги звичайної реєстрації. Рис. 2.6. Демонстрація ВРНМ із імітацією польоту над північно-західним Коннектикутом. 39 Траєкторія польоту вісімки показана з кількома вибраними зображеннями NAVCAM (640 на 480 пікселів), які бачив літальний апарат. Траєкторія складається з невеликих міст, сільськогосподарських районів, густих листяних лісів і іноді відкритої води. ( B ) Швидкість збігу реєстрації на основі НПК на різних порогових значеннях відстані від позицій істинності на землі. ( C ) Реєстраційні істини відстані від землі на основі МІПО на 50-му, 68-му, 90-му та 95-му процентилях. Розглядаємо як навігацію на основі НПК, так і МІПО разом із пов’язаними глибокими трансформаціями та набором елементів керування відтінками сірого. МІПО може вміщувати складні геометричні перетворення, в принципі, якщо кількість узгоджених функцій є адекватною, тоді як НПК припускає знімки, що виглядають у найнижчій точці, і оцінку курсу, надану компасом, і оцінку висоти, надану висотоміром. Не надаємо МІПО оцінку курсу через його обертальну інваріантність, але НПК постачається зі збуреними (±2°) знімками в найнижчій точці та шумовими оцінками курсу (±5°), щоб оцінити реалістичні робочі умови з похибкою приладу. Всупереч типовій практиці, також оцінюємо НПК без переваг онлайн-ортотрансформації. Щоб виділити сезонний вплив на продуктивність від геометричних ефектів, також включаємо контрольний тест НПК з онлайн-ортотрансформацією, ідеальним альтиметричним вимірюванням і ідеальними вимірюваннями компасом. Тестова послідовність NAVCAM складається з 200 чипів зображення з розмірами 640 пікселів на 480 пікселів, зроблених приблизно через кожні 180 м уздовж 36-кілометрової траєкторії літака у вигляді вісімки приблизно на 200 м над землею. Через частий і послідовний характер зображень кадри дещо корельовані та згруповані в складних областях, яких було набагато менше у повному наборі Коннектикуту. Використовуємо зображення бази даних розміром 1270 пікселів на 1270 пікселів для НПК і менше зображення розміром 800 пікселів на 800 пікселів для МІПО через його більш розріджену природу та 40 використання з погано обмеженими перетвореннями. Також зазначаємо, що 3 з 200 знімків містили лише відкриту воду і були або невідповідними, або відхиленими через відсутність навігаційного вмісту алгоритмами реєстрації в усіх експериментах. Для НПК серверну частину ВРНМ було виконано за допомогою методу ковзного вікна на основі патчів, тоді як функції МІПО зіставлялися за допомогою стандартних балів суми абсолютних різниць методом грубої сили. Надзвичайно шумна бортова одометрія була змодельована та використана для вибору еталонних зображень (0,6 м на піксель), які містять розташування літака десь у межах встановленого розміру карти. Це припущення про помилку одометрії значно перевищує середній інтервал між знімками в 180 м. Кожен знімок розглядався як незалежний, і одометрії не дозволялося впливати на початкову невизначеність перед ВРНМ, крім розміру контрольного зображення. Тестові зображення були піддані найефективнішим перетворенням НПК і МІПО, визначеним під час оцінки продуктивності для методів на основі об’єктів і на основі площі, які були навчені на основі тренувальних даних Коннектикуту та Скелястих гор, об’єднаних в єдиний набір. Виявлення функцій МІПО, виділення та зіставлення виконувалися за допомогою OpenCV із налаштуваннями за замовчуванням, а консенсус випадкової вибірки (RANSAC) використовувався для оцінки повної афінної геометричної трансформації без знання висоти літака чи положення. Перспектива та топографія поза найнижчою точкою дозволяють тестовим зображенням відрізнятися за формою від наземних і запобігають ідеальним оцінкам IoU, навіть якщо локалізація ідеальна, тому ефективність навігації оцінювалася за допомогою відстані центроїда між зареєстрованими зображеннями та наземною відповідністю. Також обчислюємо кілька статистичних даних про відстань до центроїда, включаючи імовірну кругову помилку (ІКП), оцінки R68, R90 і R95, які відповідають відповідно 50- му, 68-му, 90-му та 95-му процентилям відстані до центроїда. 41 2.5. Продуктивність ВРНМ При використанні з глибоким перетворенням НПК виявився потужним і надійним інструментом навігації навіть за наявності крутого рельєфу та збурень кута огляду, які порушували його геометричні припущення. Глибоке перетворення мало набагато менше невідповідності, ніж градації сірого, а також точніше локалізувало близькі збіги ( рис. 2.6 ). ІКП для немодифікованого трансформованого зображення становив 14 м порівняно з 3 м для ідеалізованої геометрії, 40 м для немодифікованої сірої градації, 16 м для ідеалізованої сірої геометрії та 168 м для набору з 100 випадково вгаданих центроїдів на кадр. Глибоке перетворення мало суттєві невідповідності: трансформовані зображення мали оцінку R68 19 м, оцінку R90 46 м і оцінку R95 115 м порівняно з 4, 7 і 14 м для ідеалізованих умов. Оскільки кожна з цих оцінок значно менша за розмір зображення NAVCAM навіть при високих процентилях, ця розбіжність свідчить про те, що значна частина помилки була спричинена неможливістю зіставлення спотворених тестових зображень із прямокутними, орто-випрямленими наземними істинними за допомогою жорсткого перекладу. З іншого боку, контрольні зображення в градаціях сірого мали оцінку R68 150 м, оцінку R90 233 м і оцінку R95 262 м, яка покращилася до 32, 228 і 260 м за ідеальної геометрії зображення. Відхилення в R68, але приблизна конвергенція в балах R90 і R95 між цими двома експериментами свідчить про те, що відтінки сірого були дуже чутливими до топографії та кута огляду. Крім того, відтінки сірого також страждали від грубих невідповідностей, спричинених сезонним вмістом, про що свідчить порівняння з випадковими оцінками центроїда 197, 241 і 258 m. МІПО зміг надати точні та надійні точні оцінки положення на основі глибоко трансформованих зображень навіть за допомогою камери як єдиного навігаційного інструменту, але ціною набагато нижчої частоти оновлення. Хоча глибока трансформація змогла стабілізувати зображення, їй було важко 42 покращити та зосередити достатню кількість сильних функцій у найскладніших областях. Однак ефект стабілізації відновив високі рівні точності серед корисних зображень, визначених за допомогою емпіричного підрахунку збігів ознак. Одинадцять відсотків зображень були визнані надійними в трансформованому зображенні з ІКП 14 м і максимальною похибкою 76 м. Навпаки, контрольне зображення у градаціях сірого не могло передбачити надійні чи ненадійні кадри за будь-якого порогового значення кількості функцій. Для того ж експерименту було прийнято 53% зображень із ІКП 116 м і R95 263 м для незначної переваги над випадковими припущеними значеннями 192 і 301 м відповідно. 2.6. Показники обладнання та часу виконання Машини були налаштовані на процесори Intel Core i9-7900x із 128 гігабайтами (ГБ) пам’яті. Тренували глибокі трансформації за допомогою графічних процесорів (GPU) Nvidia Quadro RTX 8000 (48 ГБ) і Titan RTX (24 ГБ). Оскільки ВРНМ потребує трансформації чіпів зображень у режимі онлайн, був записаний час роботи та використання пам’яті для різних розмірів чіпів навігації, включно з тими, що використовувалися в демонстрації ВРНМ. Було перевірене глибоке перетворення за допомогою Titan RTX і повідомлено про ці результати в таблиці 1 . Виявлено, що глибоке перетворення, прискорене графічним процесором, може обробляти мікросхеми розміром 640 пікселів на 480 пікселів із частотою 17 Гц і навіть більші мікросхеми розміром 1600 пікселів на 1200 пікселів із частотою 2,7 Гц. Для невеликих чіпів зображення глибоке перетворення все ще може працювати на розумних швидкостях навіть без графічного процесора, але ціною меншої швидкості оновлення позиції. Не повідомляємо показники для більших зображень бази даних, які не трансформуються в режимі реального часу, а натомість обчислюються заздалегідь в автономному режимі та зберігаються в кеші для швидкого пошуку. 43 Таблиця 2.1 Час виконання та споживання пам’яті глибокого перетворення для різних розмірів вхідного зображення. Розмір зображення (піксель на Перетворення Пам'ять Перетворення піксель) GPU I/O (s) GPU GPU (ГБ) процесора 300 × 300 0,0003 0,0192 0,67 0,700 640 × 480 0,0004 0,0597 2.13 2,734 1280 × 720 0,0008 0,1722 6.25 8.139 1600 × 1200 0,0015 0,3623 12.95 17,250 2.7. Матеріали та методи Структуруємо перетворення як ПЗМ із самоконтрольованою архітектурою навчання, яка припускає спільно зареєстровані пари зображень, але визначає та витягує сезонно стабільні структури самостійно. Під час навчання ( рис. 2.2 ) пари зображень із міжсезонними відмінностями (листя-off проти листя-on або літо проти снігу) послідовно піддаються ПЗМ зі спільними вагами, що виводить пару одноканальних трансформованих зображень із ті самі розміри, що й входи. Мережа навчається за допомогою функції втрат, обчисленої на основі продуктивності заданої техніки реєстрації (наприклад, НПК або МІПО) у допоміжному завданні зіставлення чіпів. Незважаючи на те, що конкретна структура функції втрат залежить від вибору серверної частини реєстрації, перетворення можна навчити оптимізувати будь-який алгоритм із диференційованою та правильною оцінкою відповідності. При цьому ми 44 використовуємо статистичну потужність глибокого навчання, щоб додати сезонну надійність застарілим методам. Після навчання ПЗМ створює однопотокове перетворення зображення, яке видаляє вихідні та еталонні зображення від сезонно нестабільного вмісту для стабільної реєстрації. У решті цього розділу виділимо конкретні деталі мережі та розглянемо побудову сезонно інваріантних перетворень для реєстрації на основі області та ознак. 2.8. Архітектура мережі U-Net обрано як приклад моделі, хоча будь-яка архітектура ПЗМ, яка зберігає роздільну здатність зображення, буде достатньою. У контексті глибокого перетворення U-Net відображає вхідне зображення у градаціях сірого розмірами W пікселів на H пікселів зі значеннями інтенсивності в [0,1] на вихідне зображення у градаціях сірого такого ж розміру та стиснене до [0,1] за допомогою сигмоїдної функції. Вхідні дані нормалізуються з використанням фіксованого середнього та SD, отриманого з навчального набору. Щоб уникнути артефактів «шахової дошки», пов’язаних із деконволюцією, замінюємо шари деконволюції оригінальної U-Net блоками, що складаються з операції підвищення дискретизації з бікубічною інтерполяцією з подальшою згорткою. Функція втрати та регулярізація Під час навчання функція втрат обчислюється шляхом пропускання пар перетворених мікросхем (Т 1 i ,Т 2 i ) до функції відповідності бажаного алгоритму реєстрації зображення. Функція відповідності генерує нормалізований показник подібності ŷ(Т 1 2 i ,Тi )∈[0,1]. Нормована оцінка подібності ŷ у свою чергу порівнюється з двійковою міткою yi , яка вказує, чи були мікросхеми спочатку спільно зареєстровані ( y i = 1) чи ні ( y i = 0). Втрата ℒ є сумою внесків від кожної 45 пари зображень і використовується для оновлення мережевих ваг шляхом зворотного поширення. Відповідно, мікросхема пара(Т 1,Т 2 i i ) сприяє ℒ (i)=∥ ŷ ((Т 1 i ,Т 2 i )−yi∥ (2.1) до ℒ, де ∥ · ∥ диференційована норма. Єдина вимога до ŷ полягає в тому, що оцінка збігу диференціюється відносно параметрів мережі та добре поставлена для зворотного поширення. Щоб уникнути тривіальних перетворень, таких як встановлення ідентичних нульових пікселів, під час навчання повинні бути представлені невідповідні зразки з y i = 0. Спільно зареєстровані (позитивні) мікросхеми вибираються з імовірністю 0,5 і направляються до оцінки ідеальної відповідності, тоді як невідповідні (негативні) зразки спрямовуються до оцінки невідповідності в найгіршому випадку або межі поділу. Деталі впровадження та навчання Розглянута архітектура U-Net базується на репозиторії GitHub, Pytorch- UNet, і адаптована шляхом заміни деконволюцій для вирішення артефактів шахової дошки, як згадувалося раніше. Усі перетворення були навчені за допомогою оптимізатора Адама зі швидкістю навчання 1 × 10 −5 протягом 300 епох. Швидкість навчання знижувалася з експоненціальною швидкістю 0,995 кожні дві епохи. Розмір партії було відкориговано залежно від розміру навчального чіпа, щоб відповідати графічному процесору, але не більше 16. Покладалися на бібліотеки OpenCV і Kornia Python, щоб реалізувати функцію втрати для реєстрації зображень на основі МІПО. 2.9. Методи площі 46 Процедура навчання для методів реєстрації на основі області безпосередньо оптимізує продуктивність реєстрації на навчальному наборі. Усі методи реєстрації на основі області використовують оцінку подібності на основі значень інтенсивності, щоб визначити, чи збігаються фрагменти зображення чи ні, які просто направляються до ідеальних (відповідних) або найгірших (невідповідних) значень для навчання нашої мережі. Мета НПК широко застосовна, а також корисна для МІ та пов’язаних методів на основі місцевості. Нормована взаємна кореляція За чіп-пару(Т 1 i ,Т 2 i )нульове середнє значення НПК визначається як ˆ NCC 1 �� = ∑ (��1 �� ��,�� i (��, ��) − μ 2 1)(��i (��, ��) − μ2) (2.2) ��σ��σ�� де u , v – координати пікселів у чіпах, n – кількість пікселів у кожному чіпі, а μ 1 , σ 1 і μ 2 , σ 2 – відповідні середні значення та SD перетворених чіпів. Щоб оптимізувати перетворення, керуємо показником подібності ?̂?NCC �� до мітки y i = 1 для позитивних зразків і y i = 0 для негативних зразків, використовуючи квадрат помилки для K пар 1 ˆ ℒ �� NCC 2 NCC = ∑ �� ��=0 ∥ ���� − ���� ∥2 (2.3) 2.10. Особливі методи На відміну від методів області, методи на основі ознак складаються з двох цілей, які повинні бути оптимізовані: виявлення, при якому визначаються надійні місця розташування об’єктів, і вилучення, при якому дескриптори, які послідовно представляють унікальні структури, вибираються у виявлених місцях ( рис. 2.2 ). Масштабно-інваріантне перетворення ознак 47 Щоб оптимізувати для МІПО, включаємо дві цілі, згадані вище, у функцію втрат. Відгук детектора направляється в загальну область за допомогою оптимізації НПК за допомогою пірамід різниці Гауса (DoG) від пари чіпів трансформованого зображення(Т 1 i ,Т 2 i ) 1 �� ˆ ℒ = ∑ ∥ ��NCC(��1 det ��=0 �� , ��2 �� ) − �� 2 �� ∥2 (2.4) �� де (��1 j , ��2 j )є парами 64 × 64 патчів, взятих із пірамід DoG перетвореної вхідної пари. Під час навчання випадковим чином виділяємо 100 пар зразків пірамід із кожного вхідного зображення з коефіцієнтом від’ємної відповідності 0,5. Щоб оптимізувати продуктивність дескриптора, обчислюємо попарну відстань між M виявленими ключовими точками в Т 1 i і N виявлених ключових точок у Т 2 i ( Рівняння 2.5 ). Під час навчання M і N фіксуються на 500. Нормовані пари дескрипторів (��1 ��, ��2 ��) витягуються з кожного зображення, де ��1 �� це m- й дескриптор, витягнутий з Т 1 і ��2 i �� є n- м дескриптором, витягнутим з Т 2 i . Евклідова відстань між парами дескрипторів ?̂?desc ��,�� спрямовується до мітки y m , n , яка дорівнює 0, якщо відповідні ключові точки збігаються за масштабом і розташуванням, і спрямовується до максимального запасу a = 2, якщо вони не відповідають ?̂?desc 1 ��,�� = ‖���� − ��2 ��‖2 (2.5) 1 �� �� ˆ ˆ ℒdesc = ∑��=1 ∑��=1 ����,�� · ��desc ��,�� + (1 − ����,��) · max(0, �� − ��desc ��,�� ) (2.6) MN Дві функції втрат потім спільно оптимізуються як ℒ = βℒdet + ℒdesc (2.7) 48 де β емпірично вибрано рівним 10. Щоб обробити більше ключових точок у різних масштабах, випадково й ідентично масштабуємо вхідні пари від 0,6 до 1,4 і обрізаємо до 256 пікселів на 256 пікселів, 400 пікселів на 400 пікселів або 512 пікселів на 512 пікселів. до перетворення. Перетворення вивчає дуже загальні, абстрактні функції, які мають семантичний характер, а не орієнтири, прив’язані до конкретних географічних місць. Перетворення не потрібно тренувати на конкретній області, де воно буде використовуватися, і лише невеликі обсяги даних були потрібні, щоб перевищити продуктивність стандартних зображень у градаціях сірого. Переваги ізоляції геометрії в сконструйованому звичайному сервері, а не в навчанні, також були очевидні в експериментах на основі функцій. Використовуючи серверну частину МІПО, глибокі трансформації змогли точно оцінити надійність і врахувати складні топографічні та перспективні трансформації, незважаючи на навчання лише ортофотографії. Також виявлено, що НПК є надзвичайно потужним інструментом, якщо його доповнити глибоким перетворенням, незважаючи на його простоту. Глибоко трансформований НПК продемонстрував надійну продуктивність проти серйозних сезонних ефектів і збурених умов зображення, які порушували його взаємно орторектифіковані геометричні припущення лише для трансляції. Звичайний випадок, коли більше даних покращує продуктивність, залишається здебільшого вірним, але цілеспрямований дизайн набору тренувань може допомогти досягти кращих результатів. Навчальні набори повинні включати принаймні деякий ландшафтний покрив, схожий на той, який буде зустрічатися під час тестування, щоб бути ефективним, із збільшенням обсягів, що покращує просторову точність перетворення. Включення якомога більшої кількості даних покращило відповідність для методів на основі площі, навіть якщо додаткові навчальні приклади мали дуже різний ландшафтний покрив, але підходи на основі функцій вимагали обережності, щоб уникнути руйнування 49 глибокого перетворення нерелевантними зразками. Незважаючи на те, що включення бездоріжних ділянок із навчального набору Скелястих гір покращило зіставлення функцій із забудованими районами в Коннектикуті, наприклад, надмірне висвітлення будівель під час навчання також перешкоджало здатності глибокого перетворення створювати корисні функції МІПО на зображеннях, де їх не було, присутній. Отже, системи, призначені для роботи повністю далеко від штучних структур, наприклад, для позаземних застосувань, не повинні використовувати навчальні набори, в яких домінують вони. Розглянуте перетворення також врахувало ефемерні зміни, які не передбачалися заздалегідь, що свідчить про те, що загальні дані часових рядів корисні для стабілізації ВРНМ, навіть якщо не очікуються сезонні збурення. Глибокі гірські тіні, які змінюються протягом дня та року, наприклад, покращили відповідність як природний наслідок їх присутності в наборі та самоконтрольованої архітектури ( рис. 2.7 ). Ця тенденція додатково підтверджується можливістю перетренування над конкретними зовнішніми зображеннями на листках, що призвело до включення зображень бази даних ВРНМ у навчання, щоб у деяких випадках знизити продуктивність у тимчасово відокремленому наборі тестів. 50 Рис. 2.7. Приклад покращеної стійкості до сильних гірських тіней у даних тестування. Навчання під наглядом змушує перетворення намагатися пом’якшити будь- який нестабільний вміст без явних анотацій. Наприклад, інтенсивні зміни освітлення час від часу траплялися в наборі даних Скелястих гір і були враховані трансформацією, хоча вони не були конкретно визначені як відповідні сезонні порушення. Незважаючи на втрату інформації через насиченість, області в глибокій тіні було освітлено (ліворуч, червоний і синій прямокутники суміщені), а стабільні характеристики ландшафту були покращені. Перетворення не було піддано жодному зображенню під час навчання. Хоча методи, засновані на функціях, які використовують функції МІПО, є більш гнучкими щодо геометричних перетворень, які вони можуть вмістити, мета навчання НПК була набагато надійнішою в найскладніших і нестабільних 51 областях. Якщо експлуатаційні міркування не перешкоджають використанню НПК і не вимагають підходів на основі особливостей, таких як наявність екстремальної топографії на низьких висотах або відсутність оцінки положення, додаткова інформація, яку надає зіставлення на основі НПК, є кращою, ніж геометрична гнучкість МІПО. коли присутні серйозні зміни вмісту. НПК зміг зробити висновок про відтворювану структуру в агресивно мінливих середовищах, де МІПО мав труднощі з пошуком об’єктів, а також виявився стійким до локальних топографічних збурень і збурень точки огляду, які зазвичай вимагали б використання підходів на основі об’єктів. Тим не менш, глибоке перетворення підвищило надійність навігації на основі МІПО у областях, які були неможливі для зображень у відтінках сірого — непридатні знімки просто не мали функцій і постійно ідентифікувалися заздалегідь. На відміну від відтінків сірого, які пропонували надто впевнені збіги трохи краще, ніж випадкові вгадування, непридатні знімки було відкинуто, а не дозволено наївно заважати навігації. Мета НПК також підтримувала реєстрацію за допомогою максимізації ВІ без надзвичайних обчислювальних витрат або складності зворотного поширення через недиференційовану ціль. Добре відомо, що НПК еквівалентний ВІ для нормально розподілених випадкових змінних, і перетворення, навчені на НПК, покращили розділення відповідних і невідповідних оцінок ВІ, а також були набагато легшими та швидшими для навчання. Оскільки такі перетворення вже безпосередньо оптимізовані для НПК, архітектури реєстрації на основі ВІ та притаманні їм труднощі можна повністю замінити архітектурою на основі НПК реального часу з глибоким перетворенням. Висновки Представлені в цьому розділі результати виділяють труднощі, пов’язані зі змінами вмісту, і враховують одометрію та фільтрацію лише в тій мірі, в якій 52 вони створюють контрольні зображення, включаючи розташування літака. Фільтрування може служити не тільки для покращення поточних оцінок положення, як і з будь-якою технікою навігації, але також для допомоги самому процесу зіставлення ВРНМ, обмежуючи розмір проблеми реєстрації вузькою невизначеністю. Якщо позиція та ставлення достатньо добре відомі, тоді рішення щодо реєстрації можна запропонувати заздалегідь і використовувати ВРНМ для його модифікації та підтвердження в жорстких межах. Підходи, засновані на об’єктах, особливо виграють від фільтрації, оскільки відносно необмежена природа геометричних перетворень, які вони розв’язують, виграє від надійних початкових припущень і меж. 53 РОЗДІЛ ІІІ БІОНІЧНІ ТЕХНОЛОГІЇ БПЛА В КОНТЕКСТІ МОДЕЛІ ОРНІТОПТЕРА SMARTBIRD 3.1. Функціонал польоту моделі штучного птаха. Представлено штучного птаха, розробленого з використанням двох нових функцій біологічного польоту, активного кручення та частково лінійної кінематики. Активне кручення ґрунтується на добре встановлених теоретичних прогнозах у нестаціонарній аеродинаміці. Концепція частково лінійної кінематики натхненна зоологічними спостереженнями за літаючою сараною. Коли крила змахують вгору, сервомотор для активного кручення повертає зовнішнє крило з позитивного кута падіння протягом короткої частини періоду помаху в негативний кут падіння. Між точками повороту кут кручення залишається постійним. Числові розрахунки підтверджують очікувані переваги порівняно з пасивним крученням. 3.2. Аеродинаміка махаючих крил. Природа виконала геніальну роботу, об’єднавши генерацію підйомної сили та тяги. Двигуном для створення тяги без єдиної обертової частини є махове крило. Леонардо да Вінчі сконструював першу людську закрилку з шарнірними крилами. У минулому було зроблено багато спроб імітувати політ птахів за допомогою технічних конструкцій, серед них чудова рання робота Ліппіша до 1930 року. Птахи, комахи та риби застосовують той самий основний механізм. Цей механізм є невід'ємною властивістю аеродинамічних рівнянь, отриманих із законів збереження імпульсу, маси та енергії в механіці рідини. Поєднаний згинальний і крутильний рух тривимірного крила зводиться до поєднаних хитання та занурення у 2D. 54 Фізика цього руху була широко досліджена. Нещодавно опублікована стаття дає ретельний і вичерпний огляд історії та прогресу і проблем в аеродинаміці махаючих крил. Відкриття механізму датується 1924 роком і було побічним результатом під час досліджень польоту літака. Це надзвичайно небезпечне явище, яке має велике технічне значення для стійкості літака фізично базується на тому ж математичному описі, що й рух тварин. Це лише зворотний бік тієї ж медалі. Одна сторона створює поштовх за допомогою махаючих крил для руху вперед, інша – виграє енергію за допомогою коливальних крил від однорідного потоку, що починається. Обидва режими просто відрізняються співвідношенням амплітуд двох складових ступенів свободи нахилу та занурення, вигину та кручення відповідно. Високе занурення при малому киданні створює тягу, низьке занурення при високому киданні витягує енергію. Околиці переходу від одного режиму до іншого є областю майже повного перетворення енергії до 90 % згідно з основними результатами в нестаціонарній аеродинаміці. Великі птахи, ймовірно, можуть літати в цьому діапазоні завдяки їх дуже низькому опору. Вигідне використання вилучення енергії з повітряного потоку з махаючими крилами було вперше досліджено на початку 1980-х років і пізніше поширене на так званий двигун із ударним крилом для водяних течій, випробуваний у кількох проектах із встановленою потужністю до 150 кВт. Головною мотивацією для даного дослідницького проекту було краще розуміння поєднаних згинальних і крутильних рухів і їх оптимізація для потенційних технічних застосувань. Вважаючи, що генерація тяги в природі за свою довгу історію еволюційних кроків досягла високого рівня ефективності, ми спробували розкрити деякі її секрети. Наш штучний птах служить носієм і демонстратором технології для заохочення та стимулювання досліджень в обох напрямках виробництва тяги та використання цієї конкретної техніки для відновлюваних джерел енергії. 55 Рис. 3.1. Вид спереду (A) і рентгенівський знімок (B) SmartBird. Розмах 2 м, площа в плані 0,5 м², середня довжина хорди 0,25 м, маса 0,48 кг в т.ч. акумулятор. Експлуатаційні дані в проектній точці: швидкість 5 м/с, частота помахів 2 Гц, середнє енергоспоживання 23 Вт. Продуктивність моделі у вільному польоті можна знайти в Інтернеті. 3.3. Модель. На рис. 3.1 показано три положення шарнірних крил, які накладаються одна на одну (A). Рентгенівський знімок у нижній частині відображає механічну функцію (B). Крило складається з внутрішнього лонжерона, що складається з двох частин, з осьовою підвіскою в корені крила всередині фюзеляжу, трапецієподібного шарніра, який зустрічається в більшому форматі в екскаваторах, і зовнішнього лонжерона крила. За допомогою трапецієподібного 56 шарніра досягається передавальне число 1:3. Внутрішнє крило створює підйомну силу, зовнішнє крило через трапецієподібний шарнір створює тягу. Лонжерони внутрішнього та зовнішнього крила жорсткі на кручення. Активне кручення досягається за допомогою сервомотора на кінці зовнішнього крила, який закручує крило до лонжерона через крайнє ребро крила. Коли SmartBird змахує крилом угору, сервомотор активного кручення повертає зовнішнє крило з позитивного кута падіння протягом короткої частини періоду помаху на негативний кут падіння. У цих точках повороту кут кручення залишається постійним. Завдяки цьому частково лінійному руху потік на профілі оптимально використовується для створення тяги. Акумуляторна батарея, двигун і редуктор, кривошипно-шатунний механізм і контрольно-регулююча електроніка розміщені у фюзеляжі. Двигун із зовнішнім ротором махає крилами вгору та вниз за допомогою двоступеневої прямозубої передачі зі зниженням швидкості 1:45. Мотор оснащений трьома датчиками Холла для визначення точного положення крила. Кривошипно-шатунний шарнір передає силу помаху від шестерні до зовнішнього крила. Кривошипно-шатунний механізм не має мертвої точки, тому створює хід з низькими піковими навантаженнями. Це призводить до плавного польоту. Головка і кузов можуть переміщатися синхронно за допомогою двох електроприводів і шківів, що працюють в протилежних напрямках. Це дозволяє аеродинамічно ефективно згинати фюзеляж і, в той же час, переміщувати вагу, що робить SmartBird одночасно дуже маневреним і гнучким. Хвіст також створює підйомну силу. Він має функцію підйому та плавника. Коли птах летить прямолінійно, V-подібне положення двох крил стабілізує птаха так само, як звичайний вертикальний плавник стабілізує літак. Ведучи в криву, хвіст нахилений. Коли хвіст нахиляється навколо горизонтальної осі, модель повертається навколо вертикальної осі. На рис. 3.2 зображено основне кінематичне співвідношення та зображено скріншот історії положення кінця крила та кута кручення в часі. З аеродинамічної точки зору ці два серводвигуни 57 та привід маятників забезпечують механічну потужність, яка перетворюється на силу тяги. Серводвигун, який приводить в дію кручення, керується за допомогою функції форми кручення. Його параметри доступні в інтерактивному режимі під час польоту. Рис. 3.2. Кінематика двовимірного нахилу a(t) і занурення h(t) для частково лінійного, гармонійного та ідеально лінійного руху з типовими амплітудами. Функція форми кручення для крутильного руху визначається амплітудою, початком і кінцем повороту, нахилом і фазовим зсувом діапазону керування (червоні горизонтальні смуги) проти занурення (A). Під час роботи постійно контролюється рух. Права частина показує знімок екрана нормованої фактичної функції кручення під час польоту відносно положення кінця крила (B). 3.4. Вимірювання. Вимірювання проводили за допомогою приладу, схожого на карусель (рис. 3). Методика була розроблена наприкінці 19 століття Е. Дж. Марі, піонером у дослідженні польоту тварин. Апарат під назвою ANIPROP RL3 був описаний нещодавно, але використовується вже тривалий час. На відміну від звичайної аеродинамічної труби, модель рухається проти повітря в стані спокою. 58 Рис. 3.3. Попередня модель польоту на випробувальному стенді RL3. 59 Рис. 3.4. Вид збоку експериментальної установки з геометричними властивостями та силами. Сила тяжіння та відцентрова сила (індекс «z») на внутрішній стрілі FG, опорі FS і моделі FM визначають кут зовнішньої стріли (A). Очікується, що виміряний відцентровий кут βU збігається з теоретично визначеним кутом βT, якщо немає моделі підйому (B). Аеродинамічний кут βaero повинен складати 90° у стані спокою та 0° для 100% підйомної сили в горизонтальному польоті. L = 2,17 м, dV + hS = 1,25 м. Максимальна швидкість u0 перевищує 10 м/с. Функція бірюзового кроку підраховує загальну кількість обертів. 3.5. Експериментальна установка На рис. 3.4 показано вид збоку на центральну втулку з внутрішньою стрілою та зовнішньою стрілою, яка служить опорою для моделі (червоний квадрат). Рух ініціюється буксирним двигуном, встановленим на центральній втулці. Важіль буксирує стрілу, і сила буксирування реєструється за допомогою датчика сили в діапазоні +/- 50 Н. Центр обертання Lz утримує стрілу, встановлену на кулькових підшипниках. Дев'ять контактних кілець передають робочі дані і живлять модель 60 електроенергією замість батареї у вільному польоті. Кутова швидкість вимірюється за допомогою сигналів, що надходять від диска зі штрих-кодом із 180 штрихами, що призводить до 360 даних про положення за один оберт. Шарнір Gk дозволяє зовнішній стрілі повертатися з вертикального положення в горизонтальне. Кутовий датчик всередині петлі визначає відцентровий кут β. Виміряний кут βU залежить від ваги опори, її центру ваги та її геометричних властивостей. Якщо стріла приводиться в рух, опора відхиляється під дією відцентрової сили. Оскільки всі величини, включаючи кутову швидкість, відомі, виміряний кут βU також можна теоретично передбачити. Кут βT показує прогнозоване значення. Без встановленої підйомної моделі очікується, що виміряний кут і прогнозований кут збігаються. Різниця визначає похибку, властиву наступним вимірюванням підйому. Аеродинамічний кут βaero визначається як 90° у спокої. Крім основного внеску в βT величин, згаданих вище, можна коротко згадати другу поправку. Внутрішня стріла відхиляється від власної ваги та ваги опори та моделі. Припускаємо, що внутрішня стріла є пружною балкою, і визначили її жорсткість статичним вимірюванням зі збільшенням навантажень при Gk. Оцінка дає значення для прогину без зовнішнього навантаження і може бути інтерпретована як власна вага стріли, зосереджена в точковому навантаженні при Gk. Коли це точкове навантаження відоме, його можна перерахувати як рівномірне лінійне навантаження балки. Цей внесок у βT становить кілька градусів. Для дуже низьких швидкостей нижче 2 м/с ці припущення не працюють належним чином і призводять до різниці між βT і βU, як показано на рис. 3.4 (B). Поломка, ймовірно, викликана тонкими сталевими тросами для підвіски стріли, коли їх натяг майже знятий. 61 Рис. 3.5. Аеродинамічна ефективність haero Аеродинамічна ефективність haero обчислюється на основі виміряної загальної ефективності ⴄtot і попереднього визначення електромеханічної ефективності ⴄem· Pel – P0,sv є потужністю, спожитою під час активного польоту. Майже постійне споживання електроенергії P0,sv серводвигунів керування, визначене Uel x Iel у постійній фазі вимірювання, становить приблизно 5 Вт. U0 — це швидкість моделі. 3.6. Результати прив’язаного польоту Вхідна електрична потужність складається з двох частин. Серводвигуни (рис. 3.6) споживають електроенергію навіть у тому випадку, якщо вони не 62 працюють, тому що їм потрібно утримувати своє положення. Потужність P0,sv вимірюється та віднімається від вхідної потужності. Загальна ефективність ⴄtot обчислюється на основі відношення отриманої тяги PT до чистої вхідної потужності, спожитої під час активного польоту: Рис. 3.6. Положення торсіонного серводвигуна. PT виходить із зменшення сили буксирування Ftow під час активного польоту порівняно з її значенням FSM у сталому русі. 63 Rf позначає важіль для точки початку буксирної сили на стрілі. Загальна ефективність ηtot є добутком електромеханічної ефективності ηem та аеродинамічної ефективності ηaero. Електромеханічний ККД визначали за допомогою динамометричного гальма. Установка постійно вимірює крутний момент і кутову швидкість. Для цього занурювальний рух махового приводу передається на вісь, яку можна навантажувати гальмівною колодкою. Датчик сили утримує важіль гальма. Датчик кутової швидкості вимірює обертання осі. Крутний момент і кутова швидкість дають механічну потужність. Електромеханічний ККД — це відношення механічної потужності до вхідної електричної потужності. Аеродинамічна ефективність розраховується з Аеродинамічна ефективність - це відношення отриманої тяги до механічної потужності, що подається при всіх ступенях свободи, що сприяє активному польоту. У нашій моделі це значною мірою сила занурення або згинання. Загалом, аналіз кінематики польоту тварин показує, що важливу роль відіграє третій ступінь свободи, який називається відстаючим рухом. Цей ступінь свободи не реалізований у SmartBird. 64 Рис. 3.7. Швидкість, визначена в горизонтальному вільному польоті. Викликали подив високі значення, досягнуті для haero вище 0,6 і до 0,8 для штучного птаха, який надзвичайно добре працює у вільному польоті. Під час вимірювань для попередніх моделей були отримані значення в тому ж діапазоні. Однак створена тяга була недостатньою для вільного польоту. Червоним колом на рис. 3.5 позначено домен, у якому було досягнуто haero до 80 %. Вимірювання у вільному польоті показують ще нижчі значення необхідної електроенергії, ніж дані під час прив’язаного польоту. Льотні випробування показують дуже чутливу залежність генерації тяги від функції форми кручення. 65 Рис. 3.8 Загальне споживання електроенергії для вільного польоту під час набору висоти та для типового горизонтального польоту (18 Вт). Бортова електроніка Бортова електроніка дозволяє точно і, отже, ефективно контролювати кручення крила в залежності від його положення. На рис. 3.6 показано положення сервомотора на правій частині крила. Потужний мікроконтролер розраховує оптимальне налаштування двох серводвигунів, які відповідають за керування крученням крила. Послідовність у часі між маховим і крутильним рухом синхронізується шляхом зчитування абсолютного положення двигуна для махового руху за допомогою згаданих датчиків Холла. Активний шарнірний торсіонний привід потребує точної координації маятникових і скручувальних рухів, тому постійно контролюється. Положення крила та кручення крила контролюються двонаправленим радіозв’язком за протоколом ZigBee. Він надає робочі дані, такі як заряд батареї, вхідна потужність і контрольний вхід пілота. Крім того, параметри керування торсіоном можуть бути встановлені в режимі реального часу під час польоту та оптимізовані та налаштовані відповідно до найкращих характеристик польоту. Цей інтелектуальний моніторинг разом із електронною системою керування дозволяє адаптувати механічні компоненти до 66 нових ситуацій за частки секунди. Таким чином, механічну конструкцію льотної моделі було реалізовано простіше, ефективніше та з оптимізованою вагою. Тим не менш, точні абсолютні дані скручування та вигину крила у вільному польоті в результаті взаємодії між рідиною та структурою досі залишаються невідомими. Для їх вимірювання потрібні інструменти, які безперервно визначають положення всього літаючого птаха в просторі. Для теоретичних розрахунків використано наведені кінематичні вихідні дані. 3.7. Результати вільного польоту Визначити швидкість у вільному польоті виявилося складно без додаткової позиційної системи. Простим рішенням для внутрішніх польотів стала траєкторія польоту з характерним фоном. На рис. 3.7 показано розташування з трьома стовпчиками з відомою відстанню один до одного. Визначено середню швидкість u0 = 4,7 м/с. Споживана потужність може бути пов’язана з основними аеродинамічними величинами, як показано на рис. 3.5. Корисна потужність отримується із загальної потужності Pel = 18 Вт шляхом віднімання потужності зміщення серводвигунів, яка вимірюється під час пасивного польоту та становить P0,sv = 5 Вт. Корисна потужність Pel – P0,sv = 13 Вт повинна бути помножена на виміряну загальну ефективність htot 0,25 (рис. 3.5) у прив’язаному польоті, що призводить до сили тяги FT = ηtot(Pel – P0,sv )/u0 = 0,7 Н. Відповідний коефіцієнт тяги має вигляд: А позначає площу крила (0,5 м²), r – щільність повітря (1,2 кг/м³). Коефіцієнт підйому для ваги 0,48 кг визначається як: 67 Ці два дані призводять до співвідношення CL / CD ≈ 7 у вільному тривалому горизонтальному польоті. Ці дані типові для SmartBird. Число Рейнольдса в горизонтальному польоті становить приблизно Re = 80 000. Знижена частота коливається від 0,3 до 0,45. c являє собою середню довжину хорди (0,25 м). Рис. 3.9. Кінематика шарнірного крила в чотирьох різних положеннях 0°, 90°, 180° і 270°. Рух тулуба протилежний руху крил 68 Рис. 3.10. Вид спереду (A) і рентгенівський знімок (B) SmartBird. Розмах 2 м, площа в плані 0,5 м², середня довжина пояса 0,25 м, вага 0,48 кг з акумулятором. Експлуатаційні дані в проектній точці: швидкість 5 м/с, частота помахів 2 Гц, середнє споживання енергії 23 Вт. Характеристики моделі у вільному польоті можна знайти в Інтернеті. 3.8. Теоретичні основи Механічна конструкція, пояснена в підрозділі 3.3, відображає ретичну основу. У польоті з помахами відношення амплітуди згинання до кручення є одним із двох керівних параметрів при фіксованій швидкості та заданій частоті 69 помахів. Інший - це зсув фази згинального руху проти крутильного руху. Типовий рух показує максимальний позитивний кут кручення під час руху вгору з поворотом кута при найбільшому позитивному видовженні згинального руху та найбільший негативний кут кручення під час ходу вниз. Оскільки занурювальний рух починається знизу протягом часу, що дорівнює нулю, тобто найбільшого від’ємного подовження, а похиляючий рух починається з найвищого кута падіння, у маховому польоті фазовий зсув занурення визначається як 90° попереду тангажу. Класичний теоретичний опис базується на припущенні гармонійного руху. Було представлено третю функцію керування під назвою «Функція форми кручення». Функція форми кручення перетворює гармонічне кручення на частково лінійний рух. Для визначення впливу цього типу руху на аеродинамічну ефективність були зроблені 2D теоретичні розрахунки зовнішнього крила. 3.9. Основні прогнози На рис. 3.10 наведено огляд механізму руху з використанням даних теорії тонких пластин без участі так званої сили всмоктування. Цей тип тяги теоретично передбачений також для чистого занурювального руху. Оскільки ефект виникає з перших 3% довжини хорди профілю, він супроводжується високими локальними швидкостями. Вимірювання показують, що ефект має тенденцію зникати при збільшенні підйомної сили. Схоже, що цей аспект є критичним питанням у теоретичних прогнозах за допомогою CFD (Computational Fluid Dynamics). Відношення амплітуд на рис. 3.10 визначається як з h0 і α0 є амплітудами падіння та тангажу. Діапазон високої ефективності обмежений вимогами досягнення тяги (лівий верхній графік) і роботи з активним крученням (правий нижній графік). Пропульсивна або аеродинамічна ефективність - це відношення набутої середньої потужності тяги до суми поданої потужності на 70 пікіруванні та тангажі. Кожна двовимірна секція крила на рис. 3.9 представлена одним із цих двовимірних контурів. Рис. 3.11. Числове прогнозування коефіцієнтів потужності та ефективності для гармонійного та частково лінійного руху за допомогою двовимірного коду Ейлера. ξP вісь тону, α0 амплітуда тону. Червоні квадрати у верхній лівій частині графіків позначають окремі рішення. 71 3.10 Прогнози на основі CFD Основні передбачення на основі теорії тонких пластин на рис. 3.10 можна порівняти з чисельними розрахунками за допомогою інструменту CFD. На рис. 3.11 показано результат для гармонійного руху та частково лінійної кінематики. Ці дві цифри відрізняються визначенням співвідношення амплітуд і приведеної частоти. Дані на рис. 3.10 нормовані на квадрат амплітуди висоти, на рис. 3.11 відображені абсолютні дані. Дані стосуються попередньої моделі, зображеної на рис. 3.3. Модель показала такі ж результати, як SmartBird, за винятком того, що її крила були меншими. SmartBird забезпечує ще нижчу швидкість 4,7 м/с замість 5 м/с. Рис. 3.12. Секція крила SmartBird і секція NACA7412, застосовані під час процесу проектування. Розрахункова точка (haero =0,8, k = 100°) вибирається для порівняння між гармонійним і частково лінійним рухом. Відношення амплітуд для гармонійного 72 руху набагато менше, тобто амплітуда висоти набагато вище, ніж у випадку частково лінійної кінематики. Досить широке плато високої ефективності на рис. 3.11 не було виявлено під час льотних випробувань. Загалом, спостереження показали дуже чутливу залежність від фазового зсуву та співвідношення амплітуд, подібну до вузького діапазону на рис. 3.10. Висновки SmartBird — це всеохоплюючий мехатронний і кібернетичний дизайн, який поєднує численні індивідуальні рішення в захоплююче ціле. SmartBird можна реалізувати лише шляхом інтеграції інтелектуальної механіки, технології електричного приводу, результатів гідродинаміки, інтелектуальної техніки керування з відкритим і замкнутим циклом, моніторингу стану та постійної наукової перевірки та передачі наукових результатів на практику. Завдяки оптимізованим контурам і легкому дизайну з вуглецевого волокна SmartBird є чудовим прикладом енергозберігаючого руху та ощадливого використання матеріалів. Функціональна інтеграція двох типів приводу в гібридне рішення також підвищує ефективність використання ресурсів. Функціональна інтеграція для гібридної технології надає інформацію для розробки та оптимізації технологій гібридного приводу. За допомогою гібридної осі Festo вже поєднує переваги пневматики з перевагами електричних лінійних осей для досягнення технології швидкого, високоточного лінійного приводу. Під час польоту постійно реєструються дані про положення крил і кручення SmartBird. Параметри управління крученням можна регулювати в режимі реального часу під час польоту і таким чином оптимізувати. Це забезпечує стабільний політ птиці для безпечної експлуатації. 73 ВИСНОВКИ В кваліфікаційній роботі освітнього ступеню «магістр» проведено дослідження систем керування безпілотними літальними апаратами. Серед перспективних напрямків розвитку систем управління БПЛА слід визначити наступні: Розвиток штучного інтелекту та машинного зору, можливість самонавчання і вдосконалення дозволить БПЛА виконувати польотні завдання з мінімальним втручанням оператора, або взагалі за його відсутності, приймаючи рішення самостійно. Прогресивні методи ВРНМ дозволять БПЛА здійснювати польотну місію, аналізуючи зображення з бортової камери і порівнюючи його з геоприв’язаними цільовими зображеннями. Глибоке навчання в архітектурі перетворення зображення, яка перетворює сезонні зображення в стабільну інваріантну область, яка може використовуватися звичайними алгоритмами без змін. Дане перетворення зберігає геометричну структуру та оцінки невизначеності застарілих підходів і демонструє чудову продуктивність за екстремальних сезонних змін, а також його легко навчати та дуже узагальнено. Отже, класичні методи реєстрації працюють виключно добре для роботизованої візуальної навігації, якщо вони стабілізовані за допомогою запропонованої архітектури та здатні послідовно передбачати надійні зображення. Розвиток біонічних технологій в сфері БПЛА дозволить зробити політ літального апарату максимально наближеним до представників живих організмів, що відточували свої навички в процесі еволюції протягом мільйонів років. Рух і підйомна сила моделі SmartBird досягаються виключно змахом крил і потребують лише 25 Вт потужності. SmartBird має загальну вагу близько 400 грамів і розмах крил 2 метри. Таким чином, це чудовий приклад функціональної інтеграції та ресурсоефективної надзвичайно легкої конструкції, а також демонструє оптимальне використання явища повітряного потоку. Контроль за 74 часом згинання та кручення крил відбувається протягом кількох мілісекунд і забезпечує оптимальний потік повітря навколо крил. Літальна модель SmartBird не має обертових частин на зовнішній стороні, тому не може спричинити травми. За допомогою SmartBird природний принцип переноситься у сферу технологій. SmartBird є стимулом для звернення до природи в пошуках нових рішень в автоматизації. 75 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 1. M. Guilbert, L. Joly, and P.-B. Wieber, “Optimization of complex robot applications under real physical limitations,” The International Journal of Robotics Research, vol. 27, no. 5, pp. 629–644, 2008. 2. S. Lengagne, J. Vaillant, E. Yoshida, and A. Kheddar, “Generation of Whole- body Optimal Dynamic Multi-Contact Motions,” International Journal of Robotics Research, vol. 32, no. 9-10, pp. 1104–1119, Apr. 2013. 3. B. Chretien, A. Escande, and A. Kheddar, “Continuously satisfying ́ constraints with contact forces in trajectory optimization for humanoid robots,” in IEEE/RSJ International Conference on Intelligent Robots and Systems, 2015. 4. S. Lengagne, N. Ramdani, and P. Fraisse, “Guaranteed computation of constraints for safe path planning,” 2007 7th IEEE-RAS International Conference on Humanoid Robots, 2007. 5. G. Kozikowski and B. Kubica, “Interval Arithmetic and Automatic Differentiation on GPU Using OpenCL,” in Applied Parallel and Scientific Computing, ser. Lecture Notes in Computer Science, P. Manninen and P. Oster, Eds. Springer Berlin Heidelberg, 2013, ¨ vol. 7782, pp. 489–503 7. E. Smith, J. Gondzio, and J. Hall, “GPU Acceleration of the MatrixFree Interior Point Method,” in Parallel Processing and Applied Mathematics. Springer, 2012, pp. 681–689. 8. R. Featherstone, “A divide-and-conquer articulated-body algorithm for parallel O(log(n)) calculation of rigid-body dynamics. part 1: Basic algorithm,” The International Journal of Robotics Research, vol. 18, no. 9, pp. 867–875, Sep. 1999 9. J. Pan and D. Manocha, “GPU-based parallel collision detection for fast motion planning,” The International Journal of Robotics Research, vol. 31, no. 2, pp. 187–200, 2012. 76 10. A. Mourikis, N. Trawny, S. I. Roumeliotis, A. E. Johnson, A. Ansar, L. Matthies, Vision-aided inertial navigation for spacecraft entry, descent, and landing. IEEE Trans. Robot. 25, 264–280 (2009). 11. L. Downes, T. J. Steiner, J. P. How, Deep learning crater detection for lunar terrain relative navigation, in American Institute of Aeronautics and Astronautics Scitech 2020 Forum (American Institute of Aeronautics and Astronautics, 2020). 12. J. R. Carr, J. S. Sobek, Digital Scene Matching Area Correlator (DSMAC), in Image Processing for Missile Guidance, T. F. Wiener, Ed. (SPIE, 1980). 13. G. Conte, P. Doherty, Vision-based unmanned aerial vehicle navigation using geo-referenced information. EURASIP J. Adv. Signal Process 2009, 387308 (2009). 14. J. Townshend, C. Justice, C. Gurney, J. McManus, The impact of misregistration on change detection. IEEE Trans. Geosci. Remote Sens. 30, 1054– 1060 (1992). 15. J. L. Moigne, N. S. Netanyahu, R. D. Eastman, Image Registration for Remote Sensing (Cambridge Univ. Press, 2009). 16. W. K. Pratt, Digital Image Processing: PIKS Scientific Inside (Wiley- Interscience, 2007). 17. P. Viola, W. M. Wells III, Alignment by maximization of mutual information. Int. J. Comput. Vis. 24, 137–154 (1997). 18. B. Reddy, B. Chatterji, An FFT-based technique for translation, rotation, and scale-invariant image registration. IEEE Trans. Image Process. 5, 1266–1271 (1996). 19. D. G. Lowe, Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vis. 60, 91–110 (2004). 77 20. N. Longbotham, F. Pacifici, S. Malitz, W. Baugh, G. Camps-Valls, Fourier transform spectroscopy and hyperspectral imaging and sounding of the environment (OSA, 2015). 21. J.-P. Avouac, S. Leprince, Geodetic imaging using optical systems, in Treatise on Geophysics (Elsevier, 2015), pp. 387–424. 22. J. P. Golden, Terrain contour matching (TERCOM): A Cruise missile guidance aid, in Image Processing for Missile Guidance, T. F. Wiener, Ed. (SPIE, 1980). 23. F. Kendoul, Survey of advances in guidance, navigation, and control of unmanned rotorcraft systems. J. Field Robot. 29, 315–378 (2012). 24. M. D. Zeiler, R. Fergus, Visualizing and Understanding Convolutional Networks, in Computer Vision (ECCV, 2014), pp. 818–833. 25. G. Haskins, U. Kruger, P. Yan, Deep learning in medical image registration: A survey. Mach. Vis. Appl. 31, 8 (2020). 26. S. Zagoruyko, N. Komodakis, Learning to compare image patches via convolutional neural networks, in 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (IEEE, 2015), pp. 4353–4361. 27. L. H. Hughes, M. Schmitt, L. Mou, Y. Wang, X. X. Zhu, Identifying corresponding patches in SAR and optical images with a pseudo-Siamese CNN. IEEE Geosci. Remote Sens. Lett. 15, 784–788 (2018). 28. M. Blendowski, M. P. Heinrich, Combining MRF-based deformable registration and deep binary 3D-CNN descriptors for large lung motion estimation in COPD patients. Int. J. Comput. Assist. Radiol. Surg. 14, 43–52 (2019). 29. Z. Yang, T. Dan, Y. Yang, Multi-temporal remote sensing image registration using deep convolutional features. IEEE Access 6, 38544–38555 (2018). 78 30. A. Gupta, Y. Peng, S. Watson, H. Yin, Multitemporal aerial image registration using semantic features, in Intelligent Data Engineering and Automated Learning (IDEAL, 2019), pp. 78–86. 31. A. Nassar, K. Amer, R. ElHakim, M. ElHelw, A deep CNN-based framework for enhanced aerial imagery registration with applications to uav geolocalization, in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) (2018), pp. 1594–159410. 32. D. Tuia, C. Persello, L. Bruzzone, Domain adaptation for the classification of remote sensing data: An overview of recent advances. IEEE Trans. Geosci. Remote Sens. 4, 41–57 (2016). 33. Z. Murez, S. Kolouri, D. Kriegman, R. Ramamoorthi, K. Kim, Image to image translation for domain adaptation, in 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (2018), pp. 4500–4509. 34. A. Anoosheh, T. Sattler, R. Timofte, M. Pollefeys, L. V. Gool, Night-to-day image translation for retrieval-based localization, in 2019 International Conference on Robotics and Automation (ICRA) (2019), pp. 5958–5964. 35. O. Ronneberger, P. Fischer, T. Brox, U-net: Convolutional networks for biomedical image segmentation, in International Conference on Medical Image Computing and Computer-Assisted Intervention (Springer, 2015), pp. 234–241. 36. R. Arandjelovic, A. Zisserman, All about VLAD, in 2013 IEEE Conference on Computer Vision and Pattern Recognition (IEEE, 2013), pp. 1578–1585. 37. U.S. Department of Agriculture Farm Service Agency, Aerial Photography Field Office, National Agricultural Imagery Program (2012– 2019); earthexplorer.usgs.gov. 38. Capitol Region Council of Governments of Connecticut, CRCOG Orthoimagery (2016); https://cteco.uconn.edu/data/flight2016/. 79 39. A. Ansar, L. Matthies, Multi-modal image registration for localization in titans atmosphere, in 2009 IEEE/RSJ International Conference on Intelligent Robots and Systems (IEEE, 2009), pp. 3349–3354. 40. M. Unser, P. Thevenaz, Optimization of mutual information for multiresolution image registration. IEEE Trans. Image Processing 9, 2083–2099 (2000). 41. A. Odena, V. Dumoulin, C. Olah, Deconvolution and checkerboard artifacts (Distill, 2016); http://distill.pub/2016/deconv-checkerboard/. 42. A. Milesi, Pytorch-Unet (2017); https://github.com/milesial/Pytorch- UNet. 43. G. Bradski, The OpenCV library. Dr. Dobb’s J. Software Tools 25, 120–125 (2000). 44. E. Riba, D. Mishkin, D. Ponsa, E. Rublee, G. Bradski, Kornia: An Open source differentiable computer vision library for PyTorch, in 2020 IEEE Winter Conference on Applications of Computer Vision (IEEE, 2020), pp. 3663–3672. 45. H. Iqbal, PlotNeuralNet (2018); https://doi.org/10.5281/zenodo.2526396. 46. Lippisch A M. Man Powered Flight in 1929, Journal of the Royal Aeronautical Society, Vol. 64 (July 1960), pp 395-398. 47. Platzer M F, Jones K D, Joung J, Lai J C S. Flapping-Wing Aerodynamics: Progress and Challenges. AIAA J. 46, pp 2136-2149 (2008). 48. Birnbaum W. Das ebene Problem des schlagenden Flügels, Zeitschrift für angewandte Mathematik und Mechanik (ZAMM) 4, pp 277-292, 1924. 49. McKinney W, DeLaurier J. The wingmill: An oscillating-wing windmill. Journal of Energy, Vol.5, No. 2 (1981), pp 109-115. 50. Marey E J. La Machine Animale, Paris 1891, Cinquième Édition, Éditeur F. Alcan. 80 51. Send W, Scharstein F., Thrust Measurement for Flapping-Flight Components, 27th ICAS Congress, Nice, France, 19-24 Septemer 2010, paper 446. 52. Send W, Scharstein F. Artificial Bird in Tethered Flight – Demonstration and Aerodynamics, Biona Report 13 - Motion Systems, Gustav Fischer Verlag, Stuttgart 1998, pp 195-196. 53. Send W. The Mean Power of Forces and Moments in Unsteady Aerodynamics, Zeitschrift für angewandte Mathematik und Mechanik (ZAMM) 72, pp 113-132, 1992. 54. Send W. Flapping-Wing Thrust in Compressible Flow, ICAS 2006-3.10.4, 25th ICAS Congress Hamburg, 3-6 Sep 2006. 55. Send W. Der Traum vom Fliegen, Naturwissenschaftliche Rundschau 56, Heft 2, pp 65-73, 2003. 56. Küssner H G. Zusammenfassender Bericht über den instationären Auftrieb von Flügeln, Luftfahrtforschung 13, pp 410-424, 1936. 57. Theordorsen Th. General Theory of Aerodynamic Instability and the Mechanism of Flutter, N.A.C.A. Report No. 496, 1935. 58. Garrick I E. Propulsion of a Flapping and Oscillating Airfoil, N.A.C.A. Report No. 567, 1936. 59. Movies showing SmartBird in free flight: http://www.festo.com/cms/en_corp/11369.htm