ChSTU repository
ChSTU repository preserves and enables easy and open access to all types of digital content including text, images, moving images, mpegs and data sets
Learn More
Please use this identifier to cite or link to this item:
https://er.chdtu.edu.ua/handle/ChSTU/6415| Title: | Дослідження автоматизованих систем керування безпілотними транспортними засобами |
| Authors: | Нечипоренко, Ольга Володимирівна Мульченко, Василь Віталійович |
| Issue Date: | Jan-2024 |
| Abstract: | У пошуках динамічних об'єктів, на відміну від існуючого підходу, був розроблений вдосконалений метод автоматичного планування руху, що враховує невизначеність дій. Метод автоматичного планування маршруту при пошуку стаціонарних об'єктів був розроблений з урахуванням взаємозв'язку структури стаціонарних об'єктів на різних топологічних рівнях і їх важливості в загальній структурі, що дає змогу оцінити продуктивність системи. Інформаційні технології, пов'язані з автоматичним плануванням дій безпілотних транспортних засобів, отримали подальший розвиток. На відміну від існуючого підходу, ця технологія враховує результати розпізнавання об'єктів і дозволяє змінювати маршрут в режимі реального часу. Розроблені і вдосконалені моделі та методи мають нові властивості і дозволяють вирішувати поставлені наукові завдання. Достовірність отриманих результатів залежить від правильного використання математичних пристроїв, аналізу умов і факторів, що впливають на процес планування поведінки БТЗ, і результатів фундаментальних теоретичних досліджень. Впровадження вдосконаленого методу автоматичного планування маршруту в пошуках динамічних об'єктів дозволило прискорити процес планування поведінки БТЗ. Можливість виявлення об'єктів в різних топографічних регіонах. Застосування автоматизованого методу планування маршруту при пошуку стаціонарних об'єктів в системі підтримки прийняття рішень дозволяє тримати оцінку положення стаціонарних об'єктів, обґрунтувати і оптимізувати вагу об'єктів. Впровадження інформаційних технологій для автоматичного планування дій БТЗ дозволяє швидко змінювати маршрут при виконанні завдання відповідно до розпізнаних зображень і створення архітектури перспективної інтелектуальної системи підтримки прийняття рішень для систем управління БТЗ. Іншою областю досліджень може бути розробка моделей і методів інтелектуального управління окремими БТЗ. Підводячи підсумок, можна сказати, що отримані результати дозволяють врахувати вирішені, сформульовані науково-технічні завдання і досягнуті цілі. |
| URI: | https://er.chdtu.edu.ua/handle/ChSTU/6415 |
| Appears in Collections: | 174 Автоматизація, комп'ютерно-інтегровані технології та робототехніка (Автоматизація та комп'ютерно-інтегровані системи та компоненти) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| М_151_2023_Мульченко.pdf Restricted Access | 1.86 MB | Adobe PDF | View/Open Request a copy |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.
Extracted text
МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
ЧЕРКАСЬКИЙ ДЕРЖАВНИЙ ТЕХНОЛОІЧНИЙ УНІВЕРСИТЕТ
ФАКУЛЬТЕТ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ І СИСТЕМ
КАФЕДРА РОБОТОТЕХНІКИ ТА СПЕЦІАЛІЗОВАНИХ КОМП’ЮТЕРНИХ СИСТЕМ
Пояснювальна записка
до кваліфікаційної роботи
освітнього ступеню «магістр»
на тему: ДОСЛІДЖЕННЯ АВТОМАТИЗОВАНИХ СИСТЕМ КЕРУВАННЯ
БЕЗПІЛОТНИМИ ТРАНСПОРТНИМИ ЗАСОБАМИ
Виконав: здобувач вищої освіти 2 курсу,
групи МАКІТ-2209
спеціальності 151 Автоматизація та
комп’ютерно-інтегровані технології,
освітня програма «Автоматизація
комп’ютерно-інтегровані системи та
компоненти»
Мульченко В.В.
(Прізвище ім’я по-батькові)
Керівник Нечипоренко О.В.
(Прізвище ім’я по-батькові)
Рецензент
(Прізвище ім’я по-батькові)
Черкаси 2023 року
2
ЗМІСТ
ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ ........................................................................ 3
ВСТУП ......................................................................................................................... 4
РОЗДІЛ 1 ТЕОРЕТИЧНІ ОСНОВИ СТВОРЕННЯ ТРАНСПОРТНИХ ЗАСОБІВ
З АВТОМАТИЗОВАНОЮ СИСТЕМОЮ КЕРУВАННЯ ....................................... 8
1.1. Системний аналіз ступенів автоматизації транспортних засобів ............... 8
1.2. Дослідження існуючих методів систем керування ..................................... 16
1.3. Методи та технології для рішення питання побудови автоматизованих
систем керування автомобілем ............................................................................ 23
Висновки до розділу 1 .......................................................................................... 30
РОЗДІЛ 2 СЕРВІСИ ТА АЛГОРИТМИ ДЛЯ ВИЯВЛЕННЯ ДИНАМІЧНИХ ТА
СТАТИСТИЧНИХ ОБ’ЄКТІВ ................................................................................. 32
2.1. Деталізація сенсорів для аналізу оточуючого середовища ....................... 32
2.2. Процедури визначення смуги руху за допомогою сервісів ....................... 35
2.3. Алгоритми спрямовані на визначення смуги руху ..................................... 39
2.4. Алгоритми спрямовані на виявлення стаціонарних об'єктів ..................... 44
Висновки до розділу 2 .......................................................................................... 48
РОЗДІЛ 3 АВТОМАТИЗОВАНА СИСТЕМА КЕРУВАННЯ БЕЗПІЛОТНИМ
ТРАНСПОРТНИМ ЗАСОБОМ ................................................................................ 50
3.1 Методи управління автоматизованою системою керування автомобілем 50
3.2 Модель автоматизованої системи керування транспортним засобом ....... 53
3.3. Практичне застосування автоматизованої системи керування ................. 59
Висновки до розділу 3 .......................................................................................... 71
ВИСНОВКИ ............................................................................................................... 73
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ ................................................................. 75
3
ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ
ADAS – просунута система підтримки водія (англ. Advanced Driver
Assistant Systems).
ASIL – рівні автомобільної інтеграційної безпеки (англ. Automotive Safety
Integrity Levels).
CAN – локальна мережа контролерів (англ. Controller Area Network).
DDT– динамічна функція водіння (англ. Dynamic Driving Task).
HARA – аналіз загроз та оцінка ризиків (англ. Hazard Analysis and Risk
Assessment).
HAZOP – небезпека та працездатність (англ. Hazard and Operability
analysis).
HMI – людино-машинний інтерфейс (англ. Human Machine Interface).
LIDAR – лідар (англ. Light Detection and Ranging).
RADAR – радар (англ. Radio Detection and Ranging).
SAE – спільнота автомобільних інженерів (англ. Society of Automotive
Engineers).
TTC – час до зіткнення (англ. time to collision).
АСУ – автоматизована система управління.
БД – база даних.
БТЗ – безпілотний транспортний засіб.
ІС – інформаційна система.
ПДР – правила дорожнього руху.
ПЗ – програмне забезпечення.
СК – система керування.
СКБД – система керування базою даних.
ШІ – штучний інтелект.
4
ВСТУП
Актуальність. Науково-технічний прогрес, особливо в сфері
інформаційних технологій (ІТ), сприяє швидкому розвитку техніки та
розширенню її функціональних можливостей. Незважаючи на це, більшість
сучасних технічних систем все ще орієнтовані на людину як ключовий елемент
управління. Виняток чи мінімізація негативного впливу людського фактору у
таких системах як безпілотні транспортні засоби (БТЗ) [1], [2], [3], дозволяють
ефективно вирішувати різноманітні завдання завдяки технічним
характеристикам. Вирішення цих завдань вимагає ретельного планування систем
керування БТЗ з урахуванням різноманітних факторів, що впливають на них, та
розроблення управляючих рішень з високою швидкістю та обґрунтованістю,
можна досягти цієї мети за допомогою автоматизованої інтелектуальної системи
підтримки прийняття рішень (СППР).
Сучасні СППР є потужними інтелектуальними інформаційними
платформами, які в автоматизованому режимі здатні ефективно розв'язувати
комплексні, слабоформалізовані завдання. Основу таких систем складають
моделі, методи та алгоритми обробки інформації. Задача планування
автоматизованих систем керування БТЗ для моніторингу стаціонарних і
динамічних об'єктів має свої власні особливості. Таким чином, необхідна
розробка моделей автономного функціонування БТЗ, оперативної зміни руху та
оптимальних за певними критеріями маршрутів руху.
Сучасні БТЗ вже мають потужні бортові комплекси, обладнані
відповідними інформаційними технологіями. Незважаючи на увагу до розвитку
безпілотного руху, розробка методів автоматизації систем керування БТЗ є
перспективним [9-12].
Отже, висувається науково-технічне завдання розробки методів та
інформаційної технології автоматизації систем керування БТЗ для підвищення
ефективності руху об'єктів.
5
Мета роботи – підвищення ефективності автоматизованих систем
керування безпілотними транспортними засобами за рахунок виявлення
стаціонарних та динамічних об'єктів.
Для досягнення поставленої мети необхідно розв'язати взаємопов'язаний
комплекс задач:
1. Виділити критерії оцінки ефективності динамічного і стаціонарного
пошуку об'єктів для аналізу системи управління безпілотними
транспортними засобами та існуючих методів планування маршруту, а
також для оцінки методів автоматизації планування руху.
2. Удосконалити метод автоматизованого планування руху безпілотного
транспортного засобу для ефективного виявлення динамічних об'єктів.
3. Удосконалити способи автоматизованого планування руху для пошуку
та підтвердження стаціонарних об'єктів.
4. Створити інформаційну технологію для автоматизованого планування
руху безпілотного транспортного засобу.
Об’єкт дослідження – процеси автоматизованого планування руху при
пошуку стаціонарних та динамічних об'єктів.
Предмет дослідження – автоматизовані системи керування безпілотними
транспортними засобами
Методи дослідження. Для вирішення поставленого завдання використані
такі методи: побудова моделей руху динамічних об'єктів на складній місцевості
і моделювання для побудови моделей руху БТЗ. Аналіз складних систем
дозволяє зрозуміти їхню структуру та поведінку, виявити проблеми та розробити
шляхи їхнього усунення. Алгебра топологій використовується для пошуку
стаціонарних об'єктів, тобто таких, що не змінюються з часом. Теорія прийняття
рішень допомагає приймати обґрунтовані рішення в умовах невизначеності..
Наукова новизна одержаних результатів:
1. Удосконалено метод автоматизованого планування маршруту
безпілотного транспортного засобу при виявленні рухомого об'єкта.
Він формує варіанти прогнозу руху та оцінює динамічні
6
характеристики об'єкта на кожному із можливих маршрутів, що сприяє
зниженню невизначеності інформації про ці маршрути.
2. Удосконалено спосіб автоматизованого планування курсу при
виявленні стаціонарних об'єктів, який враховує взаємозв'язок
структури таких об'єктів на різних рівнях.
3. Отримала подальший розвиток технологія автоматизованої системи
керування безпілотними транспортними засобами. Відмінності від
існуючих підходів полягають у врахуванні результатів розпізнавання
об'єктів, що дозволяє в реальному часі змінювати маршрут.
Практичне значення отриманих результатів. Впровадження в дію
отриманих результатів автоматизованого планування руху безпілотного
транспортного засобу при пошуку динамічного об'єкту призвело до збільшення
ймовірності виявлення об'єктів в різній місцевості. Можливо отримати оцінку
місця розташування нерухомого об'єкта, застосувавши метод автоматичного
планування маршруту при виявленні нерухомого об'єкта. Впровадження
інформаційних технологій для автоматичного планування маршрутів дозволяє
нам створити перспективну архітектуру інтелектуальних систем підтримки
прийняття рішень для швидкого перемикання трафіку та планування дій БТЗ на
основі розпізнаних зображень.
Апробація результатів роботи. Результати кваліфікаційної роботи
доповідалися й обговорювалися на науковій конференції:
− «Сучасні методи, інформаційне, програмне та технічне забезпечення
систем керування організаційно-технічними та технологічними
комплексами»: Тези доповідей десятої міжнародної науково-технічної
internet-конференції: (24 листопада 2023 р., Київ), 2023. – С. 41.
Публікації. Результати досліджень опубліковані в:
1. Автоматизовані системи керування безпілотними транспортними
засобами / О. В. Нечипоренко, В. В. Мульченко, Г. С. Шаповалова //
«Сучасні методи, інформаційне, програмне та технічне забезпечення
систем керування організаційно-технічними та технологічними
7
комплексами»: Тези доповідей десятої міжнародної науково-технічної
internet-конференції: (24 листопада 2023 р., Київ), 2023. – С. 41.
Структура та обсяг кваліфікаційної роботи. Кваліфікаційна робота
складається із списку умовних скорочень, вступу, трьох розділів, висновку та
списку використаних джерел. Загальний обсяг роботи складає 80 сторінок,
33 рисунків. Список використаних джерел містить 51 найменування.
8
РОЗДІЛ 1
ТЕОРЕТИЧНІ ОСНОВИ СТВОРЕННЯ ТРАНСПОРТНИХ ЗАСОБІВ З
АВТОМАТИЗОВАНОЮ СИСТЕМОЮ КЕРУВАННЯ
1.1. Системний аналіз ступенів автоматизації транспортних засобів
Перш за все, необхідно визначити основні терміни та поняття, що
розглядаються в аналізі. Автоматизовані або автономні транспортні засоби - це
транспортні засоби, які можуть рухатися без втручання людини. Для цього
використовуються різні технології, включаючи автопілот і технології
автоматизованого водіння, радар, лідар, сонар і комп'ютерний зір. Існує шість
рівнів автономності залежно від вимог до уваги та контролю водія.
Рис. 1.1. Рівні автономності транспортного засобу
Рівень 0 – повна відсутність автоматизації, де керування автомобілем
повністю здійснюється водієм, включаючи системи втручання та попередження.
9
Рівень 1 – допомога водієві, де система використовує інформацію про
навколишнє середовище, щоб змінювати швидкість і керувати автомобілем
відповідно до реакції водія на зміну умов.
Рівень 2 – часткова автоматизація, де система може керувати деякими
аспектами руху, але інші вимагають участі водія.
Рівень 3 – умовна автоматизація, яка контролює всі аспекти руху
автомобіля, але водій повинен бути уважним для втручання в разі потреби.
Рівень 4 – висока автоматизація, де система може виконувати всі дії
самостійно, але є обмеженнями в географічній зоні та погодних умовах.
Рівень 5 – повна автоматизація, яка передбачає повну автономію
автомобіля в будь-яких умовах без участі людини.
Компактне узагальнення всіх рівнів автономії подано на рис. 1.1.
Наразі термін «автопілот» застосовується до систем 2 та 3 рівнів автономії,
хоча це не зовсім вірно, оскільки вони все ще вимагають участі людини. Проте
системи цих рівнів активно розробляються та готуються до масового
виробництва. Їх функціонування базується на комп'ютерному зорі, лідарі, радарі
та інших сенсорах.
На сьогоднішній день існує значна кількість проєктів від різних компаній,
що працюють над технологіями автономного керування транспортними
засобами. Такі проєкти представлені компаніями Tesla, General Motors, Ford,
Mercedes Benz, Volkswagen та іншими. Tesla вже кілька років випускає
автомобілі з другим рівнем автономії, а також чутки свідчать про наявність
технологій третього рівня, які ще не були доступні для водіїв для тестування та
отримання дозволу. Багато інших компаній також активно працюють над
розробкою систем другого та третього рівнів автономії. Проте слід відзначити
компанію Mercedes Benz, яка розробила технологію третього рівня та отримала
дозвіл на масове виробництво автомобілів з її застосуванням. Більше того, у
грудні 2022 року ця компанія отримала ліцензію на виробництво автомобілів із
технологією автономного паркування четвертого рівня автономії, що є великим
досягненням і виходить за рамки можливостей багатьох інших компаній.
10
Тема автономного керування автомобілем є надзвичайно актуальною і
перебуває в стадії інтенсивної розробки, отже, вона вкрай важлива в галузі
винахідницької діяльності. Далі будуть розглянуті кілька патентованих моделей
та методів щодо керування автомобілем, а також аналізу елементів дорожнього
середовища:
• Системи управління транспортом, автономне управління транспортом,
методи управління транспортом [2].
• Динамічна маршрутизація для автономних транспортних засобів [3].
• Ефективні алгоритми проекції світових точок на зображення з
використанням систем рухомого затвору [4].
Рис. 1.2. Схема моделі роботи системи керування
11
Патент "Система керування транспортним засобом, автономне керування
транспортним засобом, спосіб керування транспортним засобом" описує методи
та алгоритми виявлення та запобігання небезпекам транспортного засобу. При
виявленні небезпеки система керування транспортним засобом вирішує, чи
втручатися в режимі автопілота, і виконує діагностику для оцінки нормальних і
ненормальних режимів автономного водіння.
Потім система керування автомобілем втручається, щоб запобігти
передбачуваній небезпеці, якщо система автономного водіння не втручається або
якщо вона виявляє відхилення від норми, навіть якщо її робота є ненормальною.
Однак система керування транспортним засобом припиняє втручання, якщо
система автономного водіння відмовляється втручатися в режимі автономного
водіння за нормальних умов експлуатації. Ця модель показана на рисунку 1.2.
Спочатку автомобільна система керування визначає потенційну небезпеку,
базуючись на інформації сенсорів, що отримана від зовнішніх сенсорів
автономного автомобіля (крок S1). На основі результатів прогнозування на кроці
S1 визначається, чи існує небезпека, якої автономний транспортний засіб
повинен уникати (крок S2). Якщо небезпека відсутня, втручання в автономний
рух не здійснюється, і подальші процеси пропускаються.
Якщо виявлено небезпеку, система керування автомобілем перевіряє, чи
отримано сигнал скасування від системи автономного керування (крок S3). Якщо
сигнал скасування не отримано, система керування автомобілем втручається в
автономний рух, використовуючи превентивні функції безпеки (крок S6). Якщо
отримано сигнал скасування, система керування транспортним засобом
використовує методи діагностики, щоб оцінити, чи працює система автономного
водіння нормально або несправно (крок S4). Якщо система автономного водіння
працює ненормально, наприклад, якщо цільова траєкторія заблокована
перешкодою, запит на скасування від системи автономного водіння не
приймається. Тому система керування транспортним засобом відхиляє запит на
скасування від системи автономного водіння і втручається в автономне водіння,
використовуючи функцію безпеки "вперед" (крок S6).
12
В результаті цього процесу можна успішно уникати небезпек і
непотрібного втручання в автономне водіння, коли необхідно досягти цільової
траєкторії. Нижче наведено два приклади взаємодії між системою управління та
системою автономного водіння.
На рис. 1.3. представлено ілюстрацію випадку, коли система керування
скасовує функцію безпеки.
Рис. 1.3. Діаграма, яка показує скасування системою керування функції безпеки
На рисунку 1.3. показано сценарій, коли автономний транспортний засіб
(далі просто "транспортний засіб") 2 намагається обігнати попередній
13
транспортний засіб 3 за межами центральної лінії КЛ. У цьому випадку, як
частина функції автономного керування, попередній транспортний засіб 3
виявляється камерами 3 та лідаром як цільовий об'єкт 4 і генерується цільова
траєкторія (ЦТ), щоб уникнути зіткнення з цільовим об'єктом 4.
Крім того, при формуванні цільової траєкторії (TR) враховується відносне
положення та швидкість наступного транспортного засобу 5 відносно
автономного транспортного засобу 2, щоб уникнути взаємодії з наступним
транспортним засобом 5, що рухається по сусідній смузі.
Тим часом у системі прогнозування безпеки (PCS) попередній
транспортний засіб 3 виявляється камерами та радаром міліметрового діапазону,
вимірюється бічне положення попереднього транспортного засобу 3 відносно
автономного транспортного засобу 2 та час до зіткнення (TTC) попереднього
транспортного засобу 3 з автоматизованим транспортним засобом 3. Потім
визначається, чи знаходиться попередній транспортний засіб 3 в межах зони
реакції (ЗР), визначеної лівим і правим боковими межами положення і
обмеженим часом TTC.
Як показано в нижній частині рисунка 1, коли автономний транспортний
засіб 2 намагається уникнути попереднього транспортного засобу 3 і слідувати
цільовою траєкторією TR, попередній транспортний засіб 3 може потрапити в
зону реакції RA в залежності від відносного положення цільової траєкторії TR і
попереднього транспортного засобу 3. У цьому випадку функція попередження
безпеки втручається в режим автономного водіння, а гальмо (BK)
використовується для запобігання зіткненню між автономним транспортним
засобом 2 і транспортним засобом 3, що рухається попереду. В результаті
траєкторія автономного транспортного засобу 2 відхиляється від цільової
траєкторії, і автономний транспортний засіб 2 і наступний транспортний засіб 5
можуть наблизитися один до одного, оскільки автономний транспортний засіб 2
раптово сповільнюється при перетині центральної лінії CL і не має можливості
уникнути зіткнення з попереднім транспортним засобом 3. Альтернативний
сценарій показаний на рисунку 1.4.
14
Рис. 1.4. Діаграма, яка описує проблему скасування функції безпеки системою
керування
Щоб уникнути ситуації, подібної до попереднього прикладу, і змусити
автономний транспортний засіб 2 слідувати цільовій траєкторії TR, система
автономного водіння може скасувати функцію безпеки. Скасування - це функція
скасування втручання в режим автономного водіння попередньої функції
безпеки, коли очікується активація попередньої функції безпеки. Наприклад, у
верхній частині рис. 2 система автономного водіння запитує скасування від
функції попередження безпеки при встановленні цільової траєкторії TR для
обгону попереднього транспортного засобу 3. Коли функція попередження про
безпеку отримує цей запит, втручання функції попередження про безпеку
15
тимчасово призупиняється. В результаті автономний транспортний засіб 2 може
обігнати попередній транспортний засіб 3 і слідувати цільовою траєкторією TR,
не перериваючись функцією попередження про безпеку. Однак це не гарантує,
що система автономного водіння завжди буде функціонувати правильно. Якщо
у функціонуванні системи автономного водіння виникають збої, автономний
транспортний засіб 2 може бути не в змозі слідувати цільовій траєкторії TR або
згенерована цільова траєкторія TR може створювати перешкоди для
попереднього транспортного засобу 3. У цьому випадку важливо уникнути
відключення функції автономного водіння.
Рис. 1.5. Функціональна діаграма автомобіля
Патент "Динамічна генерація маршруту для автономних транспортних
засобів" надає модель планування маршруту для безпілотних транспортних
засобів. Наприклад, автономний транспортний засіб керується обчислювальною
системою, що складається з маршрутної або навігаційної системи, яка генерує
маршрут до пункту призначення (довгострокове планування), і системи
планування, яка генерує шлях уздовж маршруту (короткострокове планування).
16
Система навігації визначає маршрут, використовуючи дорожній графік, і
ідентифікує безперервні сегменти дороги або смуги руху (ідентифікатор смуги,
початкова і кінцева точки) між поточним положенням транспортного засобу і
пунктом призначення. На основі цього маршруту система планування визначає
повороти та смуги руху для досягнення пункту призначення. Система
планування дозволяє автономному транспортному засобу рухатися відповідно
до навколишнього середовища, створюючи маршрут, який не повторює дорогу.
Функціональна схема описаного транспортного засобу показана на рисунку 1.5.
На рис. 1.5 показано транспортний засіб 100, що складається з різних
компонентів відповідно до одного з аспектів цього розкриття. Хоча певні аспекти
цього розкриття є особливо корисними для певних типів транспортних засобів,
транспортний засіб може включати будь-який тип транспортного засобу, такий
як легковий автомобіль, вантажний автомобіль, мотоцикл, автобус,
рекреаційний транспортний засіб тощо. Транспортний засіб може бути
обладнаний одним або декількома обчислювальними пристроями, такими як
обчислювальний пристрій 110, що включає один або декілька процесорів 120,
пам'ять 130 та інші компоненти, які зазвичай зустрічаються в обчислювальних
пристроях загального призначення.
1.2. Дослідження існуючих методів систем керування
Як уже згадувалося, значна кількість проектів автономного водіння
розроблена різними компаніями. Це включає в себе різні підходи до
впровадження цих технологій. Серед ключових гравців - Tesla, Mercedes-Benz,
General Motors і Ford.
Підхід Tesla полягає в максимальному використанні інтелекту в
індивідуальних автомобілях. Замість того, щоб використовувати попередньо
записані карти, Tesla використовує комбінацію обробки зображень і машинного
навчання, щоб забезпечити транспортні засоби інформацією про навколишнє
середовище в реальному часі. Автомобілі Tesla навчаються під час руху і
діляться цією інформацією з іншими автомобілями. Такий підхід дозволяє
17
автомобілю адаптуватися до змін у навколишньому середовищі та уникати
проблем, пов'язаних зі старими картами. Однак цей процес значно обтяжує
автомобіль.
Перевага підходу Tesla полягає в тому, що, переходячи від залежності від
карти до навчання в реальному часі, автомобіль може адаптуватися до змін у
навколишньому середовищі і уникати проблем, пов'язаних зі старими картами.
Це свідчить про те, що вони намагаються використовувати метод, подібний до
SLAM (одночасна локалізація і картографування). Ілон Маск також заявив, що
Tesla не планує використовувати Lidar для автомобілів.
Щодо другого підходу, то і General Motors, і Mercedes інвестували значні
кошти в пасивні методи з використанням попередньо створених карт. Обидві
компанії інвестували в водіїв, щоб забезпечити транспортні засоби 3D-мапами з
високою роздільною здатністю.
Автомобілі можуть використовувати цю карту і власний лідар для
виявлення змін у навколишньому середовищі. Такий підхід вимагає широкої
співпраці між компаніями і виробниками транспортних засобів для створення і
підтримки актуальних карт. Наразі такі системи, як, наприклад, Super Cruise від
Cadillac, обмежуються рухом лише автомагістралями, де карти створюються і
тестуються на безпеку.
Метод компанії Tesla
Якщо більш детально розглянути реалізацію методології компанії, то Tesla
використовує такі технології, як радар, камери з дальністю огляду до 250 метрів,
високоточну електронну систему допомоги при гальмуванні з цифровим
управлінням і ультразвукові датчики дальнього радіусу дії, розташовані по
всьому кузову автомобіля. Радар використовується спереду для виявлення
перешкод і визначення точної відстані. Однак на офіційному сайті Tesla наразі
немає жодної згадки про радар як технологію автопілота. Ультразвукові датчики
працюють навколо автомобіля, щоб перевірити безпеку з усіх боків. Хоча ця
концепція вже застаріла для Tesla, принцип роботи цих двох технологій
показаний на рисунку 1.6.
18
Рис. 1.6. Передній радар
Сучасні методи базуються на використанні комп'ютерного зору,
ультразвукових датчиків та машинного навчання. Оскільки транспортні засоби
оснащені великою кількістю камер, перші два методи збирають максимальну
кількість інформації про навколишнє середовище, і ця інформація
використовується для створення тривимірного зображення навколишнього
середовища. За допомогою машинного навчання автомобіль обробляє
інформацію, генерує вектори руху і ділиться результатами з іншими
автомобілями. Для подальшого розширення набору даних Tesla використовує
автоматизований метод маркування. Це досягається шляхом врахування
прогнозів векторного простору, зроблених кількома автомобілями, і їх
об'єднання для створення точних міток. Автомобілі оснащені вісьмома
камерами, які знімають зображення з усіх кутів і передають необроблену
візуальну інформацію в систему у вигляді зображень (рис. 1.7). Зображення
обробляються складною нейронною мережею, яка робить прогнози про
навколишнє середовище. Потім ця інформація передається алгоритму
планування, який визначає траєкторію руху автомобіля (рис. 1.8).
19
Рис. 1.7.Зображення камер навколо автомобільного транспорту
Рис.1.8. Векторне зображення оточення та автомобіля
20
Іншими словами, автомобіль Tesla використовує лише необроблену
візуальну інформацію, щоб робити прогнози і в кінцевому підсумку
спрямовувати транспортний засіб до місця призначення. Нейронні мережі
перетворюють дані зображення на прогнози у векторному просторі. Ці прогнози,
разом з функціями проміжного рівня, використовуються планувальником для
генерування розподілу траєкторій у складних ситуаціях. Прогнози у векторному
просторі подаються в явний планувальник, який генерує фактичні команди
управління і прискорення [6].
Метод компаній General Motors та Mercedes Benz
Цей метод застосовує старий підхід до автоматизації управління
автомобілем, а саме залежність від лідар сенсорів.
Рис. 1.9. Концепція результату обробки інформації лідаром
Наприклад, система Mercedes-Benz Drive Pilot. Приклад розмітки поля
водієм показаний на рисунку 1.9.
21
Система Drive Pilot активна лише тоді, коли транспортний засіб рухається
в межах визначеної робочої зони, яка включає в себе дорожню обстановку та
умови руху, і вимикається при спробі виїхати за межі цієї зони.
Автомобілі Mercedes обладнані декількома камерами,
багатофункціональним заднім і переднім радаром, радаром дальнього радіусу дії,
а також лідарними та ультразвуковими датчиками [10] (Рис. 1.10).
Рис. 1.10. Розміщення камер та сенсорів в автомобілі
Причиною використання традиційного підходу до автономії, замість того,
щоб слідувати підходу Tesla, є бажання встановити обмеження для забезпечення
більшої безпеки в управлінні транспортом. Оскільки система працює лише в
дозволених зонах, компанія може самостійно контролювати ділянки, де, на її
22
думку, можна безпечно використовувати систему, щоб запобігти
непередбачуваним аваріям, якщо транспортний засіб не в змозі впоратися з
певним середовищем.
Система Drive Pilot в основному опирається на радари та лідари великої
дальності та багатоцільові камери. Радар сканує навколишнє середовище
електромагнітними хвилями та реєструє відбиті хвилі від об'єктів. Це забезпечує
велику дальність і швидкість вимірювань, розділення об'єктів та незалежність від
вологості та чистоти повітря. Однак відсутність вимірювання висоти об'єктів та
розділення стаціонарних об'єктів є недоліком.
Лідар, з свого боку, сканує оточення лазерним променем на різних висотах
та реєструє відбиття від об'єктів. Це забезпечує детальне відображення та
розділення об'єктів, а також можливість виміру висоти. Однак лідар чутливий до
пилу, дощу та інших факторів. Багатоцільові камери оптично виявляють об'єкти,
пропонуючи перевагу у класифікації, але мають обмеження в вимірюванні
відстані та чутливості до освітлення.
Принцип сумісної роботи цих функцій показано на рисунку 1.11.
Рис. 1.11. Концепція роботи Drive Pilot
23
Однією з ключових переваг лідару є його висока точність. Точність
системи лідару, наприклад, у Waymo, дозволяє визначити напрямок руху
пішоходів та передбачити їхні рухи. Лідар від Waymo може розпізнати сигнали
рук велосипедистів та передбачити їхні маневри.
Ще однією перевагою лідару є те, що він забезпечує безпілотним
автомобілям тривимірне зображення для роботи, що є особливо точним у
порівнянні з камерами. Лідар не залежить від тіней, яскравого сонячного світла
чи фар інших автомобілів, що робить його надзвичайно точним.
Загалом, лідар економить обчислювальну потужність, так як може негайно
визначати відстань та напрямок об'єкта. Проте його недоліки включають високу
вартість та обмеження в умовах туману, дощу та снігу, а також відсутність
розпізнавання кольорів, знаків та інших деталей.
1.3. Методи та технології для рішення питання побудови
автоматизованих систем керування автомобілем
Основні проблеми у створенні автоматизованих систем керування для
автомобілів можна класифікувати таким чином:
• Фінансування досліджень: Передбачається, що проведення досліджень
у реальних умовах потребує значних коштів, таких як датчики (Lidar,
Sonar, камери і інші), та модифікація автомобіля. Додатково,
автомобіль повинен бути оснащений системою управління, яка має
доступ до управління швидкістю, рухами і іншими параметрами для
автоматизованого керування.
• Високі вимоги до якості роботи: З огляду на важливість безпеки, високі
стандарти вимагають надзвичайної точності та надійності в роботі
автоматизованих систем керування. Прояви несправностей, такі як збої
датчиків чи помилки в програмі, можуть призвести до серйозних
наслідків.
• Конфіденційність результатів: Багато компаній стикаються з
проблемою конфіденційності, оскільки результати досліджень і
24
розробок є комерційно чутливою інформацією. Це може обмежувати
обмін даними між різними дослідницькими групами.
• Неточності та неузгодженість моделей сприйняття: Важливість точних
та універсальних моделей сприйняття навколишнього середовища стає
викликом. Різні умови, такі як зміна обладнання або вплив природних
факторів, можуть впливати на їхню точність.
У ситуаціях реального середовища, вартість обладнання, його
обслуговування та зміни у зовнішніх умовах можуть впливати на ефективність
та надійність автоматизованих систем керування. Важливо зазначити, що навіть
з усім необхідним обладнанням, несправності, непередбачувані обставини та
високі стандарти безпеки вносять свої виклики у розробку та впровадження
автономних транспортних систем.
Рис. 1.12. Новини про ДТП за участю безпілотного автомобіля компанії Uber
Деякі інциденти та загроза збільшення аварій на дорозі вперше змусили
американську владу визначити стандарт NHTSA [2]. Однією з вимог цього
стандарту є отримання ліцензії на водіння автономних систем керування (АСК)
на громадських дорогах. Щоб отримати цю ліцензію, система автопілоту
25
повинна переконати у своїй працездатності та безпеці. Зазначено, що навчання
системи може відбуватися лише на приватній території. Важливо, щоб ця
територія була достатньо великою і забезпечувала різні умови навколишнього
середовища, щоб дозволити системі наближатися до умов реального дорожнього
руху.
Оскільки успіх та швидкість впровадження автономних систем керування
безпосередньо впливають на фінансові результати компаній, які їх розробляють,
конфіденційність результатів досліджень стає стандартною практикою в даній
галузі. Це може призвести до повторного проведення досліджень та створення
нових систем з нуля, навіть у випадку, коли вже існують інші моделі
автономного керування.
Щодо створення моделей стійкого сприйняття та сегментації, сучасні
методи машинного навчання широко використовуються для вирішення цих
завдань. Проте, нині триває багато досліджень, спрямованих на поліпшення
надійності та продуктивності для досягнення рівня функціональності, схожого
на людський. Ключовим фактором для досягнення цієї мети є доступ до
обширних наборів даних. Збільшення кількості тренувальних даних поліпшує
ефективність та надійність моделей сегментації і виявлення, але збір та
маркування даних для всіх можливих умов руху, погодних умов і дорожніх
покриттів є дорогим і ресурсозатратним завданням. У цьому дипломному
дослідженні буде проведено порівняльний аналіз моделей нейронних мереж для
систем автоматизованого керування автомобілем.
Методологія та використовувані технології для вирішення питання
розробки автоматизованої системи керування автомобілем
Дослідження та розробки систем управління автотранспортом (АСК)
проводяться через відсутність фінансування для навчання та тестування системи
та доступу до доріг. Крім того, я використовував CARLA simulator для вирішення
цих проблем. Його позитивний вибір був обумовлений його відповідністю
алгоритмам навчання водінню автономних транспортних засобів. Симулятор
дозволяє моделювати поведінку різних датчиків і отримувати дані в реальному
26
часі. Він відтворює міське середовище з будівлями, пішоходами, транспортними
засобами та іншими об'єктами, а також імітує зміну погодних умов. Автоматична
система управління (АСК) автомобіля була розроблена на основі моделі
чотиримісного легкового автомобіля з традиційним правостороннім рухом.
При створенні системи для постановки завдань з нуля ви повинні спочатку
визначити ключові компоненти, терміни і концепції створення безпілотного
транспортного засобу. Також необхідно визначити технічні вимоги, що лежать в
основі конструкції, і визначити автономне водіння. Це дослідження можна
розбити на кілька блоків:
• Таксономія безпілотних автомобілів або система класифікації, яка
може використовуватися для визначення рівня автоматизації водіння.
• Вимоги до моделей сприйняття під час водіння для ідентифікації
елементів, які слід правильно розпізнавати під час руху.
• Модель прийняття рішень під час водіння та підходи до вибору, яким
чином транспортний засіб буде рухатися в навколишньому середовищі.
Перший термін у визначеному переліку – завдання водіння. Це завдання
розглядається як комплекс із трьох блоків. Початковий блок включає сприйняття
та ідентифікацію навколишнього середовища, у якому безпілотний автомобіль
пересувається. Це охоплює відстеження руху автомобіля для розпізнавання
різноманітних об'єктів, таких як дорожнє покриття, дорожні знаки, інші
автомобілі, пішоходи тощо.
Також важливо відстежувати всі рухомі об'єкти та передбачати їхні
майбутні рухи, забезпечуючи безпечну та відповідальну їзду. Другий блок
включає в себе планування маршруту.
Планування дозволяє ефективно дістатися до пункту призначення,
враховуючи такі фактори, як зміна смуги руху або перетин перехрестя, а також
виконання різноманітних маневрів. Третій блок – система управління
автомобілем, яка повинна приймати відповідальні рішення з рульового
керування, гальмування та прискорення, щоб ефективно контролювати стан і
швидкість автомобіля на дорозі. Ці три блоки представляють собою основне
27
завдання водіння, яке повинно безперервно виконуватися під час руху
автомобіля.
Наступна ключова концепція, необхідна для розв'язання цього завдання,
називається «домен операційного проектування» або ODD (Operational Design
Domain). ODD визначає робочі умови, в яких система може ефективно
функціонувати. Ці умови включають екологічні фактори, час доби, вид доріг та
інші характеристики, які впливають на надійність роботи автомобіля. Чітке
визначення умов експлуатації для розроблення безпілотного автомобіля є
критичним для забезпечення його безпеки, тому ODD повинно бути докладно
сплановано перед його впровадженням.
Що стосується класифікації рівня автоматизації в системі управління, то
враховуються різні рівні уваги, яке повинен приділяти водій. Наприклад, якщо
водій дивиться фільм за кермом або вам потрібно постійно звертати увагу на
кермо. Він також враховує кількість дій, які повинен виконати водій, таких як
Рульове управління, Круїз-контроль та необхідність зміни смуги руху. За
допомогою цих стандартів створюється Класифікація автономного водіння, і
стандарти постійно вдосконалюються. У класифікації використовується
розбивка, запропонована Асоціацією автомобільних інженерів у 2018 році.
Маючи встановлений стандарт, метод визначення завдань водіння з
підвищеним ступенем автоматизації може бути сформульований наступним
чином: по-перше, важливий бічний контроль, включаючи завдання рульового
управління і бічного руху на дорозі. Це охоплює різні маневри, такі як повороти
вліво, вправо, їзда прямо чи слідування кривій шляху. По-друге, поздовжній
контроль, що включає у себе завдання контролю за положенням або швидкістю
автомобіля на проїжджій частині за допомогою таких дій, як гальмування чи
прискорення. По-третє, важливе виявлення та реагування (OEDR), яке базується
на об'єктах та подіях і вимагає негайної реакції на них. По-четверте, планування,
яке включає в себе довгострокові та короткострокові плани для ефективної
поїздки або виконання маневрів, таких як зміна напрямку або перетин
перехресть.
28
Згідно зі стандартом SAE J3016, рівні автоматизації розпочинаються з
повного людського сприйняття, планування і контролю, що відомо як «нульовий
рівень». На цьому рівні взагалі відсутня автоматизація водіння, і всі обов'язки
покладаються на водія. Якщо автономна система вже надає допомогу водієві у
виконанні завдань управління в поперечному або поздовжньому напрямку, цей
рівень можна вважати першим рівнем автономії. Адаптивний круїз-контроль
(ACC) може служити прикладом функції першого рівня, де система контролює
швидкість автомобіля, але водій відповідає за рульове управління. Таким чином,
система може виконувати поздовжнє управління, але для бічного управління
необхідна участь людини. Система допомоги при утриманні смуги руху також
відноситься до першого рівня, допомагаючи водієві залишатися в смузі руху і
попереджаючи про наближення до її меж.
Другий рівень забезпечує поздовжнє та бокове керування в певних
сценаріях руху на додаток до рульового керування. Прикладами функцій 2-го
рівня є GM Super Cruise та Nissan ProPilot Assist. Багато автовиробників вже
мають Level 2, включаючи Mercedes, Audi, Tesla і Hyundai.
На третьому рівні система може виявляти об'єкти та події, певною мірою
реагувати на них та виконувати більше адміністративних завдань. Однак у разі
несправності управління повинно бути передано водієві. 2. і 3. Різниця між
рівнями полягає в тому, що водієві не завжди потрібно стежити за
декомунізацією в конкретній ситуації, оскільки він може визначати, коли
втручатися в автомобіль. Проте цей рівень є суперечливим, оскільки система не
завжди може точно визначити, коли виникає несправність. Прикладом системи
третього рівня є Audi A Luxury Sedan, який володіє автоматизованою системою
керування для руху в умовах повільного трафіку.
На четвертому рівні системи можуть справлятися з аварійними ситуаціями
автономно, але можуть звертатися до водіїв для управління в надзвичайних
ситуаціях. На цьому рівні водії можуть займатися іншими справами, знаючи, що
система може гарантувати їхню безпеку. Проте четвертий рівень, так само як і
інші, допускає автономне водіння лише в обмеженому діапазоні експлуатації
29
(ODD). На момент 2020 року тільки Waymo впроваджує транспортні засоби
громадського транспорту з автоматизацією четвертого рівня, які працюють лише
в конкретних географічних зонах і за умов, які не вимагають участі водія.
П'ятий рівень позначає повністю автономні системи, їхня діяльність не
обмежена жодними умовами. Це означає, що вони можуть працювати в будь-
яких умовах. Прикладом може бути таксі без водія, які доставляють пасажирів
за потреби. Хоча наразі немає прикладів п'ятого рівня, цей рівень може невдовзі
стати реальністю.
Наступним етапом слід дослідити вимоги до моделей сприйняття, що є
ключовим елементом при розробці автономних систем. Узагалі кажучи, завдання
водіння може бути розділено на дві основні частини. По-перше, необхідно
розпізнати події, які відбуваються навколо автомобіля та визначити його
місцезнаходження. Іншими словами, система повинна здати оточення. По-друге,
потрібно приймати рішення щодо водіння. Це включає визначення типу
транспортного засобу перед автомобілем (автомобіль, велосипед, автобус і т. д.)
і прогнозування його руху. Люди можуть легко розпізнавати шаблони руху, але
це завдання важке для комп'ютерних систем.
Прогнозування траєкторії руху об'єктів виявляється ключовою для
сприйняття, оскільки правильний прогноз дозволяє робити обґрунтовані
рішення. Наприклад, якщо відомо, що інший автомобіль збирається робити
певний рух, водій може заздалегідь прийняти відповідні рішення для досягнення
спільних цілей. Процес сприйняття включає ідентифікацію різних елементів,
таких як статичні елементи (дороги, розмітка, переходи для пішоходів),
позашляхові елементи (бордюри, світлофори, знаки) та динамічні елементи (інші
автомобілі, мотоцикли, пішоходи). Це об'єднано з локалізацією, оцінкою місця
розташування автомобіля. Важливо враховувати невизначеність, що може
виникнути внаслідок складних умов, таких як обмежена видимість, спотворення
вимірювань GPS, або шум від сенсорів. Підсистеми сприйняття повинні
враховувати ці неточності, щоб забезпечити точні рішення. Додатково, такі
фактори, як ефекти оклюзії та відображення від об'єктива камери або LIDAR,
30
можуть впливати на точність сприйняття. Важливо розробляти підсистеми, які
враховують ці ефекти та надають надлишкові джерела інформації для подолання
втрат даних датчика. На завершення, елементи сприйняття також повинні бути
стійкими до різних погодних умов, ідентифікувати та прогнозувати рух інших
учасників дорожнього руху, забезпечуючи таким чином усвідомлені та безпечні
рішення при водінні.
Планування можна розглядати в контексті трьох видів рішень. Перший тип
– це довгострокове планувальне рішення, яке визначає загальний план для
завдання, такого як маршрут від дому до роботи. Сучасні картографічні додатки
можуть надавати деталізовані інструкції для водіння, вказуючи шляхи руху та
смуги. Другий тип - це короткострокові рішення, які виникають під час водіння,
такі як переключення смуги або рішення про поворот на перехресті. Ці рішення
потребують швидкої реакції. Водіння вимагає негайних рішень, таких як
контроль траєкторії, реакція на зміни обстановки та вирішення ситуацій, таких
як повороти та зупинки. Наприклад, при наближенні до перехрестя системі
потрібно прийняти рішення щодо зміни смуги, зниження швидкості та точного
місця зупинки.
Урахування різних сценаріїв прийняття рішень на дорозі важливе для
планування руху. Реактивне планування використовує набір правил, щоб
врахувати поточний стан інших об'єктів і приймати негайні дії, орієнтовані на
поточний момент. Прогнозне планування, з іншого боку, використовує прогнози
для визначення рішень, орієнтованих на майбутнє, що включає урахування дій
інших учасників дорожнього руху. Цей підхід дозволяє розширити сценарії, з
якими транспортний засіб може безпечно взаємодіяти, але водночас ускладнює
завдання сприйняття, оскільки вимагає точних прогнозів дій інших суб'єктів у
навколишньому середовищі.
Висновки до розділу 1
Теоретичні засади створення транспортних засобів з автоматизованою
системою керування (АСК) охоплюють різноманітні аспекти, які включають в
31
себе передові технології та принципи роботи із штучним інтелектом, машинним
навчанням і сенсорикою. Основна мета цих теоретичних концепцій - покращення
безпеки, ефективності та зручності транспортних систем.
У розвитку систем автоматизованого керування велика увага приділяється
розробці систем сприйняття та планування. Системи сприйняття повинні
ефективно розпізнавати об'єкти в навколишньому середовищі, використовуючи
сучасні технології сенсорики та обробки даних.
Планування включає в себе алгоритми та стратегії для прийняття рішень
на основі отриманої інформації. Це охоплює як довгострокове планування,
наприклад, визначення маршруту, так і короткострокове планування, що
включає негайні рішення під час руху.
Однією з ключових аспектів теоретичних основ є управління
невизначеністю. З урахуванням факторів, таких як погодні умови, непередбачені
події та різноманітність сценаріїв дорожнього руху, розробка систем, які можуть
ефективно працювати в умовах невизначеності, стає важливою задачею.
Ці теоретичні концепції спрямовані на створення транспортних засобів, які
забезпечують високий рівень безпеки, ефективно взаємодіють з іншими
учасниками дорожнього руху та можуть адаптуватися до різноманітних
сценаріїв дорожнього руху. Це формує фундамент для розвитку інтелектуальних
транспортних систем, які забезпечують безпеку, комфорт та стабільність на
дорогах.
32
РОЗДІЛ 2
СЕРВІСИ ТА АЛГОРИТМИ ДЛЯ ВИЯВЛЕННЯ ДИНАМІЧНИХ ТА
СТАТИСТИЧНИХ ОБ’ЄКТІВ
2.1. Деталізація сенсорів для аналізу оточуючого середовища
У моделях аналізу навколишнього середовища використовуються
різноманітні типи сенсорів, із ключовими чотирма – лідаром, радаром, сонаром
та камерою. Ці технології відрізняються за принципом роботи, дальністю
функціонування, швидкістю обробки, залежністю від освітлення, можливістю
розпізнавання кольорів і вартістю використання.
Лідар сенсор
LiDAR – це технологія, яка використовує лазерний промінь для
вимірювання відстані до об'єкта. Принцип роботи полягає у випромінюванні
короткого інтенсивного світлового імпульсу, який відбивається від об'єкта і
повертається до детектора. Вимірюючи час, за який світловий імпульс досягає
об'єкта і повертається назад, можна визначити відстань з високою точністю до
міліметрів. Лідарні системи можуть працювати на великих відстанях і збирати
велику кількість точкових даних за короткий час.
Застосування в автономних транспортних засобах Лідар використовується
в автономних транспортних засобах для вимірювання відстаней до інших
транспортних засобів і перешкод, а також для створення 3D-карт дороги. Однак
він має такі недоліки, як обмежене розпізнавання кольорів і висока вартість.
Сенсор радар
Радар (Radio Detection and Ranging) використовує електромагнітні хвилі
для вимірювання відстані, швидкості та інших характеристик об'єктів у просторі.
Як активна технологія виявлення, радар генерує радіохвилі, поширює їх у
напрямку об'єкта та аналізує відбиті від нього ехо-сигнали.
Основні параметри і можливості радіолокаційних систем включають
вимірювання відстані на різних відстанях, роздільну здатність при розпізнаванні
33
об'єктів, швидкість вимірювання і здатність працювати в умовах обмеженої
видимості, таких як туман або дощ. Недоліками радару є менша дальність
порівняно із лідаром та відсутність можливості розпізнавання кольорів.
Сенсор сонар
Сонар – це система, яка використовує звукові хвилі для вимірювання
відстані та напрямку об'єктів у воді. У сфері автопілотів сонар використовується
для полегшення керування та навігації.
Система гідролокатора складається з одного або декількох елементів, які
генерують і приймають звукові хвилі. Сучасні гідролокатори можуть
використовувати різні частоти і сигнали для досягнення більшої точності і
дальності виявлення.
У випадку автопілотів сонар використовується для виявлення об'єктів на
дорозі, які можуть перешкоджати руху транспортного засобу. Наприклад, сонар,
встановлений перед автомобілем, передає звукові хвилі, які відбиваються від
інших транспортних засобів або перешкод, таких як стовпи електропередач. На
основі цього відлуння сонар визначає відстань до перешкоди і її положення
відносно транспортного засобу.
Сонар також може використовуватися для підтримки адаптивного круїз-
контролю і систем автоматичного паркування. У цьому випадку сонар вимірює
відстань до транспортного засобу, що рухається попереду, і автоматично
регулює швидкість автомобіля відповідно до неї. Крім того, сонар визначає
оптимальну траєкторію для автоматичного паркування, щоб уникнути зіткнення
з перешкодами.
Час відгуку сонара є швидким. Наприклад, деякі сонарні системи, що
використовуються на кораблях, мають швидкість звукової хвилі до 1500 метрів
на секунду. Це означає, що гідролокатор може вимірювати відстань та інші
параметри надзвичайно швидко, а отже, може ефективно використовуватися для
широкого кола завдань.
Однак головним обмеженням гідролокатора є його обмежений радіус дії.
Оскільки звукові хвилі поширюються повільніше, ніж світло, максимальна
34
відстань, на якій можна надійно використовувати гідролокатор, залежить від
використовуваної частоти. Наприклад, гідролокатор з частотою близько 20 кГц
може виявляти об'єкти на відстані до 200 метрів, тоді як гідролокатор з частотою
понад 100 кГц може виявляти об'єкти лише на відстані до 10 метрів.
З точки зору точності, гідролокатор досить точний і може вимірювати
відстані з точністю до кількох міліметрів у деяких сценаріях, але ця точність
залежить від низки факторів, зокрема, від якості обладнання, швидкості та якості
середовища.
Камери та комп'ютерний зір
Швидкість обробки інформації в системах комп'ютерного зору сильно
варіюється залежно від складності алгоритмів і обсягу оброблюваних даних.
Загалом, для досягнення продуктивності в реальному часі потрібна висока
швидкість обробки, яка може бути досягнута за допомогою спеціалізованих
апаратних прискорювачів, таких як графічні процесори (GPU - графічні
процесори).
Межі відстані і точності також залежать від конкретної системи
комп'ютерного зору та її характеристик. Наприклад, деякі системи можуть
виявити об'єкт на відстані 100 метрів з точністю до 10 см, тоді як інші можуть
працювати на більших відстанях і з більшою точністю.
Одним із факторів, що впливає на точність і дальність дії систем
комп'ютерного зору, є роздільна здатність камери. Чим більше пікселів на
зображенні, тим вища роздільна здатність і точність системи.
Однак зі збільшенням кількості пікселів збільшується кількість даних, які
потрібно обробити, і знижується швидкість обробки.
Іншим важливим фактором, що впливає на точність і обмеження відстані,
є якість зображення, яка може погіршуватися через погане освітлення, артефакти
на зображенні та рух об'єкта. Ці фактори можуть призвести до помилок у
розпізнаванні об'єктів і зниження точності системи.
35
2.2. Процедури визначення смуги руху за допомогою сервісів
У даній розділі викладено інформацію про виявлення смуг руху та об'єктів,
що є ключовим для забезпечення безпеки дорожнього руху. Оскільки безпека є
високим пріоритетом для всіх систем виявлення смуг руху, більшість
автомобільних аварій стаються через неправильне виявлення. Таким чином,
розроблено численні алгоритми виявлення смуг руху та об'єктів, які базуються
на візуальних даних для уникнення аварій на дорозі.
Рис. 2.1. Приклади виявлення смуги руху
Виявлення смуг руху визнається як добре досліджена галузь
комп'ютерного зору, застосована в автономних транспортних засобах та
36
системах допомоги водієві. Це викликається складністю ідентифікації розмітки
на різних типах доріг через фактори, такі як тіні від інших транспортних засобів,
зміни на проїжджій частині та різні типи дорожньої розмітки.
Алгоритми виявлення смуг руху грають важливу роль в системах
допомоги водієві, локалізуючи межі смуги на зображеннях та допомагаючи в
оцінці геометрії дороги та положення автомобіля на смузі. Ці алгоритми
збирають різні типи маркерів на дорозі, фільтруючи їх для надання надійної
інформації щодо маршруту руху.
Наприклад, система Mobil Eye виявляє більшість білих, синіх та жовтих
розміток у світі, що становить приблизно 99% випадків. Ця система успішно
інтегрована в різні середовища та випробувана в різних умовах, таких як яскраве
сонячне світло та непогода.
Також, Mobil Eye розробляє систему зворотного зв'язку для системи
виявлення смуг руху, що сприятиме правильному розташуванню транспортного
засобу в різних умовах, таких як в'їзд в тунель або дзеркальні відбивачі на
дорожніх швах та смолі.
Характеристики сервісу розпізнавання розмітки
• Спроможний адаптуватися до різних типів доріг.
• Розпізнає маркування за його кольором, стилем та шириною.
• Визначає всі види розмітки на дорозі на представленому зображенні.
• Має вбудовану навігаційну систему, яка відслідковує зміну смуг руху
та надає рекомендації.
• Приспособлюється до різних погодних та світлових умов.
Категорії дорожніх смуг
Суцільна лінія: дозволяє перетнути центральну лінію для продовження
руху, виїзду на дорогу або виїзду з неї, але забороняє обгін.
Переривчасті лінії: дозволяють обганяти по перерваній центральній лінії
або по зламаній середній лінії.
Граничні лінії: використовуються для визначення краю дороги. Площа до
лівого краю лінії служить віссю дороги, також відому як плече дороги. Це не
37
просто додаткова смуга для руху транспортних засобів, але може
використовуватися велосипедистами або для виїзду на дорогу, повернення на
перехресті тощо.
Покращення відношення сигнал/шум для забезпечення видимості на дорозі
Забезпечення належної видимості є ключовим аспектом безпеки на
дорогах. Кожного року велика кількість аварій трапляється через погану
видимість та високі швидкості руху.
У погану погоду з поганою видимістю значна кількість повітряних
частинок із значним розміром та різноманітними властивостями розсіюють та
поглинають світло, ускладнюючи чіткість видимості і відображення предметів.
У таких умовах точне визначення положення стає складним, і об'єкти можуть
виглядати менш чіткими, що може призвести до недооцінки відстані.
Дослідження показують, що в умовах туману водії часто демонструють надмірну
швидкість.
Для вдосконалення системи моніторингу були впроваджені датчики
сприйняття, такі як камери та радари. Ці датчики призначені для ефективної
роботи в різних умовах (освітлення, погода і т. д.) із заданою граничною
швидкістю зміни.
Особливо актуальним є дослідження, спрямоване на використання
датчиків сприйняття, а не лише метеорологічних датчиків видимості, для роботи
з викликами туманних чи поганих погодних умов.
Багато країн та організацій, таких як Японія та США, займаються
дослідженням цієї проблематики. Наприклад, AerotechTelub та Університет
Даларма, під патронатом Шведського національного дорожнього агентства,
провели ряд досліджень у цьому напрямку.
Пов'язані дослідження щодо покращення відношення сигнал/шум для
видимості на дорозі
Для вирішення проблеми покращення видимості на дорозі пропонується
автоматизований метод, який вимагає лише одного вхідного зображення. Оцей
метод відрізняється від сучасних підходів, що використовують одне зображення,
38
тим, що не потребує геометричної інформації від користувача. Основою методу
є дві ключові спостереження: по-перше, зображення з кращою видимістю (або
чіткіше вдень) має більшу контрастність, ніж ті, які страждають від погіршення
погоди; з іншого боку, світло має варіацію, що залежить від відстані до об'єктів.
На цій основі розробляється функція витрат у контексті випадкового поліля
Маркова (MRF), яку можна ефективно оптимізувати за допомогою методів,
таких як скорочення графіків або розповсюдження переконань. Цей метод може
бути використаний як для кольорових, так і для відтінків сірого.
Рис. 2.2. Оптична модель
Коротко кажучи, наш метод визначає атмосферне світло та кольоровість
світла через першу оцінку, що дозволяє нам видалити яскраві кольори з вхідного
зображення. Оцінка вартості даних і плавності обчислюється для кожного
пікселя, використовуючи контраст невеликої області зображення та різницю між
двома сусідніми пікселями.
Ці дані та витрати використовуються для побудови повної регулярності
MRF, що оптимізується за допомогою існуючих методів виведення, що надає
оцінки значень світла. З використанням прогнозованого атмосферного світла
сцена стає більш видимою.
39
2.3. Алгоритми спрямовані на визначення смуги руху
Висвітлення всіх аспектів технічного обладнання виходить за рамки даної
роботи. Таким чином, обмежений пошук стосувався бази даних IEEE з ключовим
словом «відстеження смуги руху у відео».
Робота Schneiderman та Nashman [9] розглядає алгоритм візуальної
обробки для підтримки автономного слідування дороги, що включає етапи
вилучення країв, узгодження точок краю з геометричною моделлю дороги та
оновлення цієї моделі. Однак їхня обробка обмежується двовимірною площиною
зображення, і відсутні дані про рух транспортного засобу.
Робота Litkouhi, Lee та Craig [10] розробляє теорію оцінювання та
регулювання смуги руху з використанням фільтрації Кальмана для аналізу
кривизни проїжджої частини та розташування транспортного засобу на смузі.
Вхідні дані включають кінематичні змінні транспортного засобу та інформацію
про межу смуги, але виявлення смуги не обговорюється в деталях. Тейлор та ін.
[11] пропонують систему витягування смуг, засновану на параметризованій
моделі зовнішнього вигляду смуг на зображеннях, з використанням стереозору.
Однак їхній підхід відрізняється тим, що використовує інформацію з двох камер.
Betke, Haritaoglu та Davis [12] аналізують кольорові відеозаписи для
виявлення та відстеження меж дороги та розмітки смуг, використовуючи фільтр
найменших квадратів. Їхній метод використовує кольорову інформацію, що
відрізняє його від розглядуваного тут відео в відтінках сірого.
Jung та Kelber [13] вирішують проблему виявлення та відстеження смуги
руху за допомогою лінійно-параболічної моделі, що апроксимує межі смуги для
поля ближнього та дальнього зору. У нашій роботі інформація про залежності
між рядками використовується для покращення результатів виявлення.
Fletcher, Petersson та Zelinsky [14] розробляють та оцінюють детектор
монотонності сцени дороги, хоча їхнє виявлення смуги не обговорюється в
роботі.
Hsieh та ін. [15] пропонують автоматичну систему спостереження за
дорожнім рухом, що аналізує відеозаписи для оцінки параметрів дорожнього
40
руху. Однак їхня система розглядає статичні відеодані, що відрізняється від
динамічного оточення автомобіля в нашому випадку.
Maire та Rakotonirainy [17] описують систему, яка аналізує відеозаписи
водіння для виявлення та відстеження розмітки смуги руху та взаємного
розташування транспортного засобу. Вони використовують аналіз в зворотному
часовому порядку, але цей підхід непридатний для онлайн системи.
Таким чином, хоча існують подібні дослідження, їхні методи не завжди
враховують динамічне оточення транспортного засобу та не обговорюють
виявлення смуги в нашому контексті.
McCall та Trivedi [18] розробили систему "оцінки та відстеження смуги
руху на основі відео" (VioLET), використовуючи керовані фільтри для виявлення
розмітки смуги. У відміну від поточної роботи, система використовує різні
датчики, такі як передня камера, швидкість автомобіля, кермо та модель
автомобіля, як вхідні дані.
Isa [19] використовував обробку зображень для проведення
експериментальних досліджень динамічних показників бічного та поздовжнього
управління для автономного автомобіля. Алгоритм виявлення та відстеження
смуги руху базується на сегментації кольорових сигналів, виявленні країв та
перетворенні Хафа. Проте важливо зауважити, що дані для цього проекту
представлені у градаціях сірого, що виключає використання інформації про
кольори.
Borkar, Hayes та Smith [20] також описують систему виявлення смуги руху,
яка передбачає попередню обробку фотографій, зокрема тимчасове розмиття та
перетворення відтінків сірого. Далі використовується зворотне відображення
перспективи для видалення перспективи та перетворення зображення в вид з
висоти пташиного польоту. Цей підхід використовує адаптивний поріг для
перетворення зображення в двійкове, а потім використовує перетворення Hough
для виявлення маркерів смуги. Фільтр Калмана передбачає параметри кожного
рядка маркера смуги між кадрами, і для зйомки відео використовується
кольорова камера.
41
Cheng та Chiang [21] розробили автоматичну систему навігації для
інтелектуального роботизованого інвалідного крісла, яка використовує
відеорозпізнавання ліній фарби. Проте ця система призначена для безбар'єрного
середовища та використовує кольорову камеру, встановлену під дзеркалом
заднього виду.
Benligiray, Topal та Akinlar [22] пропонують метод відеовизначення смуги
руху з використанням швидкого оцінювання точки зникнення. Вони
використовують етапи вилучення та перевірки сегментів ліній, усунення
відрізків ліній на основі кута та кластеризацію решти відрізків ліній для
виявлення маркерів смуги. Їхні ідеї взаємодіють із нашою реалізацією, проте
важливо відзначити, що в нашій роботі необов'язково потрібно чітко
обчислювати точку зникнення.
Нарешті, Gopalan et al. [23] використовують навчальний підхід до
виявлення та відстеження розмітки смуги, базуючись на дескрипторі
властивостей піксельної ієрархії та фільтрах частинок. Їхній підхід враховує
якість даних та може виявити обмеження в умовах, таких як туман або дощ, коли
візуальних входів може бути недостатньо для виявлення розмітки смуги.
Система GOLD, створена Broggi, використовує апаратну та програмну
архітектуру на основі стереобачення з алгоритмом виявлення меж смуги руху на
основі країв. Ця система призначена для транспортних засобів з метою
підвищення безпеки дорожнього руху. Вона здатна виявляти загальні перешкоди
та визначати положення смуги руху в структурованому середовищі, такому як
дороги з розміткою, зі швидкістю 10 Гц.
Крейчер С. представив в LOIS алгоритм ймовірності форми зображення
(LOIS), який дозволяє надійно визначати розмітки, навіть за умов оклюзії та
різноманітних умов освітлення. Цей алгоритм слідкує за законами дороги через
послідовність зображень та надає попередження про можливий виїзд зі шляху.
Університет Меллона розробив систему AURORA для виявлення розміток
смуг на структурованих дорогах, таких як шосе та міські вулиці. Система
розраховує поперечне положення транспортного засобу за допомогою виявлених
42
маркерів лінії і, в разі відхилення від шляху, вчасно попереджає водія звуковими
та візуальними сигналами. Крім того, вона може активно втручатися за
допомогою керування рулем та швидкісним режимом для уникнення зіткнень.
Запропонований метод виявлення смуги руху в реальному часі, що
базується на зорі, використовує ефективне поєднання функцій фільтра каналів
edgeLink. Цей метод включає етап вилучення кандидатів у регіоні інтересу (ROI)
та використання широкосмугового алгоритму зв'язування крайової ланцюга для
дослідження орієнтації краю. Лінійна модель використовується для оцінки
розмітки, і параметри моделі використовуються для визначення положення
смуги руху та розрахунку виїзду із смуги.
Рис. 2.3. Приклади виявлення смуги руху
TFALDA – це алгоритм виявлення смуги руху, який був запропонований
yam et al. Абревіатура TFALDA розшифровується як «представлений алгоритм
автоматичного визначення смуги руху». Цей метод ґрунтується на трьох
функціях, придатних для ефективного автоматизованого виявлення меж смуги
руху в різних середовищах, і не вимагає нудної ручної ініціалізації чи
попередньої інформації про шлях. Основною сильною стороною алгоритму
TFALDA є об'єднання трьох основних характеристик межі смуги та контроль їх
часової еволюції. Цей алгоритм може ефективно пристосовуватися до
різноманітних умов на дорозі шляхом оптимізації параметрів еволюційного
алгоритму, уникнення ручного тестування та удосконалення. Виявлення смуг
може здійснюватися за допомогою зворотного перетворення перспективи у
43
вигляді площини зображення, взятого під кутом повороту на сусідній дорозі,
і/або може отримуватися інформація, необхідна для керування напрямком
виходу каналу, безпосередньо.
Процедури виявлення об'єктів за допомогою сервісів
Виявлення об'єктів є широко дослідженою областю в галузі комп'ютерного
зору та застосовується в автономних транспортних засобах та системах допомоги
водієві.
Кожну хвилину, в середньому, відбувається щонайменше одна смертельна
ДТП, при цьому щорічно внаслідок транспортних аварій постраждає принаймні
10 мільйонів людей, а серйозно – два-три мільйони. Ці статистичні дані свідчать
про необхідність дослідження та впровадження нових технологій для
покращення безпеки на дорогах.
Останнім часом було розпочато кілька національних та міжнародних
проектів з метою вивчення нових технологій для поліпшення безпеки на дорозі
та зменшення економічних втрат, пов'язаних з транспортними аваріями.
Автомобільні компанії, постачальники та університети активно досліджують
активні напрямки для зменшення ризиків та наслідків аварій.
Статистика показує, що основні загрози для водіїв становлять інші
транспортні засоби, і тому розробка систем допомоги водію для взаємодії з
іншими транспортними засобами отримала велику увагу.
Виявлення та відстеження транспортних засобів на основі бачення стає
ключовим етапом для побудови автономних транспортних засобів, де велике
співпрацюють державні установи, автомобільні компанії та дослідницькі
організації.
Проекти такі, як PROMETHEUS в Європі, спрямовані на вдосконалення
безпеки та ефективності транспортних систем. Протягом останніх 15 років
інтенсивно досліджується виявлення та відстеження транспортних засобів,
зокрема в аспектах групового руху, міського та автономного водіння. У зв'язку з
експоненційним ростом потужностей процесорів, відкриваються нові
перспективи для реалізації цих інновацій.
44
2.4. Алгоритми спрямовані на виявлення стаціонарних об'єктів
Визначення транспортного засобу та умов дорожнього руху під час його
руху має велике значення для забезпечення безпечного керування, уникнення
аварій і розвитку автоматичного водіння. Для досягнення цих цілей
застосовується система виявлення та відстеження транспортного засобу, що
базується на використанні відеокамери, встановленої на транспортному засобі.
Ми впроваджуємо модель прихованих марків (HMM) для ідентифікації
транспортного засобу під час його відстеження, щоб зробити систему більш
стійкою до тимчасових порогів у прийнятті рішень.
Оцінюємо спільну ймовірність зображення та швидкостей,
використовуючи динамічну HMM, для точного визначення цільових
транспортних засобів у фонових положеннях.
Наша нова система виявлення та відстеження транспортних засобів, що
використовує камеру, встановлену на транспортному засобі, базується на
високопродуктивних алгоритмах обробки зображень для управління детектором
WB та трекером TLD, реалізованих у режимі реального часу (10 Гц) на одному
ядрі процесора.
Для забезпечення ефективності та надійності системи ми використовуємо
функції когерентності часового руху, що допомагають розпізнавати та
відстежувати транспортні засоби.
Усі експериментальні дані були отримані на італійських автомагістралях
за різних умов освітленості. Отримані дані мають високий ступінь достовірності,
оцінений за допомогою лазерного сканування та візуальних даних. Ці дані та
реальність складної місцевості будуть доступні громадськості.
Метод об'єднання даних від кількох датчиків є більш ефективним, ніж
метод, що використовує лише один датчик. У даному алгоритмі асоціації даних
виконується на рівні примітивів ємності, що дозволяє досягти вищого рівня
розпізнавання порівняно з розпізнавальною здатністю окремого датчика. На
рисунку 2.5 наведено блок-схему запропонованого алгоритму. Спочатку
обчислюються примітивні дані кожного датчика.
45
Рис. 2.4. Визначення об’єктів при перемінному світлі та сутінках
По-друге, проводиться з'єднання даних примітивних зображень з даними
примітивної ємності SLR. Цей об'єднаний вектор отримує назву «вектор злиття».
Вектор злиття трактується як віртуальний датчик. Розмір об'єднаного вектору
стискається за допомогою розширення Кархунена-Луїва (розширення KL). По-
третє, проводиться порівняння вектору об'єднання заздалегідь підготовленого
словника рентабельності інвестицій.
46
Рис. 2.5. Блок-схема методу термоядерного синтезу
Алонсо та його колеги представили стратегію виявлення транспортного
засобу, яка ґрунтується на класифікації багатовимірних імовірностей для
забезпечення надійності та ефективності. Ця стратегія досягається завдяки
комбінації трьох морфологічних характеристик: тіні автомобіля, симетрії та
кутів. Запропоновані підходи до цих аспектів представляють собою ефективний
етап комбінованого тестування методів, що базуються на моделях та вигляді
зовнішнього обличчя, і досягають простих, але потужних результатів.
Запропонована стратегія ґрунтується на ефективному обчисленні
ймовірності неоднорідної моделі при визначенні методу класифікації, який
ймовірно відповідає припущенням про носіїв. У виробничій фазі
запропонованого підходу вибирається область інтересів (ROI) за допомогою
адаптивної, розділеної та пов'язаної сегментації, заснованої на знаннях. Далі
пропонуються кандидати для кожного субрегіону ROI, які класифікуються на
етапі тестування, використовуючи мінімальний рейтинг відстані Махаланобіса в
області багатовимірної функції.
Цей підхід використовує ймовірнісні міри в формі спрощеної моделі трьох
морфологічних ознак: площа тіні кандидатів транспортних засобів, симетрія та
кути. Таким чином, класифікація кожного кандидата визначається як належача
47
до класу транспортного засобу або транспортного засобу, що також не є мірою
довіри. Структурна схема запропонованого підходу до виявлення транспортного
засобу представлена на рисунку 2.6.
Фаза генерації гіпотез.
• Породження гіпотез: Відповідальна за вибір тих областей зображення,
де, ймовірно, розташовані транспортні засоби.
• Перевірка гіпотез: Мета полягає в перевірці наявності транспортних
засобів серед обраної області.
Рис. 2.6. Структурна схема підходу до виявлення транспортного засобу
Метод масштабної інваріантної функції перетворення (SIFT) з алгоритмом
відстеження середнього зсуву визначає регіональний інтерес (ROI) для
послідовних кадрів, отриманих від бокової камери. Цей метод включає глуху
48
зону та використовує статистичну модель для отримання інформації про
топологію визначальних областей.
Ця модель служить для виявлення кандидатів у порушення рентабельності
інвестицій, і алгоритм SIFT використовується лише для перевірки присутності
автомобіля в області кандидатів.
Алгоритм відстеження автомобілів ґрунтується на технології відсікання в
області адаптивних алгоритмів фільтрації. Використання техніки відсікання
дозволяє керувати джерелом шуму при прогнозуванні положення автомобілів.
Зокрема, версія алгоритму LMS, відома як LMS QX, виявляє кращі можливості
відстеження порівняно з відсіченим LMS (CLMS) адаптивним алгоритмом
фільтрації.
QX60 LMS-алгоритм використовується для оцінювання шумного сигналу
чиренгу та застосовується для ідентифікації та відстеження додатків в
автомобілі.
Висновки до розділу 2
На основі аналітичного огляду робіт та алгоритмів, спрямованих на
виявлення об'єктів та рухомих елементів, визначено, що існують різноманітні
підходи, включаючи використання різних сенсорів, алгоритмів обробки даних та
аналізу зображень.
Системи виявлення об'єктів можуть бути ефективно використані у різних
сферах, включаючи безпеку на дорогах та автономне водіння. Деякі методи
базуються на класифікації об'єктів за допомогою багатовимірних показників
ймовірності, тоді як інші використовують алгоритми відстеження та вивчення
образів для поліпшення якості виявлення та надійності систем.
У сучасних системах виділяється тенденція до використання розширених
методів штучного інтелекту, таких як нейронні мережі, для вдосконалення
точності та адаптації до різноманітних умов. Однак важливо враховувати
виклики, такі як обробка великої кількості даних, нестабільні умови освітлення
та несприятливі погодні умови.
49
Загальна тенденція підкреслює важливість подальшого дослідження та
розвитку алгоритмів виявлення об'єктів для забезпечення високої ефективності
та безпеки в різних сферах застосування.
50
РОЗДІЛ 3
АВТОМАТИЗОВАНА СИСТЕМА КЕРУВАННЯ БЕЗПІЛОТНИМ
ТРАНСПОРТНИМ ЗАСОБОМ
3.1 Методи управління автоматизованою системою керування
автомобілем
Під час аналізу алгоритмів управління розглядались наступні варіанти:
пропорційні (П), пропорційно-інтегральні (ПІ) та пропорційно-інтегрально-
диференційні (ПІД) регулятори, а також лінійні та нелінійні регулятори. Також
були вивчені алгоритм Калмана та його модифікації, зокрема розширений
алгоритм Калмана та управління за допомогою помилки.
Пропорційно-інтегрально-диференційний (ПІД) регулятор є складовою
системи з зворотнім зв'язком. Використовується у системах автоматичного
управління для створення керуючого сигналу з метою досягнення необхідної
точності та якості перехідних процесів. ПІД-регулятор формує керуючий сигнал,
який складається із трьох компонентів. Перший компонент – пропорційна
різниця між вхідним сигналом та сигналом зворотнього зв'язку (сигнал
невідповідності), другий – інтеграл сигналу невідповідності, третій – похідна
сигналу невідповідності.
Рис. 3.1. Загальна схема ПІД-регулятора
51
У випадку, якщо якесь з цих компонентів не використовується, регулятор
отримує назву пропорційно-інтегральним, пропорційно-диференційним,
пропорційним тощо. Загальну схему ПІД-регулятора можна побачити на
рисунку 3.1.
Ця система управління зворотнім зв'язком з ПІД-регулятором контролює
значення y(t), тобто реалізує вивід величини y(t) на задані значення r(t). На вхід
ПІД-регулятора подається помилка e(t), а вихід ПІД-регулятора служить
керуючим впливом u(t) на певний процес (об'єкт управління), контрольний
параметр якого – y(t).
На жаль, використання ПІД-регуляторів має свої недоліки при
практичному застосуванні. Вони виникають при реалізації каналу похідної
сигналу помилки έ(t). Негативні ефекти включають підвищене посилення
високочастотних компонентів сигналу помилки, які є шумовими, і це зменшує
відношення корисної складової сигналу до шуму, що може призводити до
дестабілізації об'єкта управління. Також можуть виникати імпульси великої
амплітуди, особливо при різких змінах помилки.
Один із стандартних випадків використання ПІД-регулятора – це система
круїз-контролю автомобіля, де вихід визначає кількість пального, що поступає в
двигун. Вимірювач швидкості порівнюється з бажаною швидкістю, і керуючий
сигнал налаштовується. Це дозволяє автомобілю регулювати кількість газу, коли
автомобіль рухається по схилу.
Хоча це ефективно для багатьох пристроїв, у більш складних системах з
багатьма керованими виходами і гучними вхідними датчиками часто виявляється
нестабільним. Тому для керування було вирішено використовувати фільтр
Калмана або його модифікації. Цей алгоритм широко використовується для
систем наведення, оскільки він відстежує стан системи, має модель її роботи і
робить прогнози на її основі.
Оскільки система автоматичного керування автомобілем не обмежена
зовнішнім контролем, фільтр Калмана може бути використаний для покращення
її орієнтації. Фільтр починає роботу з відомого стану автомобіля (зупинений,
52
напрямлення коліс, координати). Для досягнення нової точки призначення
фільтр генерує вхідні дані, робить прогнози на основі фізичної моделі
автомобіля, враховує сенсорні входи (компас, спідометр, датчик пробігу) і
порівнює прогнози з реальним середовищем.
Фільтр Калмана працює як оптимізатор мінімізації квадратичних помилок,
але для цього вимагає, щоб система всередині фільтра була лінійною. Для оцінки
стану нелінійних систем використовується розширений фільтр Калмана (EKF),
який лінеаризує систему навколо поточного стану і використовує цю
лінеаризовану версію як модель. Однак EKF може бути нестабільним, і для
подолання цього обмеження в АСК автомобіля використовується розширений
фільтр Калмана за станом помилки (ES-EKF).
Роботу ES-EKF можна проілюструвати за допомогою відстеження
положення автомобіля в залежності від часу, як показано на рисунку 3.2.
Рис. 3.2. Відстеження динаміки руху автомобіля з плином часу
На наведеному рисунку, зелена лінія відображає фактичне положення
автомобіля, яке потрібно визначити. Червона лінія представляє собою
номінальний стан або оптимальний прогноз фактичного стану. Цей прогноз
ґрунтується на тому, що відомо про модель руху автомобіля та наявні дані про
53
прискорення та розриви. Завжди існують випадкові шуми процесу, і помилки
моделі руху накопичуються під час інтеграції. Стан помилок представляє місце,
де збираються всі відхилення від моделі та випадкові шуми з часом, що робить
його різницею між номінальним та фактичним станом у будь-який момент часу.
Використовуючи цей стан помилок, можна коригувати номінальний стан,
наближаючись до фактичного.
Таким чином, в Extended Kalman Filter (EKF) стан помилок оцінюється та
використовується як корекція для номінального стану, замість того, щоб
фільтрувати повний нелінійний стан. Математично це означає, що лінеаризована
модель руху зміщується так, щоб вона стала рівнянням, яке вказує, як залежить
різниця між фактичним станом у момент часу k та прогнозованим станом у часі
k від різниці в часі k-1. Обрання ES-EKF для використання у цій дипломній
роботі обумовлене декількома факторами.
Однією з причин є те, що цей метод часто виявляється ефективнішим у
порівнянні зі звичайним EKF, особливо тоді, коли стан невеликих помилок легше
піддається лінійній фільтрації, на відміну від великого номінального стану, який
може інтегруватися нелінійно. Ще однією причиною є те, що формулювання
стану помилок значно полегшує роботу з обмеженими величинами, такими як
обертання.
3.2 Модель автоматизованої системи керування транспортним
засобом
Автомобільна система автоматичного керування складається з
різноманітних складних модулів, які необхідно організувати в єдину систему та
розглянути їх розділення на прості блоки перед переходом до реалізації.
Архітектура системи буде використовувати інформацію, що надається
апаратними компонентами, з метою досягнення головної мети – автономного
керування. Загалом, систему можна розділити на п'ять основних програмних
модулів: модуль сприйняття навколишнього середовища, модуль
картографування навколишнього середовища, модуль планування руху, модуль
54
управління транспортним засобом і, нарешті, системний керівник. Загальна
структура системи представлена на рисунку 3.3.
Рис. 3.3. Загальна схема системи
Це одиниця архітектури програмного забезпечення, яка використовується
для автономного руху, проте вона чітко представляє необхідні функції для
повного автономного керування автомобілем. Загальна схема системи показує,
що автомобіль на вході отримує інформацію від різноманітних датчиків,
спостерігаючи за навколишнім середовищем. Вимірювання цих датчиків
подаються у два модулі, які відповідають за розуміння довкілля автомобіля.
Модулі сприйняття навколишнього середовища ідентифікують розташування
транспортного засобу та класифікують елементи навколишнього середовища,
такі як інші транспортні засоби, пішоходи, дороги і знаки. Модуль
картографування навколишнього середовища створює карти об'єктів для різних
цілей, від уникнення зіткнень до руху та планування руху. Модуль планування
руху вирішує, які дії виконувати та куди рухатися на основі інформації від
модулів сприйняття та картографування, створюючи безпечний та ефективний
шлях. Модуль контролера виконує запланований шлях, визначаючи параметри
керування транспортним засобом, такі як кут повороту та положення гальма.
Супервайзер системи контролю відслідковує роботу всіх модулів та апаратури,
55
забезпечуючи їх правильну взаємодію та виявляючи проблеми для інформування
водія. Таким чином, загальне уявлення про функції основних модулів створює
основу для подальшого детального розгляду кожного модуля.
Спочатку слід розглянути модуль сприйняття навколишнього середовища,
що має дві ключові складові: локалізація транспортного засобу та класифікація
та ідентифікація важливих об'єктів. Локалізаційний модуль використовує
різноманітні дані, такі як GPS, IMU та одометрія, для точного визначення
місцезнаходження автомобіля, і може доповнюватися даними від LIDAR та
камер для підвищення точності. Класифікація та локалізація елементів
середовища поділяються на виявлення динамічних та статичних об'єктів.
Модуль виявлення динамічних об'єктів використовує дані камер та LIDAR для
створення 3D-обмежувальних рамок, кодуючи клас, положення та орієнтацію
об'єктів. Динамічні об'єкти відстежуються модулем відстеження, а модуль
прогнозування використовує історію їх руху для передбачення майбутнього
шляху. Модуль виявлення статичних об'єктів використовує дані камер та LIDAR
для ідентифікації значущих статичних елементів, таких як смуги руху та
регулюючі знаки. Детальну схему цього модуля можна побачити на рисунку 3.4.
Рис. 3.4. Детальна схема модуля сприйняття навколишнього середовища
Тепер, коли ми краще розуміємо, як працює стек сприйняття, перейдемо
до модуля відображення медіа. Існує 3 типи периметрові карти, що
представляють поточне середовище автономного транспортного засобу: карти
56
заповнення, карти локалізації та детальні дорожні карти. Карта заповнення
використовує лідарні дані для створення карти сітки, яка може охоплювати
кожну клітинку. Це дозволяє враховувати невизначеність вимірювання та
постійно покращувати карту з часом. Крім того, карти локалізації, створені за
допомогою лідарів або камер, використовуються для поліпшення оцінки місця
розташування транспортного засобу. Дані датчика порівнюються з цією картою
під час роботи для точного позиціонування, і для її підтримки додається Інша
інформація датчика. Детальні дорожні карти включають ділянки доріг та інші
елементи дорожнього руху, що відображають поточне середовище, в якому
рухаються автономні транспортні засоби. Ця карта використовується для
планування руху та корекції розмітки та розмітки смуг руху. Модулі
картографування та сприйняття взаємодіють для взаємного покращення їхньої
роботи. Наприклад, інформація від модуля сприйняття допомагає оновлювати
детальну дорожню карту, яка в подальшому використовується для створення
точних динамічних прогнозів об'єктів. Таким чином детальну схему модуля
картографування навколишнього середовища можливо побачити на рисунку 3.5.
Рис. 3.5. Картографування навколишнього середовища
57
Тепер давайте детальніше розглянемо, як вихідні дані карти
навколишнього середовища та модуля сприйняття модуля планування руху
об'єднуються та використовуються для створення шляху в навколишньому
середовищі. Планування автономного руху транспортних засобів-складне
завдання, і її рішення складно реалізувати як єдиний процес інтеграції. Таким
чином, більшість автономних транспортних засобів використовують сегрегацію,
яка розбиває проблему на кілька рівнів Абстракції.
На найвищому рівні у вас є планувальник завдань, який виконує
довгострокове планування та визначає завдання на всьому маршруті від вашого
поточного місцезнаходження до кінцевого пункту призначення. Планувальник
завдань визначає оптимальний порядок ділянок шляху, що з'єднують початок і
кінець завдання, і переносить його на наступний рівень.
Рис. 3.6. Детальна схема модуля планування руху
Планувальник поведінки-це наступний рівень абстракції, який вирішує
короткострокові проблеми планування. Він визначає безпечні дії та маневри, які
транспортний засіб повинен виконувати під час виконання завдання. Такі
58
планувальники вирішують, чи слід змінювати смугу руху, наприклад, беручи до
уваги бажану швидкість та очікувану поведінку інших транспортних засобів.
Локальний планувальник виконує негайне або реактивне планування,
визначаючи конкретний профіль маршруту та швидкості. Об'єднайте
інформацію з планувальників поведінки, сіток заповнення, меж руху
транспортних засобів та інших динамічних об'єктів в навколишньому
середовищі, щоб створити заплановану траєкторію, яка представляє бажаний
профіль траєкторії і швидкості на короткий період в майбутньому. Таким чином,
детальну схему модуля планування руху можна побачити на рис. 3.6.
Подумайте про те, як звичайний контролер транспортного засобу
використовує певну траєкторію і перетворює її в повноцінну команду для
керування транспортним засобом. Такі контролери ділять завдання управління
на поздовжнє і поперечне управління. Бічне управління визначає кут повороту,
необхідний для підтримки запланованої траєкторії, а поздовжнє управління
регулює поточну команду, щоб мінімізувати майбутні відхилення, в той час як
контролери дросельної заслінки, перемикання передач і гальма розраховують
поточне відхилення для досягнення бажаної швидкості, а також ефективність
локального відстеження плану. Таким чином детальну схему модуля контролеру
можливо побачити на рис. 3.7.
Рис. 3.7. Деталізована схема модуля контролеру
59
Заключним етапом системи є диспетчер, який безперервно контролює всі
аспекти роботи автономного транспортного засобу і видає відповідні
попередження в разі виходу з ладу підсистеми. Система поділяється на дві
частини: апаратний нагляд та програмний нагляд. Апаратний інспектор
безперервно контролює всі апаратні компоненти для виявлення можливих
несправностей, таких як пошкоджені датчики, відсутні вимірювання,
пошкоджена інформація тощо. Іншим завданням є безперервний аналіз вихідних
даних обладнання, які не відповідають запрограмованій області автономного
транспортного засобу. Наприклад, якщо один з датчиків камери заблокований
паперовим пакетом або йде сніг, це може призвести до спотворення даних хмари
точок лідара. Фахівці з програмного забезпечення також аналізують відмінності
між результатами всіх модулів, щоб переконатися, що всі компоненти працюють
коректно, на правильних частотах і видають повні результати. Таким чином
створюється контрольна діаграма, як показано на рисунку 3.8.
Рис. 3.8. Схема роботи супервайзера
3.3. Практичне застосування автоматизованої системи керування
Проект автопілоту є об'ємним завданням, і його вирішення включає в себе
кілька ключових етапів. Враховуючи здобутий під час написання бакалаврської
роботи досвід і нові уявлення, був розроблений детальний план для реалізації
автоматизованої системи керування транспортним засобом.
60
1. Розробка передньої поздовжньої моделі автомобіля. Розробка моделі,
яка враховує динамічні аспекти руху автомобіля на невеликому схилу. Це
включає в себе врахування даних про рух та їх обробку.
2. Створення та інтеграція контролера для CARLA. Впровадження
контролера, призначеного для симулятора CARLA. Цей контролер повинен
забезпечувати ефективне керування автомобілем по гоночній трасі, враховуючи
поздовжні та поперечні аспекти управління.
3. Налаштування контроля за дроселем, кермом та гальмом. Оптимізація
управління автомобілем з використанням даних, що надходять від CARLA,
зокрема щодо центрального положення автомобіля.
4. Підключення до сервера та встановлення зворотного зв'язку. Взаємодія
з сервером, запуск контролера та встановлення зворотного зв'язку та траєкторії
руху. Ця траєкторія включає інформацію про початкове та кінцеве положення
автомобіля, пройдений шлях і зону інтерполяції для оновлення управління.
5. Оцінка навколишнього середовища та локалізація. Впровадження
методів найменших квадратів та рекурсивного аналога для оцінки траєкторії
руху. Використання розширеного фільтра Калмана для оцінки стану
транспортного засобу за допомогою даних відометрії, дальності та підшипників.
6. Застосування розширеного фільтра Калмана за станом помилки.
Використання розширеного фільтра Калмана для оцінки стану транспортного
засобу на дорозі з використанням даних від симулятора CARLA.
Цей комплексний підхід дозволяє ефективно реалізувати та тестувати
систему автопілоту, враховуючи різноманітні аспекти керування та отримуючи
оптимальні результати в умовах симуляції.
Кожний етап цього проекту розглядається як комплексна задача, що
включає в себе кілька важливих аспектів:
1. Реалізація ES-EKF для корекції кроку. Розроблення та впровадження
фільтра, який використовує дані IMU для часового поширення стану
транспортного засобу та оновлення положення за допомогою GPS та LIDAR.
61
Результати оцінки візуалізуються та порівнюються з фактичним положенням
автомобіля, включаючи передбачуване положення на частині траєкторії.
2. Вивчення впливу помилок калібрування датчика. Дослідження впливу
навмисно внесених змін у трансформацію між LIDAR та IMU на оцінки
положення автомобіля. Аналіз помилок та коригування параметрів фільтра
(дисперсії шуму) для зменшення цих відхилень.
3. Дослідження відмови датчика. Розгляд наслідків втрати зовнішньої
інформації про положення автомобіля (GPS та LIDAR) на короткий період.
Аналіз впливу втрати зовнішніх поправок на дрейф оцінки положення та зміни
невизначеності при недоступності вимірювань датчика.
4. Розробка візуальної одометрії. Створення механізму для локалізації
автопілоту на основі зображень, знімних монокулярною камерою, що
встановлена на транспортному засобі.
5. Окупаційна сіткова генерація. Розробка системи картування на основі
вимірювань сканера LIDAR для створення сітки заповнення. Застосування
ітеративних оновлень для збіжності сітки з справжньою картою в умовах
невідомого середовища.
6. Алгоритм пошуку найкоротших шляхів. Реалізація алгоритму пошуку
найкоротших шляхів дорожньої мережі, спочатку використовуючи алгоритм
Дейкстри, а потім з удосконаленнями за допомогою евристики відстані.
Порівняння отриманого шляху з ручнорозробленим.
7. Реалізація концепцій поведінки та місцевого планування. Завершення
функціонального стеку планування руху, включаючи уникнення перешкод,
обробку знаків зупинки та генерацію профілю швидкості.
8. Аналіз результатів та висновки. Проаналізувати ефективність автопілоту
та зробити висновки на основі отриманих результатів.
Етап-нанесення моделі поздовжнього руху транспортного засобу.
Інструмент використовує час вибірки 10 мс для чисельного інтегрування, щоб
почати рух з початковою швидкістю 5 м / сек і частотою обертання двигуна 100
рад/с. потім були застосовані комбіновані динамічні рівняння двигуна,
62
включаючи рівняння сили в осередках. Після успішної реалізації цієї моделі
можна відправити в автомобіль постійний впорскування дросельної заслінки.
Другим етапом була розробка моделі для ітеративної оцінки положення
транспортного засобу на орбіті з використанням існуючих вимірювань і моделей
руху. Набір даних містить дані з лідара, який надсилає вимірювання грудня та
азимуту до системи, що відповідає окремим орієнтирам у середовищі. Додаток
передбачає, що загальне місце розташування закладки відомо заздалегідь і що
відома кореляція даних, тобто який розмір належить якій закладці.
Оскільки ці моделі нелінійні, розширений фільтр Калмана (EKF)
використовується як оцінка стану. Модель можна розділити на фазу
прогнозування за допомогою вимірювання одометра та моделі руху, фазу
корекції для отримання оцінки стану та коваріації на даному етапі часу та фазу
корекції для оцінки коваріації положення шляхом корекції положення за
допомогою лідарного вимірювання. На етапі корекції реалізована функція
оновлення вимірювань, а на етапі прогнозування реалізований цикл основного
фільтра для визначення кроку прогнозування EKF.
Рис. 3.9. Пара стереозображень з CARLA
63
Далі було необхідно втілити модель для вимірювання стереоглибини в
сценарії водіння. Це сприятиме визначенню відстані до зіткнення з перешкодою.
Модель прийматиме пару стереозображень як вхід. Приклад пари
стереозображень показаний на рисунку 3.9.
Об'єднуючи пару стереозображень, яку можна спостерігати на рисунку 3.9,
отримуємо результат, який відображено на рисунку 3.10.
Рис. 3.10. Поєднані стереозображення
Для визначення різниці у відображенні між двома зображеннями надається
пара стереозображень, і на виході отримується карта невідповідностей з точки
зору лівої камери. Для розрахунку цієї карти невідповідностей використовується
функція StereoSGBM з бібліотеки OpenCV. Перед обчисленням карти
невідповідностей вхідні зображення передаються у сірий формат з RGB за
64
допомогою функції cvtColor з бібліотеки OpenCV. Для наглядності відображення
впливу параметрів та вибору збігу на отриману карту невідповідностей було
виконано візуалізацію, яка представлена на рисунку 3.11.
Рис. 3.11. Візуалізація глибини зображення
Наступна функція розкладає матриці проекції, використовуючи функцію
decomposeProjectionMatrix з бібліотеки OpenCV. Ця функція враховує знаки
діагоналі матриці та коректно регулює зовнішню інформацію. Крім того, вона
надає відомості щодо напрямків камери та осей x, y та z зображень. Хоча
можливо отримати карту глибини для кожного пікселя на сцені, система не
визначає, які з цих пікселів є безпечними (наприклад, дорога) або потенційними
перешкодами (наприклад, мотоциклами). Крім того, крос-кореляція
використовувалася для автоматичного визначення положення перешкод у сцені.
Алгоритм крос-кореляції використовував набір обчислень для кожного пікселя
65
зображення, а для його реалізації була використана оптимізована функція
matchTemplate з OpenCV. На основі отриманої теплової карти для визначення
положення перешкод використовувалася функція minMaxLoc. Результати цього
процесу відображені на рисунку 3.12.
Рис. 3.12. Відображення теплової карти перехресної кореляції
Останнім кроком для впровадження цієї моделі було створення функції для
обрізання області карти глибини, яка відповідає перешкоді, та знаходження
найближчих точок в цьому секторі.
Далі в системі необхідна візуальна одометрія для локалізації автомобіля
під час автономного руху. Це необхідно для оцінювання траєкторії руху
автомобіля за зображеннями, зробленими монокулярною камерою відносно
датасету. Цей процес включає наступні етапи:
1. Вилучення особливостей з фотографій датасету.
66
2. Використання вилучених об'єктів для знаходження відповідностей між
об'єктами на різних фотографіях.
3. Використання знайдених відповідностей для оцінки руху камери між
послідовними фотографіями.
4. Використання приблизного руху камери для побудови траєкторії руху
автомобіля.
Кожен кадр датасету включає зображення RGB, карту глибини та сіру
версію RGB для обчислень. Максимальна відстань до глибини встановлена на
рівні 1000. Це значення глибини вказує, що обраний піксель знаходиться на
відстані щонайменше 1000 метрів від камери, хоча точна відстань цього пікселя
залишається невідомою. При подальшій оцінці траєкторії ці дані можуть
вплинути на її точність. За допомогою цих даних була реалізована функція для
вилучення особливостей.
Після вилучення об'єкта з кожного зображення наступним кроком буде
зіставлення об'єкта з наступним кадром. Для цього використовується функція,
яка аналізує відповідність пари функцій зображенню.
На цьому етапі у вас вже є все необхідне для візуального вимірювання
пробігу автономного транспортного засобу. Отже, настав час оцінити
траєкторію, вивчивши зміни, викликані рухами, записаними на зображенні
автомобільної камери. Для цього була реалізована функція оцінки руху камери
за допомогою пари зображень.
Модель системи, яку ми розробили до цих пір, буде використовуватися для
розпізнавання навколишнього середовища, збору корисної інформації про
навколишнє середовище, необхідної для безпечного управління безпілотними
транспортними засобами, і забезпечення того, щоб можна було уникнути
перешкод в навколишньому середовищі.
На наступному етапі було важливо реалізувати висновок семантичної
сегментації нейронної мережі. Це було необхідно для оцінки тривимірного
простору, визначення смуг руху, фільтрації помилок від детекторів 2D-об'єктів і
визначення відстані від безпілотного транспортного засобу до перешкоди.
67
Для цього використовується функція прогнозування площини землі за
допомогою методу Ransac. Оцінка рухомого простору еквівалентна оцінці
пікселів, пов'язаних з площиною заземлення в сцені. Для цього я використовував
RANSAC для оцінки площини землі в координатах 3D x, y і z, які були
передбачені раніше.
Першим кроком у цьому процесі є обробка результатів семантичної
сегментації для виділення відповідних пікселів, що належать до класу "шлях"
(Індекс відображення дорівнює 7). Координати X, y та z вибраних пікселів потім
використовувались для оцінки площини землі за допомогою RANSAC, що
забезпечує радіаційну стійкість. Процес включав 6 блоків, починаючи з
випадкового вибору точок і закінчуючи перерахунком і поверненням остаточної
моделі літака.
Також були покращені функції просторової візуалізації для 3D-управління.
Однак оцінки дороги було недостатньо, щоб безпілотні транспортні засоби
могли безпечно пересуватися по дорозі. Тому ми реалізуємо функцію для оцінки
смуг, використовуючи результати семантичного розділення. Першим кроком у
цьому процесі є оцінка будь-якого рядка, що відповідає межі пропускної
здатності, на основі результатів семантичного розділення. Такі рядки також
називаються "реченнями" і використовуються для створення зображень,
визначення країв та оцінки рядків для подальшого аналізу.
Під час тестування було виявлено, що модель неправильно розпізнала 1 з
небажаних смуг. Для поліпшення результатів були додані можливості злиття і
фільтрації стрічок. Його завдання-відфільтрувати горизонтальні лінії на
зображенні, об'єднавши непотрібні лінії. Сполучні лінії реалізуються шляхом
угруповання ліній з однаковим нахилом і точками перетину. Горизонтальна лінія
фільтрується в 3 етапи: застосовуючи поріг градієнта, вона приймає градієнт і
фіксує кожен рядок, визначає лінію, нахил якої менше порогового значення, і
групує рядки.
Останнім кроком у вдосконаленні моделі є надання 1 рядка на смугу. Для
цього була застосована екстраполяція смуг руху, що починаються на початку
68
шляху і закінчуються в кінці шляху, а також можливість визначення розмітки
смуги руху поточної смуги руху.
Потім вихідні дані виявлення двовимірних об'єктів використовуються для
визначення мінімальної відстані, на яку зіткнуться об'єкти в сцені. Однак
завдання та точність 2D-детектора ускладнюють завдання. Отже, семантичні
результати сегментації використовуються для визначення допустимих
граничних полів. Потім використовуйте обмежувальну рамку та зображення
глибини, щоб розрахувати мінімальну відстань до удару. Щоб виключити
непотрібні кадри, реалізована функція фільтрації, яка обчислює різницю від
пікселів в прикордонному вікні до мінімальної відстані до центру камери.
Заключним етапом моделі є функція прогнозування, яка обчислює
мінімальну відстань до кожного граничного блоку на вхідному детекторі.
Потім була розроблена картографічна модель для планування. Ця оцінка
створює сітку зайнятості на основі лідарних вимірювань транспортних засобів,
що рухаються в невідомому середовищі. Модель вимірювання зворотного
сканера використовується для відображення цих вимірювань з точки зору
ймовірності заповнення. Після збору достатньої кількості даних зайнята сітка
повинна відповідати фактичній карті навколишнього середовища.
Під час втілення цієї моделі були пройдені наступні етапи:
1. Використання функції LidarScan для вимірювання радіусу дії
транспортного засобу
2. Отримання інформації про зайнятість з вимірювань дальності,
використовуючи модель зворотного сканування.
3. Оновлення журналу зайнятих місць на основі вхідних вимірювань.
Модель зворотного сканера використовує дані сканування лідара для
побудови матриці ймовірності заповнення. Функція "get_ranges" повертає
значення для певного місця розташування транспортного засобу та підшипників
сканера. Потім виконується ініціалізація змінних, необхідних для моделювання,
включаючи початковий стан, серію дій з управління транспортним засобом і
швидкість обертання лідарного сканування. Перешкоди на реальній карті
69
позначені як 1, а вільний простір – як 0. Кожна клітинка на карті переконань m
ініціалізується з ймовірністю працевлаштування 0,5, і на цій карті переконань
обчислюється сітка заповнення журналу.
Наступною моделлю системи є модель планування завдань. Для
декомунізації алгоритм пошуку Дейкстри був реалізований у дорожній мережі в
Берклі, Каліфорнія. Порівняльний аналіз виконується за допомогою алгоритму
для обчислення евристичної відстані для виконання пошуку А*.
Алгоритм Дейкстри використовує чергу з пріоритетами для збереження
вершин і їх відстаней від початку. Граф, що представляє мережу доріг,
використовується як вхід. Результат – це список кортежів, кожен з яких
представляє вихідне ребро та вихідну вершину на іншому його кінці. В ході
реалізації функції пошуку зберігались оптимальні попередники кожної вершини
у словнику попередників для отримання оптимального шляху, як тільки буде
знайдено вузол цілі.
Рис. 3.13. Схема схилу
Алгоритм A* використовував справжні дані карти, перетворені у формат
для обчислення відстані. Кожній точці даних були привласнені координати
(x,y,z) на землі.
70
Виконання поздовжньої моделі транспортного засобу було протестоване
на наборі вхідних даних, які включають рух по невеликому нахилу дороги. Для
цього був вибраний нахил, представлений на рисунку 3.13.
Для подолання цього схилу передбачено використання трапецієподібного
відкриття дросельної заслонки протягом наступних 20 секунд, як зображено на
рисунку 3.14.
Рис. 3.14. Передбачений вхід дроселя протягом 20 секунд
Автомобіль розпочинає свій рух з відкриттям дросельної заслонки на 20%,
і це значення поступово збільшується до 50% протягом 10 секунд, коли
транспортний засіб подолає крутий схил. Після цього автомобіль поступово
зменшує відкриття дросельної заслонки до 0%. У результаті проведеного
тестування отримані наступні показники:
71
Рис. 3.15. Результати тестування
Враховуючи отримані результати, можна зазначити, що реалізація
поздовжньої моделі транспортного засобу виконана коректно.
Висновки до розділу 3
Розроблена автоматизована система керування безпілотним транспортним
засобом використовує симулятор CARLA для реалізації та тестування. Модулі
сприйняття навколишнього середовища, картографування, планування руху,
контролю транспортного засобу та супервізії взаємодіють, щоб забезпечити
навігацію і безпеку в автономному режимі. Тестування в симуляторі забезпечує
ефективність та безпеку роботи системи.
Зокрема, модуль сприйняття навколишнього середовища використовує
різноманітні сенсори, такі як GPS, IMU, LIDAR і камери, для точного визначення
положення транспортного засобу та ідентифікації об'єктів у навколишньому
середовищі. Модуль картографування створює різні типи карт, включаючи карту
72
заповнення, карту локалізації та детальну дорожню карту, для ефективного
планування руху та уникнення перешкод.
Планування руху в системі вирішується за допомогою декомпозиції на
різні рівні, такі як планувальник місій, планувальник поведінки та місцевий
планувальник. Це дозволяє системі ефективно працювати в різних сценаріях та
робити оптимальні рішення з урахуванням довгострокових та короткострокових
цілей. Контролер транспортного засобу відповідає за трансформацію заданої
траєкторії в точні команди для керування транспортним засобом. Він ефективно
вирішує завдання поздовжнього та бічного управління, мінімізуючи помилки в
роботі системи та забезпечуючи стабільність руху.
Усі ці компоненти створюють інноваційний підхід до автономного
керування, відкриваючи перспективи для подальших досліджень та
імплементації в сфері автономного транспорту.
73
ВИСНОВКИ
В результаті проведених досліджень вирішуються важливі науково-
технічні завдання з розробки методів та інформаційних технологій
автоматизованого планування траєкторії руху безпілотних транспортних засобів
з метою підвищення ефективності руху об'єктів.
У пошуках динамічних об'єктів, на відміну від існуючого підходу, був
розроблений вдосконалений метод автоматичного планування руху, що враховує
невизначеність дій. Метод автоматичного планування маршруту при пошуку
стаціонарних об'єктів був розроблений з урахуванням взаємозв'язку структури
стаціонарних об'єктів на різних топологічних рівнях і їх важливості в загальній
структурі, що дає змогу оцінити продуктивність системи.
Інформаційні технології, пов'язані з автоматичним плануванням дій
безпілотних транспортних засобів, отримали подальший розвиток. На відміну
від існуючого підходу, ця технологія враховує результати розпізнавання об'єктів
і дозволяє змінювати маршрут в режимі реального часу. Розроблені і
вдосконалені моделі та методи мають нові властивості і дозволяють вирішувати
поставлені наукові завдання.
Достовірність отриманих результатів залежить від правильного
використання математичних пристроїв, аналізу умов і факторів, що впливають
на процес планування поведінки БТЗ, і результатів фундаментальних
теоретичних досліджень. Впровадження вдосконаленого методу автоматичного
планування маршруту в пошуках динамічних об'єктів дозволило прискорити
процес планування поведінки БТЗ. Можливість виявлення об'єктів в різних
топографічних регіонах. Застосування автоматизованого методу планування
маршруту при пошуку стаціонарних об'єктів в системі підтримки прийняття
рішень дозволяє тримати оцінку положення стаціонарних об'єктів, обґрунтувати
і оптимізувати вагу об'єктів. Впровадження інформаційних технологій для
автоматичного планування дій БТЗ дозволяє швидко змінювати маршрут при
74
виконанні завдання відповідно до розпізнаних зображень і створення
архітектури перспективної інтелектуальної системи підтримки прийняття
рішень для систем управління БТЗ. Іншою областю досліджень може бути
розробка моделей і методів інтелектуального управління окремими БТЗ.
Підводячи підсумок, можна сказати, що отримані результати дозволяють
врахувати вирішені, сформульовані науково-технічні завдання і досягнуті цілі.
75
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ
1. Acuna D., Ling H., Kar A., Fidler S. Efficient Interactive Annotation of
Segmentation Datas with Polygon-RNN++; Матеріали конференції
IEEE/CVF 2018 року щодо комп’ютерного зору та розпізнавання шаблонів;
Солт -Лейк - Сіті, Юта, США. 18–23 червня 2018 р .; С. 859–868
2. Alexander Amini, Igor Gilitschensk. Learning Robust Control Policies for End-
to-End Autonomous Driving From Data-Driven Simulation. IEEE Robotics and
Automation Letters, vl. 5, no. 2, April 2020. DOI: 10.1109/LRA.2020.2966414.
3. Automated and Autonomous Driving, Regulation under Uncertainty, Corporate
Partnership Board Report, 2019. URL: www.internationaltransportforum.org
(дата звернення: 25.10.2023).
4. Bailey N. R., Scerbo M. W. Automation-induced complacency for monitoring
highly reliable systems: the role of task complexity, system experience, and
operator trust, 2017. 321–348.
5. Bartels A., Eberle U., Knapp A. Automated Driving Applications and
Technologies for Intelligent vehicles, 2019. URL: https://www.adaptive-ip.eu/
(дата звернення: 29.10.2023).
6. Beggiato M., Krems J. F. The evolution of mental model, trust and acceptance
of adaptive cruise control in relation to initial information. Transportation
Research Part F: Traffic Psychology and Behaviour, 2020. 47–57.
7. Cai W., Zhang M., Zheng YR Призначення завдань та планування маршруту
для кількох автономних підводних транспортних засобів за допомогою 3D-
кривих Дубіна. Сенсори. 2017; 17: 1607.
8. Cestac J. Intention to use a fully automated car: Attitudes and a priori
acceptability, 2019. – Р. 252–263.
9. Computer Vision at Tesla. URL:
https://www.thinkautonomous.ai/blog/computer-vision-at-tesla/ (дата
звернення 24.09.2023)
76
10. Davis F. D., Bagozzi R. P., Warshaw P. R. User Acceptance of Computer
Technology: A Comparison of Two Theoretical Models. Management Science,
2019. 982–1003.
11. Du N. Predicting Takeover Performance in Conditionally Automated Driving.
Conference: 38rd ACM Conference on Human Factors in Computing Systems.
2020. P. 1-8. DOI: https://doi.org/10.1145/3334480.3382963.
12. Dynamic Routing For Autonomous Vehicles: патент WO2018093754 США:
МПК G08G 1/0968 2006.1. № 061478, заявл. 14.11.2017, опубл. 24.05.2018.
URL: https://patentscope.wipo.int/search/en/detail.jsf?docId=WO2018093754
(дата звернення 24.10.2023)
13. Efficient Algorithm For Projecting World Points To A Rolling Shutter Image:
патент WO2021113147 США: МПК G01S 17/892006.1. № 062365, заявл.
25.11.2020, опубл. 10.06.2021. URL: https://patentscope.wipo.int/search/en/
detail.jsf?docId=WO2021113147 (дата звернення 24.10.2023)
14. Elaine L. Chao. National Highway Traffic Safety Administration URL:
https://www.nhtsa.gov/ (дата звернення: 20.10.2023).
15. Endsley M. R. The out-of-the-Loop performance problem and level of control
in automation. Human Factors, 2021. Р. 381–394.
16. Ghazizadeh M. Extending the Technology Acceptance Model to assess
automation. Cognition, Technology, 2019. Р. 39–49.
17. Google-Tochter kauft 62.000 Robotertaxis. URL:
https://www.spiegel.de/auto/aktuell/google-tochter-waymo-kauft-62-000-
roboter-taxisa-1210623.html (дата звернення 10.09.2023)
18. Hodson H. Driverless cars in gridlock. New Scientist, 2019. – Р. 20–21.
19. Hoff K. A., Bashir M. Trust in Automation: Integrating Empirical Evidence on
Factors That Influence Trust. Human Factors, 2018. – Р. 407–434.
20. Introducing DRIVE PILOT: An Automated Driving System for the Highway.
2019. – Р. 23-35.
21. Kyriakidis M. Public Opinion on Automated Driving: Results of an International
Questionnaire Among 5,000 Respondents, 2019. – Р. 127-140.
77
22. Learner H. Autonomous Vehicles: Ways to Improve Safety and Accelerate
Environmental Progress Together, 2019 URL: http://elpc.org/tag/autonomous-
vehicles/ (дата звернення: 23.10.2023).
23. Li Chen, Tutian Tang. “Level 2 Autonomous Driving on a Single Device: Diving
into the Devils of Openpilot” 16. comma.ai introduces comma three with 360°
vision. URL: https://blog.comma.ai/comma-three-press-release/ (дата
звернення 15.09.2023)
24. LiDAR vs. Cameras for Self Driving Cars. URL:
https://www.autopilotreview.com/lidar-vs-cameras-self-driving-cars/ (дата
звернення 29.10.2023)
25. Mercedes Will Be Legally Responsible While Drive Pilot System Is Engaged.
URL: https://cleantechnica.com/2022/03/23/mercedes-will-be-legallyrespon
sible-while-drive-pilot-system-is-engaged/ (дата звернення 15.10.2023)
26. Simulated environments for autonomous vehicle training. URL:
https://unity3d.com/simulated-environments-for-autonomous-vehicle-training
(дата звернення 15.10.2023).
27. Tesla explains how the Full Self-Driving sausage is made. URL:
https://www.cnet.com/roadshow/news/tesla-ai-day-full-self-driving-explainer/
(дата звернення 14.10.2023)
28. Tesla's Autopilot Self-Driving Automobile Technology. URL:
https://www.jameco.com/Jameco/workshop/Howitworks/how-it-works-tesla-
autopilotself-driving-automobile-technology.html (дата звернення 24.10.2023)
29. Ван Дж. Набір даних водіння LiDAR-Video: Ефективне навчання політиці
керування автомобілем; Матеріали конференції IEEE/CVF 2018 року щодо
комп’ютерного зору та розпізнавання шаблонів; Солт -Лейк -Сіті, Юта,
США. 18–23 червня 2018 р .; С. 5870–5878.
30. Вей К. Метод динамічного планування шляхів автономного уникнення
перешкод роботизованим маніпулятором на основі вдосконаленого
алгоритму RRT. Сенсори. 2018; 18: Р. 571
78
31. Гонсалес Д. Огляд методів планування руху для автоматизованих
транспортних засобів. IEEE Trans. Інтелл. Трансп. Сист. 2019; 17: Р. 1135–
1145
32. Зоф Б. QV Навчання переданих архітектур для масштабованого
розпізнавання зображень; Матеріали конференції IEEE/CVF 2018 року
щодо комп’ютерного зору та розпізнавання шаблонів; Солт -Лейк -Сіті,
Юта, США. 18–23 червня 2018 р .; С. 8697–8710.
33. Мамішев Е. І. Порівняння методів керування безпілотними автомобілями
// Радіоеектроніка та молодь у ХХІ столітті. Тези доповідей 27-го
Міжнародний молодіжний форуму 10 – 12 травня 2023 року.– Харків, 2023,
т. 6, ч. 1. c. 397.
34. Монтемерло М. Перемога у грандіозному виклику DARPA за допомогою
робота –штучного інтелекту; Матеріали 21-ї національної конференції з
питань штучного інтелекту; Бостон, Массачусетс, США. 16–20 липня
2020 р .; С. 982–987.
35. Наварро А. Розробка стратегії автономного управління транспортними
засобами з використанням однієї камери та глибоких нейронних мереж.
SAE; Warrendale, PA, США: 2018. Технічний документ SAE № 2018-01-
0035
36. Паден Б. Огляд методів планування руху та керування для міських
транспортних засобів, що керують автомобілем. IEEE Trans. Інтелл. Veh.
2018 – Р. 1: 33–55.
37. Раджкумар Р. Р. Багатоядерна термоядерна система для виявлення та
відстеження рухомих об’єктів у міських умовах водіння; Матеріали
Міжнародної конференції IEEE 2018 року з робототехніки та автоматизації
(ICRA); Гонконг, Китай. 31 травня – 7 червня 2018 р .; С. 1836–1843.
38. Сегеді С. Заглиблюючись із звивинами; Матеріали конференції IEEE з
комп'ютерного зору та розпізнавання шаблонів; Бостон, Массачусетс,
США. 7–12 червня 2019 р. – С. 1–9.
79
39. Смеляков С. В. Modelling of the space of paths in problems of constructing
optimal trajectories. URL: https://doi.org/10.1016/S0041-5553(83)80009-3
(дата звернення 21.10.2023)
40. Сун Ю. Розширений підхід обрізання зображення з камери для наскрізного
керування на стійкій обчисленні на основі CNN. Стійкість. 2018; 10: –
Р. 816
41. Суцкевер І. Класифікація іміджевої мережі з глибокими згортковими
нейронними мережами. В: Перейра Ф., Burges CJC, Bottou L., Weinberger
KQ. Досягнення нейронних систем обробки інформації. Фонд систем
нейронної обробки інформації, Inc.; Ванкувер, Британська Колумбія,
Канада: 2021. С. 1097–1105.
42. Уоллес Р. Перші результати роботи-слідування по дорозі; Матеріали 9-ї
міжнародної спільної конференції з питань штучного інтелекту; Лос-
Анджелес, Каліфорнія, США. 18–23 серпня 2017 р.
43. Чавес-Гарсія Р. О.. Злиття та класифікація кількох сенсорів для виявлення
та відстеження рухомих об’єктів. IEEE Trans. Інтелл. Трансп. Сист. 2020;
17: – Р. 525–534.