Please use this identifier to cite or link to this item:
https://er.chdtu.edu.ua/handle/ChSTU/8947| Title: | Підвищення ефективності систем попередження аварійних ситуації на основі моніторингу водія |
| Authors: | Шльончак , Ігор Анатолійович Хвиль, Ярослав Романович |
| Issue Date: | 2022 |
| Abstract: | Пояснювальна записка 95 с., 27 рис., 8 табл., 56 джерел посил. Метою роботи є підвищення ефективності системи моніторингу поведінки водія за рахунок розробки моделей і алгоритмів попередження аварійних ситуацій у кабіні ТЗ та генерації контекстно-орієнтованих рекомендацій з використанням фронтальної камери та сенсорів смартфону. Для досягнення поставленої мети необхідно вирішити наступні задачі: 1. Проаналізувати та порівняти існуючі системи активної безпеки на основі моніторингу поведінки водія та формулювання основних вимог до них. 2. Розробити вимоги до побудови розподіленої системи попередження аварійних ситуацій (РСПАС) на основі моніторингу водія. 3. Використати контекстно-орієнтований підхід для створення розподіленої системи попередження аварійних ситуацій на основі моніторингу водія, що враховує поточний контекст про водія та транспортний засіб (ТЗ). 4. Розробити моделі системи попередження аварійних ситуацій та контекстно-орієнтованих рекомендацій для водія ТЗ. 5. Розробити алгоритм розпізнавання небезпечної поведінки водія при керуванні ТЗ, ослабленої уваги водія під час руху ТЗ та генерації йому персоналізованих рекомендацій на основі інформації з фронтальної камери та сенсорів смартфону про поточну ситуацію, у якій перебуває водій та транспортний засіб. |
| URI: | https://er.chdtu.edu.ua/handle/ChSTU/8947 |
| Appears in Collections: | 274 Автомобільний транспорт (Автомобільний транспорт) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Хвиль.pdf Restricted Access | 2.24 MB | Adobe PDF | View/Open Request a copy |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.
Extracted text
Міністерство освіти і науки України
Черкаський державний університет (ЧДТУ)
18006, м. Черкаси, бул. Шевченка, 460, тел./факс (0472) 71 00 92
ЗАТВЕРДЖУЮ
зав. кафедри автомобілів та
технологій їх експлуатації, доцент
______________ Л.А. Тарандушка
«___» __________________2022 р.
КВАЛІФІКАЦІЙНА РОБОТА МАГІСТРА
ПІДВИЩЕННЯ ЕФЕКТИВНОСТІ СИСТЕМ
ПОПЕРЕДЖЕННЯ АВАРІЙНИХ СИТУАЦІЇ НА ОСНОВІ
МОНІТОРИНГУ ВОДІЯ
Рецензент:
_______________ _____________
(підпис), (дата) (Ініціали, прізвище)
Керівник роботи:
доц. кафедри АТЕ _______________ І.А. Шльончак
(підпис), (дата) (Ініціали, прізвище)
Виконавець:
студент 2 курсу, гр. мАВ-73
спеціальності 274 – Автомобільний
транспорт _______________ Я.Р. Хвиль
(підпис), (дата) (Ініціали, прізвище)
2022
2
3
РЕФЕРАТ
Пояснювальна записка 95 с., 27 рис., 8 табл., 56 джерел посил.
Метою роботи є підвищення ефективності системи моніторингу поведінки
водія за рахунок розробки моделей і алгоритмів попередження аварійних ситуацій
у кабіні ТЗ та генерації контекстно-орієнтованих рекомендацій з використанням
фронтальної камери та сенсорів смартфону.
Для досягнення поставленої мети необхідно вирішити наступні задачі:
1. Проаналізувати та порівняти існуючі системи активної безпеки на основі
моніторингу поведінки водія та формулювання основних вимог до них.
2. Розробити вимоги до побудови розподіленої системи попередження
аварійних ситуацій (РСПАС) на основі моніторингу водія.
3. Використати контекстно-орієнтований підхід для створення розподіленої
системи попередження аварійних ситуацій на основі моніторингу водія, що
враховує поточний контекст про водія та транспортний засіб (ТЗ).
4. Розробити моделі системи попередження аварійних ситуацій та
контекстно-орієнтованих рекомендацій для водія ТЗ.
5. Розробити алгоритм розпізнавання небезпечної поведінки водія при
керуванні ТЗ, ослабленої уваги водія під час руху ТЗ та генерації йому
персоналізованих рекомендацій на основі інформації з фронтальної камери та
сенсорів смартфону про поточну ситуацію, у якій перебуває водій та
транспортний засіб.
4
Зміст
ПЕРЕЛІК УМОВНИХ СКОРОЧЕНЬ ............................................................................ 6
ВСТУП .............................................................................................................................. 7
РОЗДІЛ 1 СИСТЕМИ АКТИВНОЇ БЕЗПЕКИ МОНІТОРИНГУ ПОВЕДІНКИ
ВОДІЯ ТА ДОРОЖНЬОЇ ОБСТАНОВКИ ................................................................... 9
1.1 Поняття системи активної безпеки ...................................................................... 9
1.2 Аналіз існуючих проектів і досліджень по розробці систем забезпечення
безпеки та підтримки водіїв ...................................................................................... 15
Висновок до першого розділу ................................................................................... 30
РОЗДІЛ 2 ТЕХНІЧНЕ ОБЛАДНАННЯ ТА ВИМОГИ ДО ПОБУДОВИ
РОЗПОДІЛЕНОЇ СИСТЕМИ ПОПЕРЕДЖЕННЯ АВАРІЙНИХ СИТУАЦІЙ ...... 32
2.1 Технічне обладнання та програмні алгоритми, що застосовуються при
розробці систем активної безпеки водія .................................................................. 32
2.2 Вимоги до побудови розподіленої системи попередження аварійних ситуацій
на основі моніторингу водія...................................................................................... 35
Висновок до другого розділу .................................................................................... 40
РОЗДІЛ 3 ПІДХІД ДО МОДЕЛІ ПОБУДОВИ КОНТЕКСТНО-ОРІЄНТОВАНОЇ
СИСТЕМИ ПОПЕРЕДЖЕННЯ АВАРІЙНИХ СИТУАЦІЙ НА ОСНОВІ
МОНІТОРИНГУ ПОВЕДІНКИ ВОДІЯ ...................................................................... 42
3.1 Принципи побудови системи попередження аварійних ситуацій при водінні
на основі огляду існуючих проектів та досліджень ............................................... 42
3.2 Контекстно-орієнтований підхід до створення розподіленої системи
попередження аварійних ситуацій ........................................................................... 45
3.3 Інформаційна модель профілю водія ТЗ............................................................ 50
3.4 Моделі системи попередження аварійних ситуацій і розробка контекстно-
орієнтованих рекомендацій для водія ТЗ ................................................................ 53
3.5 Аналіз хмарного середовища, що здійснює зберігання, аналіз та обробку
інформації користувача ............................................................................................. 57
Висновки до третього розділу .................................................................................. 60
5
РОЗДІЛ 4 РОЗРОБКА АЛГОРИТМУ СИСТЕМИ ПОПЕРЕДЖЕННЯ
АВАРІЙНИХ СИТУАЦІЙ НА ОСНОВІ МОНІТОРИНГУ ПОВЕДІНКИ ВОДІЯ 62
4.1 Визначення небезпечної поведінки водія .......................................................... 62
4.2 Розробка системи попередження аварійних ситуацій ...................................... 67
4.3 Розробка алгоритму розпізнавання небезпечної поведінки водія при
керуванні ТЗ ................................................................................................................ 71
4.4 Алгоритм генерації рекомендацій водієві ТЗ при виявленні небезпечної
поведінки ..................................................................................................................... 84
4.5 Алгоритм калібрування системи на основі даних з камери, сенсорів та
налаштувань смартфону водія .................................................................................. 87
Висновки до четвертого розділу ............................................................................... 90
ЗАГАЛЬНИЙ ВИСНОВОК .......................................................................................... 91
ПЕРЕЛІК ДЖЕРЕЛ ПОСИЛАННЯ ................... Помилка! Закладку не визначено.
6
ПЕРЕЛІК УМОВНИХ СКОРОЧЕНЬ
ДТП - дорожньо-транспортні пригоди;
ІПДШ - інформування про перевищення дозволеної швидкості;
МСГР - мобільні системи генерації рекомендацій;
РСПАС - розподілена система попередження аварійних ситуацій;
САБ - система активної безпеки;
САПФ - функція автоматичного перемикання фар;
СВПВ - система виявлення пішоходів і велосипедистів;
СВСР - система втримання автомобіля в смузі руху;
СКДБД - система контролю за дотриманням безпечної дистанції;
СКС - система контролю сонливості;
СКСЗ - система контролю сліпих зон;
СКУ- система контролю уваги;
СПЗС - система попередження про зміщення зі смуги;
СПФЗ - система попередження про фронтальне зіткнення;
СРДЗ - система розпізнавання дорожніх знаків;
СССВ - сучасні системи сприяння водієві;
ТЗ - транспортний засіб;
ШГР - шкірно-гальванічні реакції;
IDC - International Data Corporation.
7
ВСТУП
Дорожньо-транспортні пригоди (ДТП) наносять значний соціально-
економічний збиток, що стосується здоров'я та життя людей в усьому світі. В
останні роки збиток від ДТП перевищує збиток від всіх інших транспортних подій
(за участю літаків, кораблів, потягів, та ін.) разом взятих [1]. Дорожньо-
транспортні події є однією із серйозних загроз здоров'ю та життю людей в усьому
світі. Проблема ускладнюється і тим, що потерпілі в аваріях – як правило, молоді
та здорові (до аварії) люди. По даним Всесвітньої організації охорони здоров'я [2],
щорічно у світі в результаті ДТП гине близько 1,25 млн. чоловік і до 50 млн.
одержують не смертельні травми.
Кількість ДТП, що викликані станом втоми або ослабленням уваги [4] водія
за кермом транспортних засобів (ТЗ), з кожним роком росте й приводить до
травматизму серед населення у всьому світі. Багато водіїв за кермом автомобіля
відчувають почуття втоми або ослабленої уваги, і вони навіть не підозрюють про
те, що перебувають у такому стані. Згідно зі звітом організації National Highway
Traffic Safety Administration до дев'яти відсотків ДТП викликано утомою водіїв за
кермом ТЗ [5]. Згідно з дослідженням [9] організації AAA Foundation for Traffic
Safety, що присвячене аналізу поведінки водія при водінні в напівсонному стані,
нетривалий сон у два рази збільшує ризик аварії в порівнянні з тими, хто спав
рекомендовані сім і більше годин. Імовірність потрапляння в ДТП водіїв, у яких
сон триває менше чотирьох годин, збільшується в 11,5 разів; від чотирьох до п'яти
годин – збільшується в 4,3 разів; від п'яти до шести годин – в 1,9 разів; від шести до
семи годин – в 1,3 разів. Дослідження показало, що неповноцінний сон, і як
наслідок уповільнення швидкості реакції та стан сонливості може бути настільки
ж небезпечним, як і стан алкогольного сп'яніння - уповільнена реакція та
зниження концентрації уваги.
У якості розв'язку даної проблеми науковим співтовариством був
запропонований підхід до розробки систем активної безпеки (САБ), що
спрямований на запобігання аварійних ситуацій на основі моніторингу поведінки
водія ТЗ і своєчасного сповіщення водія про поточну ситуацію за рахунок
8
генерації йому контекстно-орієнтованих рекомендацій. Моніторинг небезпечної
поведінки [11] за кермом може допомогти звернути увагу водія на стиль свого
водіння та пов'язані з цим ризики, тим самим знизити відсоток необережного
водіння та поліпшити навики безпечної поведінки на дорозі.
Технології підвищення активної безпеки отримали широке поширення у
вигляді інтегрувальних програмно-апаратних систем підвищення безпеки водія в
автотранспортних засобах. Незважаючи на те, що сучасні системи сприяння
водієві (СССВ) дозволяють досягти високої точності, повноти та швидкості
розпізнавання небезпечних дорожніх ситуацій за рахунок використання
багатокамерних систем разом з радарами та лазерними далекомірами, такі
системи залишаються недоступні для більшої кількості ТЗ, а їх вартість є високою
в порівнянні із мобільними системами генерації рекомендацій (МСГР),
відеореєстраторами та переносними приладами. Використання алгоритмів
персоналізації поведінки та стилю водіння того або іншого водія на основі
статистики керування ТЗ із використанням дистанційного сервісу дозволить
розширити можливості МСГР і розробити розподілену систему попередження
аварійних ситуацій (РСПАС), що враховує інформацію про профіль водія, ТЗ,
попередній досвід використання системи та статистику взаємодії між іншими
учасниками і системою, що у свою чергу відрізняє дане рішення від існуючих
відеореєстраторів та переносних приладів. Серед можливих варіантів інтеграції
даної системи можна виділити бортову систему автомобіля та мобільний додаток
на смартфоні. Однак, вбудовування системи РСПАС у бортову систему ТЗ на
етапі виробництва є високовартісним.
Таким чином, розробка системи моніторингу поведінки водія, що здійснює
визначення небезпечної поведінки водія в кабіні ТЗ та його попередження про
можливість виникнення аварійної ситуації за рахунок генерації контекстно-
орієнтованих рекомендацій з використанням смартфона, є актуальним і
затребуваним завданням.
9
РОЗДІЛ 1 СИСТЕМИ АКТИВНОЇ БЕЗПЕКИ МОНІТОРИНГУ
ПОВЕДІНКИ ВОДІЯ ТА ДОРОЖНЬОЇ ОБСТАНОВКИ
1.1 Поняття системи активної безпеки
На сьогоднішній день майже кожен новий автомобіль, що поставляється із
заводу виготовлювача, комплектується тією чи іншою мірою засобами пасивної
(ремені безпеки, подушки безпеки і т.п.) і активної (антиблокувальна система,
система курсової стійкості, система контролю рядності руху і т.п.) безпеки [12, 13,
14, 15]. Якщо пасивні системи безпеки спрацьовують уже після настання
дорожньо-транспортного випадку, то активні вступають у дію заздалегідь і
намагаються запобігти, або уникнути зіткнення. Розглянуті далі системи безпеки
будуть належати до категорії систем активної безпеки. Всі системи безпеки
спостереження за поведінкою водія та дорожньої ситуації можна розділити на
СССВ, МСГР, відеокамери, встановлені всередині ТЗ (автомобільні
відеореєстратори, окреме обладнання відеоспостереження, спрямовані на водія
або дорогу) та переносне обладнання електроніки (рис. 1.1).
Рисунок 1.1 – Класифікація систем активної безпеки водія
СССВ є класом систем, що існують у вигляді апаратно-програмних
комплексів (камери, сенсори, датчики, чіпи та т.п.) та націлені на надання
допомоги водієві з метою запобігання ДТП або пом'якшення їх наслідків. Дані
системи встановлюються в автомобілі переважно на заводах автовиробниках.
Попереджуючі сигнали високої пріоритетності надаються цими системами для
стимулювання пильності та своєчасних і належних дій водія в ситуаціях, коли
10
може мати місце, або безпосередньо існує небезпека виникнення серйозних
ушкоджень, загибелі людей. До технологій, що становлять СССВ, можна віднести
такі як система втримання автомобіля в смузі руху, система попередження про
перевищення швидкісного режиму, система моніторингу сліпих зон.
Враховуючи статистику [16], згідно з якою кількість користувачів смартфонів
перевищить поділку в 5 млрд. до 2022 р. і доповідь від аналітичної компанії
International Data Corporation (IDC) [17], що відзначає стійкий споживчий попит на
смартфони на території України, можна судити про широку поширеність та
доступність мобільних пристроїв (смартфонів) серед людей в усьому світі. МСГР
є категорією систем безпеки водія, що розробляється на основі програмних рішень
у вигляді мобільних додатків і надалі встановлюється на смартфон з додатків
(Google Play [18] для пристроїв Android/Apple App Store [19] для пристроїв IOS).
Одним з найбільш популярних мобільних додатків у сфері систем активної
безпеки є iОnRoad [20]. Додаток активує вбудовану камеру, GPS та сенсори для
виявлення автомобілів, що їдуть попереду, та попередження водія у випадку
виникнення небезпеки. Дана система фіксує об'єкти, що знаходяться попереду
автомобіля в реальному часі, обчислюючи поточну швидкість за допомогою
сенсорів. При виникненні небезпеки з’являється звукове та графічне
попередження про можливість зіткнення, дозволяючи водієві вчасно
загальмувати. Варто відзначити, що мобільні додатки мають ряд недоліків.
Головним з них є те, що мобільні додатки не можуть втручатися в процес
керування ТЗ і тим самим швидше реагувати на аварійні ситуації, що виникають
під час руху. Іншим недоліком такого роду рішень є те, що точність розпізнавання
небезпечних випадків помітно нижча в порівнянні зі СССВ.
У порівнянні із СССВ автомобільні відеорегістратори, пристрої
відеоспостереження та обладнання переносної електроніки є більш доступним
варіантом використання систем активної безпеки. У першому випадку внутрішні
відеокамери активують процесор та камеру для спостереження тільки за
обстановкою попереду ТЗ, реалізуючи такі функції як, контроль сходження зі
смуги руху. У цьому випадку, камера самостійно контролює дорожню розмітку та
відтворює звуковий сигнал, якщо автомобіль перетинає розмітку. Так, наприклад,
11
деякі моделі відеорегістраторів від компанії Garmin [21] здійснюють не тільки
відеозапис дорожньої обстановки, але і контроль за безпекою пересування ТЗ.
Також мають функції попередження про виїзд за межі смуги руху або про
небезпечне зближення із авто, що рухається попереду. Огляд переносних засобів
електроніки показав, що дана категорія пристроїв здійснює моніторинг в салоні
автомобіля за поведінкою водія. Знімаючи електроміограму та
електроенцефалограму водія в режимі реального часу або фіксуючи зміну шкірно-
гальванічної реакції (ШГР) [22], прилади переносної електроніки вимірюють
ступінь сонливості водія, завчасно попереджаючи його за допомогою звукового
чи вібросигнала. Одним із прикладів таких приладів є наручний браслет із
вбудованим датчиком, вироблений компанією Нейроком [23] для підтримки
працездатності водія шляхом виявлення настання у нього стану сонливості за
результатами вимірів КГР і завчасного сповіщення його про ризик виникнення
потенційно небезпечної ситуації.
Безпека дорожнього руху визначається не тільки дорожніми умовами,
технічним станом ТЗ і дотриманням правил дорожнього руху, але також
навичками, фізичним станом, здатністю концентруватися та дотриманням заходів
безпеки водіями [14].
Світовими виробниками легкових і вантажних автомобілів розробляється
окремий клас сучасних систем спостереження за станом водія та дорожньою
обстановкою [15] як СССВ, що представляє собою апаратно-програмні комплекси
та здатний підвищити рівень безпеки дорожнього руху на дорогах загального
користування. Функції СССВ можна класифікувати в такий спосіб:
− адаптивні системи на основі вхідних даних від зовнішнього середовища;
− автоматизовані системи, що виконують функції, які водій не може
виконувати безпечно;
− моніторингові системи, що використовують у своїй роботі датчики, камери
та інші засоби для спостереження за простором навколо автомобіля, що
приймають рішення необхідності втручання в керування ТЗ;
− попереджуючі системи, що повідомляють водія про потенційні аварійні
12
ситуації під час керування автомобілем.
При високопріоритетному попередженні водія схема роботи системи
активної безпеки в загальному випадку може бути описана наступною
послідовністю команд «сприйняття – реагування»: виявлення можливості
зіткнення ТЗ, система виводить інформацію про можливе зіткнення при
відсутності належної реакції у водія ТЗ, сповіщення про аварійну ситуацію за
допомогою попереджувального сигналу та опрацювання рекомендації із
запобігання ДТП, залучення уваги водія, усвідомлення (ідентифікація) водієм
аварійної ситуації, вибір рішення, реагування та прийняття водієм заходів по
запобіганню ДТП.
Можна виділити найбільш популярні технології, з яких складаються сучасні
системи допомоги водієві: система контролю сліпих зон (СКСЗ); система
попередження про зміщення зі смуги (СПЗС), що розраховує час до перетинання
розмітки та попереджує водія у випадку виявлення зміщення; система виявлення
пішоходів і велосипедистів (СВПВ); система розпізнавання дорожніх знаків
(СРДЗ); система попередження про фронтальне зіткнення та пом'якшення
наслідків аварії (СПФЗ); система контролю за дотриманням безпечної дистанції
(СКДБД).
Дані системи призначені завчасно допомогти водіям ТЗ запобігти
виникненню дорожньо-транспортного випадку або пом'якшити його наслідки.
Згідно із прогнозом McКinsey Global Institute [26] середньорічні темпи зростання
ринку систем допомоги водієві до 2025 року можуть скласти більше 11 мільярдів
доларів США. У тому числі автоматизовані системи допомоги водієві знайшли
застосування також і на рейковому транспорті, що дозволяє безперервно
відслідковувати працездатність машиніста поїзда під час руху незалежно від часу
доби.
Серед систем безпеки, встановлених на рейковому транспорті, активно
застосовується система моніторингу стану машиніста та екстреного гальмування
[7], орієнтована на підвищення безпеки руху та поліпшення умов водіння поїздів.
На даний момент проводиться досить багато досліджень в області
комп'ютерного зору [8-12]. У СССВ невербальне вираження водієм ТЗ
13
внутрішнього стану аналізується за допомогою відеокамери за рахунок
спостереження за його головою та обличчям, які надають досить точні
характеристики, по яких можна визначити фізіологічні особливості водія. Так,
наприклад, керування автомобілем вимагає від водія повної зосередженості уваги,
гарної реакції та адекватного сприйняття дорожньої обстановки. Існує велика
кількість відволікаючих увагу водія факторів, таких як телефонні дзвінки, SMS
повідомлення, мультимедіа та навігаційні системи. У випадку, якщо водій
відволікається від дорожньої ситуації під час того, як ТЗ перебуває в русі, СССВ
інформує водія про настання небезпечної ситуації та існуючого ризику
виникнення ДТП. В даному випадку у водія з'являється час для здійснення
необхідного маневру для запобігання ДТП.
Технології, з яких складаються системи підвищення безпеки водія, можна
умовно розділити по виду контексту на ті, що здійснюють моніторинг ззовні ТЗ та
на ті, що спрямовані на спостереження за поведінкою водія ТЗ. В якості контексту
використовується будь-яка інформація, в якій перебуває об'єкт (водій, ТЗ) у
певний момент часу. Спрощену схему системи активної безпеки водія,
інтегрованої в автомобіль, представлено на рис. 1.2. Пунктирними лініями
виділена система РСПАС, що використовує контекст всередині кабіни ТЗ.
Як правило, система активної безпеки (САБ) автомобіля з інтегрованою
системою РСПАС складається з наступних компонентів:
− система телеметрії, що надає показники із вбудованих в автомобіль
відеокамер, датчиків, сенсорів. Датчики та сенсори, вбудовані в смартфон, можуть
бути задіяні для забезпечення інформацією про поточну поїздку. Так, наприклад,
GPS-приймач визначає географічні координати, швидкість пересування та
прискорення автомобіля;
− інформаційно-розважальна система ТЗ - однією з основних цілей якої є
відображення актуальної інформації (наприклад, навігаційна карта, напрямок
маршруту проходження, обмеження швидкості руху на поточній ділянці руху та
т.п.) про поїздку в процесі руху на вбудованому в автомобілі графічному дисплеї,
звукове сповіщення водія за допомогою акустичної системи автомобіля про зміни
на побудованому раніше маршруті проходження (інформація про інтенсивність
14
руху транспортних потоків, зміна погодних умов і т.п.) телефонні дзвінки або
повідомлення, небезпечні дорожні ситуації в процесі керування ТЗ та мовне
введення голосових команд (керування згенерованими рекомендаціями, вхідними
телефонними викликами, текстовими повідомленнями, і т.п.);
Рисунок 1.2 – Загальна схема застосування системи активної безпеки в
автомобілі
− розроблена система РСПАС, що здійснює обробку та аналіз даних про
водія та рульове керування ТЗ, що одержані від фронтальної камери та сенсорів
(акселерометр, гіроскоп, магнітометр та т.п.) смартфона і інформації від
інформаційно-розважальної системи за допомогою програмних інтерфейсів і
алгоритмів, безупинно виконує моніторинг небезпечної поведінки водія за кермом
ТЗ. З метою недопущення виникнення аварійних дорожніх ситуацій водієві
генеруються рекомендації, які можуть бути виведені в якості інформаційних або
звукових попереджень через графічний дисплей і акустичну систему
інформаційно-розважальної системи автомобіля, що призначені для прийняття
рішень водієм у зміні поведінки керування ТЗ.
Безупинно аналізуючи вихідні показники з датчиків телеметрії автомобіля
(вбудовані в ТЗ відеокамери, радари, лідари, лазери, датчики, сенсори), система
активної безпеки здійснює збір інформації та спостереження за дорожньою
обстановкою (контекст автомобіля) та поведінкою водія ТЗ (контекст водія). У
випадку виникнення небезпечної ситуації в процесі руху САБ здатна допомогти
15
водієві запобігти ДТП або повністю прийняти керування ТЗ на себе і згенерувати
відповідні рекомендації водієві, сповістивши його про заходи безпеки та
запобігання виникнення аварійної ситуації через інформаційно-розважальну
систему ТЗ. Основною відмінністю розробленої системи РСПАС від інших типів
систем активної безпеки є те, що дана система забезпечує спостереження за
поведінкою водія в кабіні автомобіля, безупинно адаптуючись під його профіль і
стиль водіння, тим самим проявляючи високу точність і якість роботи, а також
забезпечить інформаційне оповіщення водія про можливе виникнення аварійної
ситуації за допомогою генерації персоналізованих контекстно-орієнтованих
рекомендацій з використанням сенсорів смартфона.
1.2 Аналіз існуючих проектів і досліджень по розробці систем
забезпечення безпеки та підтримки водіїв
Можна виділити чотири категорії систем активної безпеки, серед яких СССВ,
мобільні системи генерації рекомендацій (МСГР), відеокамери, встановлені
всередині ТЗ та переносне обладнання. Розглянемо докладніше кожний із цих
типів систем:
− сучасні системи сприяння водієві. На даний момент існує досить велика
кількість виробників інтегрувальних СССВ, що розробляють інтелектуальні
системи допомоги водієві. Однією з ведучих компаній в області проектування та
розробки сучасних систем забезпечення безпеки та допомоги водієві є Mobileye
[13]. Дана компанія надає апаратно-програмний комплекс допомоги водієві, що
використовує дані з відеокамери та бортового комп'ютера (датчик швидкості,
сигнали повороту, датчик гальма й ін.), який вбудовується в ТЗ деякими заводами
виробниками. При цьому існує можливість придбання водієм відеокамери, що
встановлюється під лобовим склом автомобіля та інтегрованим програмним
забезпеченням. Технології Mobileye можуть налаштовуватись індивідуально під
стиль водіння, та можуть попереджати водія за проміжок часу від 2,7 до 0,6 сек.
Прикладами небезпечних ситуацій, що виявляються такою системою, є наїзд на
пішохода, недотримання дистанції до ТЗ що рухається попереду, ненавмисний
16
з'їзд зі смуги руху, перевищення дозволеної швидкості руху на даній ділянці. По
статистиці компанії Mobileye більше 15 млн. серед усіх автомобілів у світі
обладнані даною автоматизованою системою допомоги водієві.
Компанія MOVON [14] є розроблювачем СССВ в автомобільній
промисловості, що використовують у своїй роботі відеокамери. Система допомоги
водієві MOVON Driving Assistance System (MDAS) призначена для запобігання
дорожньо-транспортних пригод, що викликані ненавмисним перебудуванням в
іншій смузі руху або фронтальним зіткненням. MDAS ґрунтується на технологіях
обробки зображень. Один з патентів, що належать корпорації MOVON, серед
рішень по забезпеченню безпеки водіїв є «Метод і система попередження про з'їзд
зі смуги руху на основі розпізнавання зображень» [15], що описує систему
попередження водія з’їзду зі смуги руху на основі обробки зображень за
допомогою монокамери, встановленої всередині автомобіля. Відмінною рисою
системи є те, що вона успішно обробляє ряд дорожніх умов, включаючи такі
небажані ситуації, як змінна ширина дорожньої смуги, радіус її кривої, напрямок
дороги та повна відсутність дорожнього покриття.
Іншою компанією, що спеціалізується на системах допомоги водієві є Bosch
Mobility Solutions [16]. Рішення в області безпеки, запропоновані Bosch, націлені
на запобігання ДТП, допомозі при паркуванні та маневруванні, зниженні важкості
наслідків ДТП. Bosch використовує інтелектуальні сенсорні технології для
безперервного моніторингу та аналізу не тільки навколишнього оточення
автомобіля, але і поведінки водія для завчасного виявлення потенційно аварійних
ситуацій. Інтелектуальна мультисенсорна технологія дозволяє накопичувати,
оброблювати та передавати збір вимірів у компактному виді, включаючи такі
параметри як тиск, прискорення та температура. Система Bosch попереджає водія
про небезпеку та здійснює його активну підтримку, при необхідності втручаючись
у керування автомобілем.
Однієї з розповсюджених СССВ технологій є система втримання автомобіля
в смузі руху (СВСР). СВСР здатна співвідносити положення ліній розмітки смуги
та поточне положення ТЗ в обраній смузі руху відносно точки центру смуги. У
патенті «Асистент зміни смуги руху для ТЗ» [37] представлена технологія, що
17
допомагає водієві запобігти випадковій зміні обраної смуги руху при обгоні
іншим ТЗ у сусідній смузі руху шляхом вимірювання оптимального безпечного
часового проміжку, необхідного для переміщення в іншу смугу руху.
TRW Automotive [18] є ще одним розроблювачем у швидкозростаючому
сегменті сучасних систем допомоги водієві. Рішення, створені на основі
відеокамер і радарів, що використовуються при зборі інформації про обстановку
навколо автомобіля, допомагають попередити водія про небезпеку, що загрожує. З
появою ймовірності виникненні аварійної ситуації водії одержують повідомлення
за допомогою попереджуючих сигналів. У патенті «Система екстреної допомоги
на основі Bluetooth технології» [19] компанія TRW описує систему екстреного
реагування, яка у випадку виникнення ДТП передає відомості пасажирів і ТЗ
оперативній екстреній службі. Дана система використовує технологію Bluetooth
для передачі даних про аварію за допомогою порту датчика подушки безпеки, що
сигналізує про настання дорожньої події. Смартфон з GPS сенсором одержує дані
про ДТП за допомогою технології Bluetooth. Як тільки сигнал про подію
отриманий, мобільний телефон встановлює зв'язок з екстреною службою і передає
їй координати поточного місця розташування ТЗ і його технічний стан.
Continental AG [20] є партнером по розробці та системним інтегратором
рішень в області водіння без участі водія в співробітництві з іншими компаніями,
включаючи BMW Group, Intel і Mobileye. Щоб забезпечити водіїв системами
допомоги при водінні, компанія Continental AG випускає ряд продуктів і послуг,
таких як датчики спостереження за обстановкою навколо автомобіля, модель
оточення, функції для водія, системна архітектура, функціональна безпека, блоки
керування, гальмівні системи та людино-машинні інтерфейси. Дана компанія
спеціалізується на розробці систем, побудованих з використанням
мультифункціональних камер, що включають «риб'яче око» для кругового огляду,
радарів близької та далекої дії. Для коректної роботи відеокамер спостереження за
навколишнім оточенням необхідно забезпечити коректне настроювання
обладнання. Одними з початкових параметрів налаштування камери є зовнішні
характеристики камери, до яких відносяться кут та орієнтація камери відносно ТЗ,
в якому вона встановлена, кути огляду дороги [21].
18
Однією з останніх розробок компанії Samsung є спеціалізована платформа
побудови сучасних систем допомоги водієві Samsung DRVLINE, заснована на
принципах відкритості, модульності та розширюваності. Дана платформа є
одночасно і апаратним, і програмним рішенням. У системах активної безпеки при
сприйнятті навколишнього оточення активно застосовуються камери
спостереження та алгоритми, що обробляють вихідні зображення. Одним з таких
методів, що застосовується компанією Samsung є «Контекстно-орієнтований
адаптивний підхід розпізнавання автомобілів при різних умовах видимості» [22].
Даний метод заснований на класифікації поточних навколишніх умов відповідно
до рівня освітленості, який співвідносить їх з одним із заздалегідь виявлених
чотирьох типів ступеня висвітлення, застосовуючи метод кластеризації на основі
гістограм. Заздалегідь певними типами освітленості є денна, слабка освітленість,
ніч і перенасичення кольором.
Valeo [23] є автомобільним постачальником цілого ряду розумних сенсорів і
систем, орієнтованих на створення систем допомоги водієві при водінні, та
зниження викидів CO2 для автовиробників. Дана компанія спеціалізується на
проектуванні та розробці ультразвукових датчиків, лідарів, радарів, камер та
обладнань обробки сенсорних даних, що встановлюються як на автомобілі, так і в
кабіні ТЗ. Дані датчики використовуються разом із програмною платформою для
виявлення дорожніх перешкод, розпізнавання дорожньої розмітки, побудови
систем кругового огляду та систем контролю пильнування водія, виявляючи
ознаки втоми та ослабленої уваги.
Компанія NXP (у минулому Freescale) [25] робить СССВ більш доступними
для автомобілів, розраховані на середньостатистичного водія. Вона інтегрує
технології для мікроконтролерів, сенсорів і аналогових обладнань для СССВ,
забезпечуючи тим самим масштабність, низьке енергоспоживання та високий
рівень інтеграції в системах з обмеженим простором. У більшості випадків при
конструюванні СССВ задіяна обробка зображень, що полягає в аналізі вмісту
цифрового зображення. При реалізації СССВ компанією NXP були розроблені
методи автоматичного виділення та обробки інформації. Розповсюдженою
проблемою при аналізі зображень є пошук простих геометричних примітивів,
19
наприклад, ліній, окружностей, еліпсів або кривих у кадрі зображення, що є
необхідною умовою при реалізації таких СССВ, як система попередження
сходження зі смуги руху, автоматичне паркування або розпізнавання дорожніх
знаків. Пошук і розпізнавання очей та зіниць – інше застосування методів обробки
зображень, що використовуються при виявленні стану сонливості водія.
Autoliv [27] надає широкий набір систем, побудованих на основі
радіолокаційного обладнання та алгоритмів обробки зображень, для
спостереження за навколишнім оточенням автомобіля, розпізнаючи небезпечні
ситуації та вживаючи завчасні дії для запобігання аварій, що дозволяє зробити
поїздку водія простішою й безпечнішою. Функції активної безпеки автомобіля, що
представляє Autoliv, це адаптивний круїз контроль (АКК), що автоматично
підтримує швидкість ТЗ, зберігає дистанцію до ТЗ, що рухається попереду;
попереджує про небезпеку переднього зіткнення, що дозволяє розпізнавати ТЗ, що
рухаються повільно, або інші об'єкти, які водій може вчасно не помітити та
попереджує водія сигналом; контроль сліпих зон, що розпізнає появу рухомих
об'єктів у невидимій для водія зоні та допомагає водієві пропускати інші ТЗ,
використовуючи радіолокаційні датчики, що вбудовані в дзеркала заднього виду
та постійно контролюють напрямок і швидкість ТЗ у сусідніх смугах руху;
система попередження про з’їзд зі смуги руху, що контролює знаходження ТЗ в
смузі руху за допомогою ліній дорожньої розмітки; система розпізнавання
дорожніх знаків, що повідомляє водія про перевищення швидкісного режиму та
порушення інших правил дорожнього руху під час керування ТЗ; система
сповіщення про небезпеку наїзду на пішохода, що попереджає водія про можливу
появу пішоходів на проїзній частині; система нічного бачення, що працює на
основі інфрачервоного випромінювання та дозволяє водіям бачити набагато далі і
чіткіше перешкоди на неосвітленій дорозі, чим при світлі звичайних фар.
Серед виробників та постачальників технологій лідарів варто виділити
компанію Velodyne Lidar [28]. Вона спеціалізується на системах тривимірного
спостереження за дорожньою обстановкою в режимі реального часу, що
призначені для використання в АТЗ, стаціонарній і мобільній зйомці, картографії
та системах активної безпеки. Перевагою лідарів перед камерами та радарами є
20
їхня здатність створювати деталізовані зображення з масиву точок практично при
будь-якому освітленні та погодних умовах на досить великій відстані. Однієї з
останніх розробок компанії Velodyne є скануючий сенсор VLS-128 Lidar [29]
другого покоління, що включає в себе 128 лазерів та сформовує тривимірну
картину навколишнього оточення. Лідар має наступні характеристики:
горизонтальний кут огляду – 360º; кутовий дозвіл – 0,09; вертикальний кут огляду
– 26,5º; похибка визначення відстані - менше 2 см; діапазон лазерів ІЧ – 905 Нм.
Компанія Aptiv PLC (у минулому Delphi Automotive) [30] займається
розробкою систем активної безпеки, включаючи СССВ. Побудовані на основі
камер, що класифікують об'єкти з високою точністю радарів, стійкі до різних
погодних умов і лідаров, що забезпечують високу точність вимірювання відстаней
до об'єктів. Об'єднання даних із трьох видів датчиків дозволяє отримати всеосяжне
уявлення про те, що оточує ТЗ, тим самим підвищуючи рівень надійності та
безпеки системи. Одним із прикладів використання такого підходу є платформа
Centralized Sensing Localization Planning, початок випуску якої намічено на 2019 р.
Вона являє собою інтегроване автоматизоване рішення для управління ТЗ «під
ключ». Серед особливостей даної платформи можна виділити: визначення місця
розташування автомобіля без використання GPS з точністю до 10 см; можливість
роботи платформи при русі на ділянках із частково або повністю відсутньою
дорожньою розміткою; розпізнавання пішоходів при використанні технології
кругового огляду; розпізнавання автомобілів при будь-якому куті огляду за
загальною формою та рухом коліс, припарковано ТЗ чи перебуває в русі. Однією
із запатентованих технологій та обладнання є інтегрована система радарів і камер,
що поєднує в собі обробку даних з датчиків, технології комп'ютерного зору та
поєднання даних в одному модулі. Спільне використання таких технологій
дозволяє надати автовиробникам комплект із систем активної безпеки,
включаючи такі технології як АКК, СПФС, СПЗС і автоматичне гальмування
перед пішоходами та ТЗ. Патент «Радіолокаційний модуль» [31], опублікований
компанією Delphi Automotive, описує спеціалізований модуль Racam, що включає
в себе алгоритми злиття даних з метою сполучення вхідних даних з радара та
камери для зменшення ймовірності виникнення або пом'якшення наслідків ДТП і
21
призначений для пошуку та розпізнавання об'єктів попереду та навколо
автомобіля з метою підвищення безпеки водія. Перевагою обладнання Delphi
Racam є можливість одночасного сполучення використання радарів і камер в
одному модулі з метою розпізнавання відразу ряду небезпечних дорожніх
ситуацій.
Іншою компанією, що спеціалізується на проектуванні систем підвищення
безпеки при русі, є DENSO [32]. Ця компанія стала першої, хто розробив
міліметровий радарний датчик, що функціонує на основі принципу цифрового
формування променя. Однією з останніх розробок компанії є радарний датчик
субміліметрового діапазону із частотою 24 Гц, призначений для вдосконалення
автомобільної системи безпеки. Цей датчик вже інтегрується в автомобіль Toyota
Camry, в комплектації випущеній на ринок у липні 2021 року. Датчик монтується
в задній бампер автомобіля. Він здатний виявляти ТЗ, які знаходяться в «сліпій»
зоні позаду автомобіля, а також по його сторонах, у тому числі при русі заднім
ходом. Датчик є частиною системи, що допомагає водієві бачити інші автомобілі
та маневрувати в потоці при зміні смуги руху або при русі заднім ходом на
паркуванні. Щоб підвищити безпеку та екологічність легкових і вантажних ТЗ,
Renesas Electronics [53] займається розробкою компонентів для електронних
систем, одним з яких є спроектований модуль R-Car V2H із програмним
забезпеченням, з легкістю інтегрований в технології систем допомоги водієві.
Поточні розробки СССВ систем вже включають технології кругового огляду та
розпізнавання пішоходів на дорозі.
Одним з популярних розробників СССВ, орієнтованих на використання в
автомобілях автоматичного керування, зниження кількості ДТП, смертей та травм
і підвищення ефективності експлуатації ТЗ, є компанія Waymo [29]. Waymo
використовують інформацію від сервісу Google Street View, відеокамери огляду на
360 градусів при роботі в денний і вечірній час доби, що встановлена на даху
автомобіля та датчиків LIDAR, радарів у передній і задній частині авто, що
здійснюють моніторинг швидкості руху інших ТЗ в будь-яких погодних умовах.
Даний набір з різних сенсорів функціонує непомітно для водія та створює 3D
зображення навколишнього оточення під час руху, фіксуючи динамічні та
22
статичні об'єкти включаючи пішоходів, велосипедистів, інші ТЗ, світлофори та
інші дорожні об'єкти. Також, є додаткові сенсори, датчик розпізнавання звукових
сигналів для виявлення автомобілів екстрених служб.
У табл. 1.2 наведено порівняння інтегрувальних СССВ рішень по наявності
тих або інших технологій (СПЗС, СПФЗ, функція автоматичного перемикання фар
(САПФ), СКСБД, інформування про перевищення дозволеної швидкості
(ІПДШ)/система розпізнавання дорожніх знаків (СРДЗ), СВПВ), система
контролю сонливості (СКС) і уваги (СКУ)), що підвищують безпеку водія ТЗ.
Таблиця 1.2 – Порівняння інтегрувальних СССВ систем
Технологія/Компанія СПЗС СПФЗ САПФ СКДБД СКС СКУ ІПДШ/СРД СВПВ
Mobileye + + + + – – +З +
Texas Instuaments + + + + – – + +
Movon ADAS + + + + – – – –
Bosch Mobility + – + – + – + +
Solutions
Hella + – – + – – – –
TRW Automotive + + – – – – – –
Valeo + – – – – – – –
AISIN + + – – + + – –
Freescale + + + – – – – –
Autoliv + + + – – – – –
Velodyne LiDar – + – – – – – –
Continental AG + – + – – – + –
Aptiv PLC (Delphi + + + + – – + +
Automotive)
Denso + + + + + + – +
Renesas + + + + + + + +
Wabco + + + + – – +
Waymo + + + + – – + +
Harman + + – – – – – –
Magna + + – – – – – –
Takata + – – – – – – –
Ficosa + + – – – – – –
ADASENS + + + – – – + –
Hyundai MOBIS + – – + – – – –
Panasonic Corporation – + + – – + – –
Hitachi Automotive + + + + – – + –
Systems
Analog Devices + + – + – – + +
Care Drive + + +
Cognitive + + – + – – + –
Technologies
23
Мобільні системи розпізнавання небезпечних випадків та генерації
рекомендацій водієві. Іншою категорією систем моніторингу за поведінкою водія
та дорожньою обстановкою є МСГР, представлені в основному на мобільних
платформах iOS та Android. На основі сигналів, що надходять від набору
вбудованих у смартфон датчиків, дані мобільні системи допомоги водієві
здійснюють безперервне спостереження як за поведінкою водія в кабіні
автомобіля, так і за ситуацією навколо ТЗ, відтворюючи повну та точну картину
умов у конкретний момент часу, з метою зниження ймовірності виникнення ДТП.
Мобільний додаток використовує вбудовані в смартфон сенсори, датчики,
фронтальну або тилову камеру для розпізнавання ослабленої уваги водія або
втоми, виявлення попереду автомобілів та попередження водія у випадку
небезпеки. Застосовуючи у своїй роботі тилову камеру смартфона такий додаток
розпізнає об'єкти попереду водія в реальному часі, обчислює поточну швидкість
автомобіля та при можливій небезпеці відтворює звукове та візуальне
попередження, повідомляючи водія про необхідність своєчасної реакції для
запобігання ДТП. Фронтальна камера смартфона, спрямована на водія в кабіні
автомобіля, використовується мобільним додатком з метою виявлення ознак
втоми та ослабленої уваги на основі таких параметрів, як закритість очей,
швидкість моргання повіками, кут нахилу або повороту голови водія. Існуючі
мобільні додатки сфокусовані на обробці зображень, що одержані з відеоряду
камери смартфона, спрямованої на спостереження або за дорожньою обстановкою
попереду автомобіля або за поведінкою водія всередині ТЗ.
Одним з популярних мобільних додатків серед МСГР, призначених для
підвищення безпеки водіння ТЗ, є мобільний додаток доповненої реальності
iОnRoad, доступне на платформах iOS та Android. Додаток використовує
вбудовані в смартфон тилову камеру, сенсори та датчики для виявлення попереду
автомобілів і попередження водія у випадку виникнення небезпеки. Додаток
iOnRoad реєструє об'єкти поперед водія в реальному часі, обчислюючи поточну
швидкість за допомогою сенсорів.
Іншою системою МСГР є додаток доповненої реальності Augmented Driving
[27], що використовує винятково тилову камеру смартфона для відстеження
24
дороги та попередження водія про можливе виникнення ДТП за допомогою
звукових повідомлень. Даний додаток пропонує такі функції для водія:
повідомлення про недотримання дистанції до ТЗ, що їде попереду, спостереження
за дорожньою розміткою та повідомлення про перевищення швидкості ТЗ.
Додаток NightDrive [28] є єдиним мобільним рішенням, що безупинно
стежить за відкритістю/закритістю очей водія та попереджає його у випадку
визначення стану ослабленої уваги. У тому випадку, якщо очі водія закриті дві
секунди або більше, додаток програє звуковий сигнал доти, поки водій не вийде із
цього стану. Варто відзначити, що в додатку є режим «нічного бачення».
Змінюючи яскравість екрана телефону, додаток здатний підбудовуватися під
умови слабкої освітленості в кабіні водія ТЗ і тим самим підвищувати якість і
яскравість зображень, що одержані із фронтальної камери смартфона та
використовуються при виявленні небезпечних ситуацій.
Іншим мобільним програмним забезпеченням допомоги водієві є додаток
Driver Guard [39], що реалізує функцію попередження про фронтальне зіткнення.
Особливістю даного додатка є безперервний моніторинг тільки за дорожньою
обстановкою за допомогою камери смартфона, допомагаючи водієві підтримувати
безпечну дистанцію до ТЗ, що їде попереду.
Додаток Nexar – AI Dashcam [30] доступний на платформах iOS і Android та
працює як відеореєстратор, що здійснює резервування інформації про поїздку у
віддаленому сховищі, включаючи час, координати та швидкість автомобіля та
запис ДТП. Nexar веде запис відеопотоку одночасно із фронтальної й тилової
камер смартфона, зберігає номерні знаки ТЗ, що порушують ПДР, щоб згодом з
появою порушника в зоні видимості камери смартфона попередити водія за
допомогою текстових та звукових оповіщень.
На жаль, проаналізовані додатки враховують не весь спектр небезпечних
дорожніх ситуацій, з якими може зіштовхнутися водій ТЗ. Розглянуті мобільні
додатки сфокусовані на аналізі навколишньої дорожньої обстановки, не
враховуючи повною мірою контекст усередині кабіни ТЗ. Існуючі додатки не
підлаштовуються під конкретного водія, не здійснюють початкове калібрування та
настроювання всієї системи, зневажаючи профілем водія, його компетенцією,
25
контекстною інформацією усередині кабіни ТЗ та паттернами водіння при аналізі
небезпечного стану водія і тим самим зменшується точність розпізнавання
небезпечних ситуацій при роботі систем допомоги водієві.
Додаток Drive Safely - оцінює рівень втоми, стресу та нестачі уваги водія за
допомогою фронтальної камери. Враховується, як людина нахиляє голову,
наскільки розплющує очі, позіхає чи киває головою. Програма працює одночасно
з навігатором і не заважає водієві стежити за маршрутом. Зазначається, що
методика може стати доступною альтернативою підходам, які використовуються
у сучасних системах допомоги водієві (ADAS).
За допомогою фронтальної камери система моніторить положення голови та
ступінь відкритості очей, щоб вчасно визначити ознаки сонливості та ослабленої
уваги. Гучність голосу і почервоніння чола видають камері ризикованих,
нетверезих чи схильних до стресу людей.
Порівняння мобільних додатків по набору технологій, що часто
зустрічаються в подібних системах (СПЗС, СПФЗ, СКДБД, СКС, СКУ, ІПДШ,
СРДЗ, СВПВ) наведено в табл. 1.3.
Таблиця 1.3 – Порівняння мобільних додатків по наявності функцій підвищення
безпеки
Технологія/ IПДШ
iOS Android СПЗС СПФЗ СКДБД СКС СКУ СВПВ
Додаток /СРДЗ
iOnRoad + + + + + – – – –
CarSafe – – + + + – – – –
Drivesafe + – + – – + – + +
Augmented + – + + – + – – –
Driving
Nexar – AI – + + + – – – – –
Dashcam
NightDrive + – – – – + – – –
Drive Safely + + + – – + – – –
Відеокамери, встановлені всередині кабіни ТЗ. Камери
відеоспостереження придбані та встановлені водієм самостійно в кабіні
автомобіля можна умовно розділити на автомобільні відеореєстратори,
26
спрямовані на спостереження за дорожньою ситуацією спереду ТЗ і камери
відеоспостереження, що здійснюють контроль за поведінкою водія за кермом.
За аналогією з розглянутими мобільними додатками у відеореєстратор
вбудовані функції підвищення безпеки при водінні, що забезпечують оповіщення
водія про небезпечну ситуацію на дорозі. При цьому керування ТЗ залишається
повністю за водієм. Завдяки широкому куту огляду об'єктива, відеореєстратор
вловлює у своєму полі зору об’єкт, що наближається, і видає сигнал водієві за
кілька секунд до можливої аварії, завдяки чому з'являється шанс уникнути ДТП.
Прикладами деяких технологій, представлених в автомобільних
відеореєстраторах, є система контролю смуги руху та система запобігання
зіткнення із автомобілем, що рухається попереду. Вартість функцій систем
безпеки при водінні, вбудованих у відеореєстратори суттєво нижча, ніж
спеціалізоване обладнання, що вбудовується в ТЗ.
На міжнародній виставці споживчої електроніки Consumer Electronics Show
2016 компанією Garmin був представлений навігатор DriveАssist 50 LMT-D із
вбудованою функцією відеореєстратора, що спрямований на дорогу та здійснює
запис відео під час керування автомобілем. З метою підвищення пильності й
проінформованості водія про дорожню ситуацію модель навігатора відтворює
попереджуючі сигнали, інформуючи водія про небезпечний поворот, що
наближається, ділянки дороги поблизу дитячої установи або зміну швидкісного
режиму. Коли автомобіль зупиняється на перехресті або в заторі, навігатор
повідомить водія про те, коли ТЗ, що зупинився попереду водія, почне рух.
Іншими моделями автомобільних відеореєстраторів від компанії Garmin,
оснащених функціями попередження водія про небезпеку СПЗС і СПФЗ, є такі
пристрої як Driveassist 50 LM, DriveAssist 50LMT, DriveАssist 51 UAS LMT.
Компанія Xiaomi [21] розробила відеореєстратор Xiaomi Yi DVR з функціями
систем допомоги водієві. Система Xiaomi Smart ADAS генерує попереджуючі
сигнали, у випадку якщо водій здійснює небезпечний маневр автомобілем. При
з'їзді автомобіля зі смуги руху або швидкому зближенні із ТЗ, що рухається
попереду на досить небезпечну відстань, відеореєстратор повідомить водія про
небезпечне зближення.
27
Іншим виробником відеореєстраторів, що оснащуються технологіями
запобігання фронтальних зіткнень, є компанія Kenwood [32]. Моделі
відеореєстраторів DRV-410 і DRV-N520 містять у собі сенсорні технології
визначення ймовірності зіткнення ТЗ, що вираховують дистанцію між
автомобілем водія та ТЗ попереду і попереджують водія за допомогою звукового
сигналу у випадку, якщо між автомобілями не зберігається безпечна дистанція.
Дана функція забезпечення безпеки починає працювати на швидкостях руху 32
км/год та вище.
Деякі моделі відеореєстраторів (ADR810, ADR610), розроблені компанією
Philips [33], містять у собі функції контролю поведінки водія всередині кабіни ТЗ,
а саме визначення ступеня втоми водія, при якому індекс втоми характеризує
зміну фізичного стану водія. Коли водієві потрібен відпочинок, відеореєстратором
вмикається автоматична система візуальних і звукових оповіщень.
Компанія CarVi розробила асистент сприяння водієві при водінні, що
здійснює безперервний моніторинг за дорожньою обстановкою. Дана система
складається з однолінзової камери, що закріплюється на лобовому склі автомобіля
та опрацьовує одержані відеофрейми із частотою в 8-12 кадрів в секунду за
допомогою технологій обробки зображень та відеореєстратора, встановленого у
вигляді мобільного додатка на смартфоні водія та здійснює аналіз відеозапису з
камери в режимі реального часу.
Серед виробників камер відеоспостереження, які водій може самостійно
придбати і встановити в кабіні ТЗ, можна виділити компанію Rear View Safety [26]
(RVS). RVS розробляє широкий вибір моделей як відеокамер заднього виду,
призначених для спостереження за обстановкою позаду автомобіля, так і камер –
для здійснення відеоспостереження за поведінкою водія в кабіні ТЗ із метою
виявлення ознак втоми або ослабленої уваги.
Іншим виробником відеокамер спостереження забезпечення безпеки водія в
кабіні ТЗ, спрямованих на особу водія, є компанія Exeros [27]. Одним з її
продуктів є інфрачервона камера Exeros Sleep Watcher-XR розпізнавання осіб, яка
здійснює безперервний моніторинг стану повік та сітківки ока людини та виявляє
ознаки втоми у водія.
28
Порівняння розглянутих автомобільних відеореєстраторів по наявності
систем допомоги водієві наведено в табл. 1.4.
Таблиця 1.4 – Порівняння відеореєстраторів по використанню технологій
забезпечення безпеки
Обладнання/ Технологія СПЗС СПФЗ СКДБД СКС СКУ ІПДШ/СРДЗ СВПВ
Garmin DriveАssist + + + – – – –
Xiaomi Yi DVR + + + – – – –
Philips ADR810, ADR 610 – – – – + – –
THINKWARE X500 + + – – + –
Kenwood DRV-410, DRV-N520 – – + – – – –
CarVi + + + – – – –
RVS-350 – – – – + – –
Exeros Sleep Watcher-XR – – – – – – +
Прилади переносної електроніки. При русі по заміських трасах, особливо
ті, на яких потік транспорту практично відсутній, у водія швидко наступає
приплив втоми і втрата концентрації, які з'являються при нестачі рухомості за
кермом, монотонному й розміряному русі ТЗ по дорозі протягом тривалого часу.
Одним з доступних способів підвищення безпеки за кермом для вищеописаної
ситуації є окрема категорія обладнань - прилади переносної електроніки.
Одним із психофізіологічних показників, що свідчать про виникнення стану
дрімоти в людини, з якої значно легше вийти, ніж зі сну, є електрична активність
шкіри (ЕАШ) [29] або шкірно-гальванічні реакції. Визначення імпульсів
відбувається за рахунок спеціальних приладів – кілець і браслетів, що
сигналізують про ймовірність швидкого виникнення сну. Так, наприклад, система
підвищення безпеки водіїв «Вігітон» [28] від компанії Нейроком використовує
принцип ЕАШ. Система контролю пильнування водія «Вігітон» призначена для
безперервного моніторингу фізіологічного стану водія ТЗ та запобігання його
переходу в дрімотну стадію повільного сну. Дана система складається зі
світлозвукового індикатору стану водія, наручного датчика, вбудованого в
браслет, блоку датчиків та виконавчих реле, GPS приймача. Функціональний стан
водія визначається на основі безперервного аналізу результатів вимірювання
електродермального опору.
29
Stopsleep [10] являє собою наручне обладнання, виконане у вигляді кільця,
яке безупинно відслідковує фізіологічний стан водія по зміні ЕАШ за допомогою
8 вимірювальних контактів, що стикаються зі шкірою на пальцях водія, і
призначене для запобігання засинання водія в процесі руху за кермом ТЗ.
Виробник електроніки Fujitsu [11] розробив переносне обладнання Vehicle
ICT Feelythm, що сприяє підвищенню безпеки при керуванні ТЗ. Feelythm –
сенсорне обладнання яке визначає сонливість водія по його пульсу. Продукт, який
використовує алгоритм, розроблений Fujitsu Laboratories, відслідковує пульс водія
за допомогою датчика, закріпленого на мочці вуха, вимірює сонливість і
повідомляє водія.
Іншим обладнанням, що вимірює рівень сонливості водія, є окуляри від
компанії Optalert [12]. Окуляри розпізнають сонливість по двох основних
показниках, а саме швидкість моргання повік та частота відкриття очей людини.
Принцип роботи окулярів полягає в тому, що вони вимірюють рух повік водія зі
швидкістю в 500 раз на секунду, використовуючи майже невидимий світлодіод,
вбудований в оправу окулярів.
Vigo Headset [13] від компанії Vigo, зовні схожий на бездротову гарнітуру
для смартфона. Дане обладнання містить у собі інфрачервоний датчик, що
визначає паттерни поведінки при виникненні небезпечних випадків, датчик руху,
що здійснює спостереження за рухами голови водія, модуль Bluetooth, що
використовується при повідомленні водія про небезпечний стан за рахунок
генерації попереджуючих сигналів. Для прийняття рішень про те, чи близький
водій до стану сонливості чи ні, дане обладнання відслідковує більше 20
параметрів, що ґрунтуються на тривалості і швидкості моргання, опущених повік.
Методи аналізу ЕЕГ, що досліджують активність головного мозку на основі
біологічних імпульсів і ЕЕГ, при якій аналізується м'язова активність і
рефлекторна діяльність, та частота моргань, знайшли застосування в системі
контролю водія SleepАlert, що розроблена компанією НейроТонус [16].
Система SleepАlert приймає сигнал тривоги з нейродатчика, розташованого в
головному уборі та вібробраслеті, реєструє електричні хвилі в головному мозку, і
аналізує ступінь втоми водія на основі даних ЕЕГ та ЕМГ. У випадку, якщо
30
ступінь втоми доходить до критичної точки, модуль генерує звуковий сигнал, а
браслет починає вібрувати. Порівняння проаналізованих приладів переносної
електроніки наведено в табл. 1.5.
Таблиця 1.5 – Порівняння приладів переносної електроніки для забезпечення
безпеки водія
Обладнання/Технологія СПЗС СПФЗ СКДБД СКС СКУ ІПДШ/СРДЗ СВПВ
Вігітон – – – – + – –
OptaАlert + + + + – – –
Vigo Headset + + + + – – –
StopSleep + – – – + +
Fujitsu + – – + – – –
SleepAlert – – – – + – –
Висновок до першого розділу
До теперішнього часу, з метою підвищення безпеки, поведінки водія за
кермом ТЗ автовиробниками розроблені апаратно-програмні комплекси, що
представляють собою сучасні системи сприяння водієві, що включають тією чи
іншою мірою такі технології як СПЗС, СПФЗ, СКДБД та ін.
Проведений огляд існуючих рішень в області систем активної безпеки
дозволив виділити СССВ, що існують у вигляді апаратно-програмних комплексів
та встановлюються на заводах виробниках; МСГР, що розроблені на основі
програмних рішень у вигляді мобільних додатків; відеокамери, що
встановлюються в кабіні ТЗ та представлені автомобільними відеореєстраторами,
окремими приладами відеоспостереження, спрямованими на водія або дорогу;
переносна електроніка.
Системи СССВ враховують тією чи іншою мірою контекстну інформацію, що
описує дорожній стан та те, що відбувається всередині кабіни ТЗ. Перевагами
СССВ є висока точність та швидкість розпізнавання дорожніх ситуацій, а час, що
необхідний для настроювання та активації системи безпеки, мінімальний для
водія. Серед недоліків даних систем можна виділити високу вартість таких
інтегрованих рішень, у порівнянні із внутрішніми відеокамерами спостереження
31
та МСГР, ускладнену персоналізацією при використанні ТЗ різними водіями та, як
правило, відсутність можливості для штатної установки в ТЗ у якості додаткового
обладнання.
Іншою категорією систем підвищення безпеки водія є камери спостереження
за обстановкою всередині кабіни ТЗ та спрямовані головним чином на водія.
Завдяки своїй конструкції внутрішні камери спостереження дають можливість
водієві самостійно їх закріпити, наприклад, на лобовому склі ТЗ, або демонтувати
в будь-який момент без будь-яких труднощів або витрат. Варто відзначити, що
такі системи мають ряд обмежень, пов'язаних з неможливістю адаптації систем
індивідуально для водія та відсутністю генерації йому контекстно-орієнтованих
рекомендацій. Незважаючи на те, що подібні системи є більш доступними в
придбанні, чим системи СССВ, вартість таких камер відеоспостереження
порівняно з вартістю автомобільного відеореєстратора в середньому ціновому
сегменті, а то й вище його в кілька разів. Популярною та розповсюдженою
категорією відеокамер спостереження серед водіїв ТЗ є автомобільні
відеореєстратори, що оснащуються однокамерними модулями та ті, що ведуть
спостереження тільки за дорожнім станом попереду автомобіля, не враховуючи
поведінки водія ТЗ.
Спеціалізовані пристрої переносної електроніки, що надіваються та носяться
водієм при керуванні ТЗ, можуть мати функцію виявлення виникнення ознак
втоми та ослабленої уваги у водія. Такі пристрої дозволяють завчасно розпізнати
небезпечну поведінка водія за кермом ТЗ і вчасно його попередити про небезпеку
за допомогою звукового сигналу. Перевагою такого підходу є можливість
використання переносних пристроїв електроніки у кабіні будь-якого ТЗ. Серед
недоліків можна виділити обмеження до використання, що полягають у
повсякденному надяганні переносного обладнання, перед початком руху і, як
наслідок, його ручного настроювання щораз перед початком нової поїздки, а
також можливої несумісності або незручності при надяганні обладнання, що
носиться, разом з окулярами водія.
32
РОЗДІЛ 2 ТЕХНІЧНЕ ОБЛАДНАННЯ ТА ВИМОГИ ДО ПОБУДОВИ
РОЗПОДІЛЕНОЇ СИСТЕМИ ПОПЕРЕДЖЕННЯ АВАРІЙНИХ СИТУАЦІЙ
2.1 Технічне обладнання та програмні алгоритми, що застосовуються
при розробці систем активної безпеки водія
Запровадження систем моніторингу водія на будь-якому підприємстві здатне
підвищити ефективність використання ТЗ і знизити експлуатаційні витрати всього
підприємства. На основі розглянутих рішень в області систем активної безпеки всі
обладнання та програмні методи, що застосовуються при побудові подібних
систем, можна розділити на дві великі групи – спрямовані на моніторинг
поведінки водія всередині кабіни ТЗ та ті, що призначені для спостереження за
дорожньою ситуацією навколо автомобіля.
Моніторинг ситуації всередині кабіни ТЗ. Серед технічних пристроїв, що
застосовуються водієм у процесі водіння всередині кабіни автомобіля для
виявлення ознак ослабленої уваги або втоми, можна відзначити: переносні засоби
електроніки (браслет, кільце), що вимірюють стан водія за допомогою таких
показників, як пульс, частота дихання, електродермальна активність шкіри та ін.;
відеокамери, спрямовані на обличчя водія, які аналізують його стан по лицьових
характеристиках, до яких можна віднести поворот і нахил голови, частота
моргання повік, закритість очей і т.п.
Відеокамери, що встановлюються всередині кабіни ТЗ та здійснюють
безперервний моніторинг поведінки водія, широко використовуються системами
активної безпеки для вилучення окремих кадрів зображень обличчя водія із
заданою частотою (25 кадрів/сек), які надалі використовуються при цифровій
обробці зображення та потім при безпосередньому розпізнаванні тих або інших
об'єктів (обличчя, риси обличчя) та їх характеристик (визначення розміру області
та кольору об'єкта, відстань до об'єкта, т.д.) у певний момент часу.
На сьогоднішній день технологія розпізнавання осіб, що активно
застосовується в системах активної безпеки, є однією з популярних напрямків
комп'ютерного зору. Використання відеокамер при побудові СССВ передбачає
33
використання методів комп'ютерної обробки зображень водія з метою визначення
присутності об'єкта на зображенні, знаходження його положення в системі
координат пікселів вихідного зображення та розпізнавання.
За рівнем та силою сприйняття всі заходи допомоги водієві всередині кабіни
ТЗ можна розділити на три категорії: інформаційні (попереджувальний звуковий
сигнал), допоміжні (зміна сили надавлювання на педаль акселератора) та часткове
або повне втручання в керування ТЗ системою активної безпеки (наприклад
зменшення вприску палива при перевищенні певної швидкості).
До інформаційних оповіщень можна віднести наступні:
− звукові повідомлення, що є звуковими сигналами та голосовими
повідомленнями, відтвореними через вбудовану акустичну систему автомобіля;
− візуальні повідомлення у вигляді інформаційних повідомлень на дисплеї
комбінації приладів або проекційному дисплеї, який інтегрується в лобове скло
автомобіля або поставляється як окремий екран, встановлений на рівні лінії
погляду водія;
− тактильні повідомлення, що проявляються у вигляді попереднього натягу
ременя безпеки або пульсуючих вібрацій кермового колеса або лівого чи правого
валика (подушки) сидіння, що сигналізують водію про напрямок ДТП.
Аналіз дорожньої ситуації поза ТЗ. Аналіз існуючих проектів і досліджень
дозволив виділити чотири категорії технічного обладнання, що застосовуються
при виявленні потенційних небезпечних випадків у процесі руху.
Першою категорією обладнання для моніторингу дорожньої ситуації навколо
автомобіля є радари близької та далекої дії. У якості даного обладнання
виступають датчики, в яких виявлення об'єктів (інші ТЗ, пішоходи, перешкоди,
т.д.) навколо автомобіля та визначення їх точного розташування побудовано на
основі використання радіохвиль. На сьогоднішній день радарний датчик є
невід'ємним компонентом сучасних систем активної безпеки. Радар дозволяє
виявити об'єкт, визначити відстань до нього, його положення та швидкість руху.
Другою категорією обладнання для моніторингу дорожньої ситуації навколо
автомобіля є ультразвукові датчики, що представляють собою сенсорне
34
обладнання, що здійснює перетворення електричної енергії в ультразвукові хвилі,
що представляють собою механічні коливання із частотою понад 20 кГц. Принцип
дії ультразвукового датчика схожий з радаром і полягає у визначенні наявності цілі
на основі інтерпретації відображеного від неї сигналу.
Третьою категорією обладнань для моніторингу дорожньої ситуації навколо
автомобіля є зовнішні відеокамери, що широко застосовуються в системах
спостереження за безпекою поведінки водія та обстановкою навколо автомобіля.
Прикладом таких систем, в яких знайшли застосування відеокамери, є система
автоматичного екстреного гальмування, попередження про ненавмисну (без
включеного світлового покажчика повороту) зміну смуги руху та утримання
автомобіля в межах її розмітки, допомоги руху по смузі, допомозі при
перебудуванні, виявлення пішоходів, розпізнавання дорожніх знаків і т.п.
Останньою категорією обладнань для моніторингу дорожньої ситуації
навколо автомобіля є технологія LIDAR (Light Detection and Ranging), що працює
в оптичному діапазоні та використовує в якості джерела випромінювання лазер.
За своїми функціями лідар виступає в якості альтернативи першому типу
обладнань, тому інша його назва - лазерний радар. Принцип роботи датчика
заснований на використанні електромагнітних хвиль інфрачервоного діапазону,
тим самим забезпечуючи можливість визначення відстані до об'єкта, швидкості.
Серед технічного обладнання, що використовується водієм в процесі водіння
для контролю дорожньої обстановки, можна виділити відеореєстратори (з
функціями СПЗС, СПФЗ), що придбані та встановлені водієм самостійно.
Серед інших сучасних систем, що одержують широке поширення та розвиток
в області активної безпеки автотранспорту, варто відзначити технології взаємодії
Vehicle-to-Vehicle (V2V) і Vehicle-to-infrastuacture (V2I), які працюють на основі
Wi-Fi технології [13] та забезпечують можливість обміну інформацією між ТЗ та
об'єктами транспортної інфраструктури без участі водія. За рахунок створення
бездротової мережі між автомобілями та стаціонарними об'єктами стає можливою
передача інформації (наприклад швидкість, прискорення, місцезнаходження
автомобіля, інтенсивність руху автомобілів). Безупинно обробляючи отримані
дані від інших ТЗ та об'єктів інфраструктури, система автомобіля V2V/V2I вчасно
35
попереджає водія про можливість небезпечної ситуації, яку створили інші
автомобілі, у такий спосіб запобігаючи ДТП.
2.2 Вимоги до побудови розподіленої системи попередження аварійних
ситуацій на основі моніторингу водія
Розробка системи попередження аварійних ситуацій підвищення безпеки
водія в процесі керування ТЗ, що реалізує функції виявлення ознак ослабленої
уваги та втоми у водія в реальному часі, вимагає особливої уваги до коректності
та точності розпізнавання аварійних ситуацій та виробленню рекомендацій, що
враховують поточний контекст водія. Існує досить велика кількість апаратно-
програмних комплексів, що вирішують завдання підвищення безпеки водія та
автоматизації при керуванні ТЗ, шляхом попередження водія про можливі
проблеми або ймовірність зіткнень. Порівняння типів систем моніторингу
поведінки водія наведено в табл. 2.1.
Таблиця 2.1 – Порівняння існуючих систем моніторингу поведінки водія
Відеокамери Прилади
Параметр / Система Інтегрувальні
№ МСГР всередині переносної
активної безпеки СССВ
кабіни ТЗ електроніки
1 Ослаблена увага + + + +
2 Втома + + + +
3 Генерація рекомендацій + – – –
4 Персоналізація по
– – – –
стилю водіння
5 Холодний старт + +/– + +
6 Використання на будь-
+/– + + +
якому ТЗ
7 Вартість рішення Висока Низька Помірна Помірна
СССВ доступні в заводських комплектаціях нових автомобілів, а деякі серед
них можна придбати та встановити окремо. Варто відзначити, що подібні
технології доступні не для всіх ТЗ, а ціновий діапазон досить високий. На відміну
від СССВ, МСГР системи вимагають від водія тільки наявності смартфону
36
середньо-цінового сегмента із встановленим на ньому мобільним додатком, що
реалізує функції підвищення безпеки поведінки водія в процесі водіння, що
дозволяє використовувати системи контролю за поведінкою водія та дорожньою
обстановкою в будь-якому ТЗ. Існуючі мобільні програмні комплекси сильно
обмежені в можливостях розпізнавання аварійних ситуацій в процесі руху. Жодне
з подібних рішень не оцінює повною мірою поведінку водія за кермом всередині
кабіни ТЗ.
На рис. 2.1 представлена схема об'єднання сенсорів для зчитування
показників, що надходять від різних сенсорів смартфону та використовуються
системою РСПАС, способи впливу на водія ТЗ. Вихідними даними для РСПАС є
показники вбудованих у смартфон приладів, таких як фронтальна камера, GPS,
акселерометр, гіроскоп, магнітометр, мікрофон і датчик освітленості.
Рисунок 2.1 – Схема об'єднання сенсорів на основі використання смартфона
Отримуючи зображення водія з фронтальної камери, мобільний додаток
застосовує ряд програмних операцій для виділення лицьових характеристик водія
для визначення його невідповідної поведінки. Зміни у швидкості, прискоренні або
гальмуванні автомобіля, що вираховуються GPS і акселерометром на основі
супутникових даних та прискорення сили ваги, дозволяють характеризувати
37
поведінку водія при керуванні ТЗ. Положення в просторі смартфона й напрямок
руху ТЗ, визначені гіроскопом та магнітометром, дозволяють РСПАС точніше
охарактеризувати ту або іншу поведінку поточного водія від інших водіїв
системи. Мікрофон, що вимірює рівень сигналу шуму в кабіні ТЗ, застосовується
при генерації рекомендацій водієві для визначення ситуацій, коли водій їде один
або з пасажирами. Датчик освітленості смартфону використовується РСПАС при
виявленні темного часу доби, коли обробка зображень водія із фронтальної
камери стає недоцільною через неможливість розпізнавання лицьових
характеристик. На основі інформації із сенсорів смартфона РСПАС повідомляє
водія про виникнення небезпечної ситуації за допомогою рекомендацій, що
надходять через графічний дисплей, аудіодинаміки смартфону або вібрації
обладнання переносної електроніки.
На основі аналізу існуючих проектів і досліджень по розробці систем
активної безпеки та підтримки водіїв, до побудови системи попередження
аварійних ситуацій на основі моніторингу поведінки водія були сформульовані
наступні вимоги:
− підтримка розпізнавання небезпечної поведінки та послідовна
ідентифікація аварійних ситуацій внаслідок втоми і ослабленої уваги водія;
− функціонування системи моніторингу аварійних ситуацій та реалізація
рекомендацій водієві при керуванні ТЗ під час відсутності підключення до мережі
Інтернет;
− завчасне попередження водія про виявлений небезпечний стан за
допомогою інформаційного, звукового та вібросигналу;
− генерація рекомендацій водієві, які інформують його про те, як можна
запобігти виникненню або знизити наслідки аварійної ситуації.
− персоналізація та адаптація системи РСПАС індивідуально до поведінки
та стилю водіння водія. Персоналізація системи дозволяє адаптувати технології
підвищення безпеки для кожного водія шляхом поліпшення його взаємодії із
системою за допомогою напрацювання підходящих контекстно-орієнтованих
рекомендацій для запобігання виникнення аварійної ситуації. Дана вимога може
38
бути виконана за рахунок надання можливості калібрування водієм мобільного
програмного комплексу перед першим запуском, врахування географічного місця
розташування знаходження водія;
− перегляд історії використання системи РСПАС та статистики керування
ТЗ. Дана вимога здійснена за рахунок записування, зберігання та аналізу
накопичених даних про контекст всередині кабіни ТЗ та дорожню ситуацію з
наступною синхронізацією інформації із залученням віддаленого хмарного
середовища зберігання;
− підтримка режиму безперервної роботи мобільного програмного
комплексу на передньому плані дисплея смартфону за рахунок свого знаходження
поверх всіх інших працюючих додатків;
− підтримка повної працездатності програмного комплексу на версіях
мобільної операційної системи (ОС) Android 4.2 та вище. Дана вимога обумовлена
тим, що підтримка досить застарілих версій Android може ускладнити розробку
мобільного програмного комплексу, збільшивши час на підтримку таких версій;
− функціонування програмного комплексу при погіршенні умов
освітлення всередині кабіни ТЗ та навколишнього оточення. Рівень освітленості є
однією з найважливіших характеристик, що впливають на кінцеву якість
зображення, отриманого із фронтальної камери смартфона;
− безперервність моніторингу за дорожнім станом та станом водія в
режимі реального часу. Робота системи повинна здійснюватися безперервно,
незалежно від запуску інших додатків, встановлених на смартфоні водія. Щоб
забезпечити максимальну безперервність і ефективність роботи системи,
непомітну для водія, необхідно забезпечити тривалість, безперервність і
коректність роботи та знайти оптимальний баланс між безперервністю роботи
системи безпеки та енергозбереженням смартфону водія;
− проінформованість у реальному часі про поточну ситуацію в кабіні ТЗ та
дорожній стан. Виконання цієї вимоги необхідне для формування контекстно-
орієнтованих рекомендацій водієві в процесі руху. Така поінформованість може
бути статичною (інформаційний профіль водія, картографічні дані) або
39
динамічною (рівень освітленості в кабіні, швидкість руху автомобіля, рух в
заторах, ДТП, прогноз погоди);
− конфіденційність та безпека. Зі збільшенням кількості розроблювальних
систем активної безпеки, обсягу переданої інформації та зростання уваги до
подібних систем ростуть і вимоги до конфіденційності та інформаційної безпеки.
Підключені до мережі Інтернет технічні системи ТЗ можуть містити безліч точок
потенційної взаємодії. Безпосередніми елементами такої взаємодії можна
виділити керування автомобільною системою та даними всередині неї. Керування
системою можна розуміти, як будь-яку інформацію, яка надається системі будь-
яким учасником обміну даними з метою вплинути на поведінку системи таким
чином, щоб змінити її стан або стан її середовища;
− розширюваність системи. Програмний комплекс РСПАС повинен бути
розроблений таким чином, щоб можна було легко внести доповнення та зміни,
якщо це буде потрібно, і при цьому не порушити цілісність системи. Дана вимога
може бути досягнута в процесі реалізації системи шляхом застосування шаблонів
і паттернів проектування;
− надійність. Процес реалізації мобільного програмного комплексу на
смартфоні повинен бути захищений як від внутрішніх (переповнення буфера), так і
від зовнішніх помилок (використання недокументованих інтерфейсів ОС або
певних моделей смартфонів) з боку операційної системи та сторонніх додатків.
Журнал логування дій та накопичена інформація в ній, повинні періодично
синхронізуватися з віддаленим хмарним середовищем на випадок аварійного
згортання додатка або випадкового ушкодження внутрішньої пам'яті смартфону з
метою подальшого відновлення;
− енергоефективність. В останні роки енергозбереження та
енергоефективність мобільних телефонів стає серйозною проблемою. При
реалізації мобільного програмного комплексу повинен бути задіяний ряд
технічних методів та підходів, спрямованих на ефективне та заощадливе
використання можливостей смартфона з метою заощадження його заряду
акумулятора.
40
Опираючись на вимоги побудови РСПАС і враховуючи обладнання та умови
роботи існуючих сучасних моделей смартфонів, були сформульовані наступні
обов'язкові вимоги до смартфону та розроблюваної системи:
− наявність сенсорів акселерометра, гіроскопа та GPS в смартфоні, що
дозволяють зчитувати характеристики дій водія під час руху;
− мінімальна роздільна здатність вихідного зображення із фронтальної
камери рівна 300 пікселів по кожній із сторін, визначена на основі проведених
експериментів розпізнавання станів ослабленої уваги та втоми водія.
Висновок до другого розділу
Розроблена розподілена система попередження аварійних ситуацій має ряд
істотних переваг перед мобільними системами генерації рекомендацій,
внутрішніми камерами відеоспостереження, встановленими всередині кабіни
автомобіля та пристроями переносної електроніки. Дана система дозволить не
тільки здійснювати моніторинг ознак втоми та ослабленої уваги у водія за кермом
автомобіля під час водіння, а також безупинно самовдосконалюватись та
адаптуватися до поведінки і стилю водіння конкретного водія, враховуючи його
особливості. Таким чином, адаптація системи РСПАС до поведінки водія за
кермом ТЗ підвищить точність і якість розпізнавання небезпечних випадків водія
та генерації йому контекстно-орієнтованих рекомендацій, що враховують
попередній досвід використання системи і статистику взаємодії між іншими
учасниками РСПАС. Варто відзначити, що одною з переваг використання систем
РСПАС є не тільки більш доступна вартість смартфонів, але й у тому числі те, що
на сьогоднішній день смартфони широко поширені серед населення і найчастіше
необхідність у його придбанні для водія відсутня.
У ході аналізу рішень, присвячених побудові систем активної безпеки, що
здійснюють моніторинг ситуації всередині кабіни ТЗ і дорожньої ситуації з метою
виявлення небезпечних випадків у процесі руху, були сформульовані основні
вимоги, які слід враховувати при розробці системи РСПАС, а саме:
1. Підтримка розпізнавання небезпечного стану водія;
41
2. Функціонування РСПАС під час відсутності підключення до мережі
Інтернет;
3. Завчасне попередження водія про небезпечний стан за допомогою
інформаційного, звукового чи вібросигналу смартфона;
4. Генерування рекомендацій водієві для прийняття ним заходів щодо
запобігання виникнення аварійної ситуації;
5. Персоналізація та адаптація РСПАС індивідуально до поведінки та стилю
водіння водія;
6. Підтримка перегляду історії використання мобільного програмного
комплексу та статистики керування ТЗ;
7. Підтримка режиму роботи РСПАС на передньому плані поверх сторонніх
додатків;
8. Підтримка повної працездатності програмного комплексу на версіях
мобільної ОС Android 4.2 і вище;
9. Функціонування РСПАС при погіршенні умов освітлення всередині кабіни
ТЗ та навколишнього оточення;
10. Забезпечення безперервності моніторингу за дорожнім станом та станом
водія під час руху;
11. Проінформованість про поточну ситуацію в кабіні ТЗ та дорожній стан;
12. Конфіденційність і безпека;
13. Розширення системи; надійність; енергоефективність.
Аналіз існуючих систем активної безпеки, що складаються з обладнання та
технологій, що попереджують про ймовірність виникнення аварійної ситуації при
водінні, показав, що не всі рішення повною мірою задовольняють сформульовані
вище вимоги. Враховуючи зростання зацікавлення автовиробників та
постачальників автокомплектуючих (радари, лідари, камери, та ін.) до технічних
аспектів активної безпеки автомобіля, розробка системи РСПАС, що включає
відповідність перерахованим вимогам, є актуальним завданням, рішення якого
дозволить підвищити безпеку, ефективність пересування водія в автомобілі та
його навички керування ТЗ.
42
РОЗДІЛ 3 ПІДХІД ДО МОДЕЛІ ПОБУДОВИ КОНТЕКСТНО-
ОРІЄНТОВАНОЇ СИСТЕМИ ПОПЕРЕДЖЕННЯ АВАРІЙНИХ СИТУАЦІЙ
НА ОСНОВІ МОНІТОРИНГУ ПОВЕДІНКИ ВОДІЯ
3.1 Принципи побудови системи попередження аварійних ситуацій при
водінні на основі огляду існуючих проектів та досліджень
На основі вимог побудови розподіленої системи попередження аварійних
ситуацій, можна виділити наступні основні принципи, що лежать в основі
розроблюваної РСПАС:
− Відкритий вихідний код. Основні програмні розв'язки (бібліотеки,
фреймворки), що допомагають у вирішенні завдань РСПАС, що надають
інформацію для системи генерації рекомендацій водієві, повинні мати відкритий
вихідний код і не повинні мати ліцензійні обмеження на його використання та
подальшу модифікацію. Відкритість програмного забезпечення і незалежність
доступу безлічі користувачів до вихідного коду дозволить не тільки контролювати
поведінку програмного засобу, його безпеку, надійність, функціональний стан і
якість, а також, при необхідності, модифікувати вихідний код.
− Використання онтологій. Незважаючи на те, що системи завчасного
виявлення та попередження виникнення дорожніх пригод набирають популярність
і поширеність серед великої кількості автовиробників, інформація про дану
категорію систем у різному ступені відкрита та розрізнена між розроблювачами
даних систем безпеки. Однією з основних переваг використання онтологій є
системний підхід до описання предметної області.
− Завчасне попередження водія про виникнення небезпечної ситуації.
Виходячи з того, що розроблюваний програмний комплекс призначений для
підвищення безпеки водія за кермом ТЗ, виявлення аварійних ситуацій повинне
відбуватися завчасно, щоб водій встигнув вчасно зреагувати на зроблене
попередження та прийняти рішення щодо того, як уникнути або знизити наслідки
ймовірного виникнення аварійної ситуації.
− Енергозбереження заряду акумулятора смартфону. Як відомо, при
43
активному використанні смартфони досить швидко витрачають заряд вбудованої
батареї, що може привести до повної розрядки телефону та, відповідно,
відключенні РСПАС.
− Використання контекстної інформації. Для персоналізації результатів
роботи системи для водія, виявлення небезпечного стану у поведінці водія,
генерації сповіщень і рекомендацій та адаптації системи до внутрішніх змін,
система повинна використовувати наявну інформацію про водія та його
навколишню обстановку (контекст). До такої інформації відноситься інформація
про користувача (ім'я, вік, стаж водіння та ін.), про ТЗ (тип ТЗ, рівень палива, і
т.п.), параметри водіння (тип поїздки - на далеку відстань по трасі чи в межах
міста, т.д.) та дорожньої ситуації (затори, ДТП, погодні умови, та ін.).
− Персоналізація до поведінки водія. Виходячи з того, що основною метою
системи є підвищення безпеки при керуванні ТЗ, водій повинен бути забезпечений
зручним інструментом, що дозволяє непомітно для самого водія враховувати його
особливості водіння та здійснювати персоналізацію роботи із системою за
рахунок надання інформації, актуальної та цікавої конкретному водієві
анонімізованої інформації від інших учасників РСПАС та фонову підтримку водія
при проходженні по маршруту.
− Робота в режимі реального часу. З метою запобігання та зниження
наслідків дорожніх подій у сфері пасажирських та вантажоперевезень система
повинна мати актуальну інформацію про поточну ситуацію та надавати
результати обробки такої інформації під час руху водія. Підтримка контексту
користувача та інформації про поточну дорожню ситуацію в актуальному стані
дозволить максимально швидко виявляти поточні потреби водія та викликати
відповідні їм реакції системи.
− Конфіденційність інформації про водіїв. Необхідність збору та аналізу
великої кількості інформації про водіїв обумовлена персоналізацією системи.
Система повинна забезпечити недосяжність цієї інформації третім особам на
основі контролю та розмежування прав доступу для різних типів учасників
РСПАС. Збір інформації, не пов'язаної з персоналізацією результатів роботи
44
системи, повинен проходити винятково в знеособленому виді для неможливості
ідентифікації та наступної компрометації джерела.
Сформульовані принципи (табл. 3.1) характеризують правила побудови
програмного комплексу попередження водія при аварійній ситуації, що припускає
спостереження за поведінкою водія ТЗ з використанням онтології та фронтальної
камери смартфона.
Таблиця 3.1 – Вимоги та принципи побудови РСПАС
№ Вимога Принцип
Підтримка розпізнавання Використання онтологій; використання алгоритмів визначення
1 ослабленої уваги та втоми стану ослабленої уваги та втоми в поведінці водія на основі
водія ТЗ зображень із фронтальної камери та даних сенсорів смартфона
Функціонування РСПАС під Використання онтологій; робота в режимі реального часу;
2 час відсутності підключення використання постійної пам'яті смартфона для зберігання
до мережі Інтернет допоміжних файлів
Своєчасне попередження Безперервний активний моніторинг ознак небезпечних
водія про небезпечну випадків водія з використанням фронтальної камери та
3
ситуацію сенсорів смартфона; робота в режимі реального часу;
використання контекстної інформації
Генерація рекомендацій Використання контекстної інформації; використання
4 водієві алгоритмів генерування персоналізованих рекомендацій;
відкритість джерел інформації
Персоналізація та адаптація Кластеризація профілів водіїв РСПАС на окремі групи та
програмного комплексу виділення загальних характеристик для кожної групи;
5 індивідуально до поведінки використання моделі хмарного середовища; використання
та стилю водіння водія контекстної інформації; конфіденційність інформації про водіїв
Підтримка режиму Енергозбереження заряду акумулятора смартфона; запуск
6 безперервної роботи мобільного додатка РСПАС на передньому плані поверх
РСПАС сторонніх додатків
Функціонування РСПАС Використання зчитуваних показань із фронтальної камери та
при погіршенні умов сенсорів смартфона; генерування сигналів попередження;
7
освітлення в кабіні ТЗ і використання контекстної інформації
навколишнього оточення
Перегляд історії Використання концептуальної моделі системи РСПАС,
8 використання РСПАС і онтологічної моделі водія, інформаційної моделі профілю водія
статистики керування ТЗ та моделі хмарного середовища; використання онтологій
Конфіденційність і Розмежування прав доступу до перегляду та модифікації
безпека інформації про водіїв і статистики водіння ТЗ відповідно до
9
ролі учасника РСПАС; відкритий вихідний код програмних
засобів
Дане програмне забезпечення спрямоване на визначення стану втоми та
ослабленої уваги водія ТЗ. Здійснюючи безперервне спостереження за фізичним
станом водія за допомогою фронтальної камери та сенсорів смартфона,
45
розроблювальна система РСПАС фіксує характеристики положення голови та
обличчя людини та їх відхилення від норми. На основі аналізу цих характеристик
система виявляє ймовірність виникнення аварійних ситуацій та генерує
рекомендації із запобігання дорожньо-транспортних випадків.
3.2 Контекстно-орієнтований підхід до створення розподіленої системи
попередження аварійних ситуацій
Створення системи попередження аварійних ситуацій, що враховує поведінку
водія, характеристику руху ТЗ та поточні умови оточення вимагає аналізу різного
роду інформації, контексту, що характеризує ситуацію в якій перебуває водій ТЗ
[19]. Таким чином, запропонований контекстно-орієнтований підхід (рис. 3.1) до
створення розподіленої системи попередження аварійних ситуацій.
Рисунок 3.1 – Контекстно-орієнтований підхід до створення системи РСПАС
46
Контекстно-орієнтований підхід полягає в розподіленому накопиченні,
аналізі загальної інформації про водія, контекст, його компетенцію та історію
взаємодії із РСПАС, класифікації водіїв системи. Даний підхід включає чотири
основні компоненти: водій, смартфон, хмарне середовище та користувачі.
Компонент «Водій» описує психофізіологічні особливості водія ТЗ. Є
основним джерелом інформації для системи РСПАС. Даний компонент
складається з модулів «профіль водій» та «оброблені параметри водія (голова та
риси обличчя)». Перший модуль характеризується загальною інформацією про
водія (ім'я, прізвище, стать, вік, номер телефону, та ін.), його стиль водіння
(манера гальмування та прискорення, швидкісний режим на маршруті, кількість та
різкість маневрів), навичками та стажем водіння, категорією водія, до якої водій
віднесений у результаті персоналізації РСПАС та ПДР. Загальна інформація, що
характеризує водія ТЗ, допомагає не тільки ідентифікувати водія серед інших
водіїв-операторів, що встановлюють та використовують даний програмний
комплекс, а також поліпшити пошук та співвідношення водіїв зі схожими
характеристиками. В іншому модулі, оброблені параметри водія,
психофізіологічні показники зчитуються та формалізуються в режимі реального
часу за рахунок використання методів і підходів комп'ютерної обробки зображень
із фронтальної камери та одержання даних із сенсорів смартфона, а саме
акселерометра та гіроскопа. Ознаки станів ослабленої уваги та втоми у водія
характеризуються наступними спостережуваними параметрами: PERCLOS
(Percentage of eye Closure – проміжок часу, протягом якого очі водія закриті) [12],
поворот голови вліво/вправо стосовно тулуба, нахил голови вперед щодо тулуба
(момент, коли водій «клює носом»), тривалість моргання повік, частота моргання
повік, ступінь відкритості рота людини (ознаки позіхання). Манера їзди або стиль
водіння формуються для кожного водія індивідуально та дозволяють
охарактеризувати того або іншого оператора ТЗ і надалі сформувати пропозиції по
поліпшенню його навичок водіння ТЗ, підвищуючи загальну безпеку керування.
Стиль водіння визначений на основі ряду параметрів, включаючи темп і
швидкість пересування, час розгону, різке прискорення та гальмування, поворот
ТЗ, тип поведінки водія за кермом на дорозі. Перераховані параметри
47
реєструються за допомогою вбудованих датчиків у смартфон, до яких відноситься
акселерометр, гіроскоп, GPS, магнітометр, мікрофон. Перераховані показники та
оброблювані параметри допомагають розпізнати небезпечний стан водія ТЗ та
знизити ймовірність виникнення небезпечного стану, а саме втоми або ослабленої
уваги у водія, що у свою чергу є одним з головних принципів побудови системи
попередження аварійних ситуацій.
Наступним компонентом мобільного програмного комплексу є смартфон
водія, що функціонує на платформі ОС Android. Координуючим модулем РСПАС
є мобільний додаток, встановлений у внутрішню пам'ять смартфона та
виступаючий в якості сполучної ланки, через яку протікають усі процеси передачі
інформації. Розроблений мобільний додаток включає різного типу програмні
модулі та виконує наступні завдання: зчитування інформації із фронтальної
камери та сенсорів, виявлення небезпечного стану водія, калібрування системи
для водія, генерація рекомендацій, пошук та побудова маршруту до місця
відпочинку (кафе, готель або автозаправна станція).
Сучасні смартфони оснащуються різними сенсорами, що дозволяють
отримати інформацію про взаємодію обладнання з фізичним оточенням, а саме
напрямок руху, орієнтація в просторі та різні умови навколишнього середовища.
Модуль зчитування та обробки сенсорних даних збирає, аналізує та формалізує
показання з доступних датчиків смартфона безупинно під час руху водія ТЗ.
Даний модуль надає доступ до такої інформації про поїздку водія, як відео-фрейм
обличчя водія в кабіні ТЗ, швидкість пересування, поточна геопозиція, відстань
водія від найближчих місць відпочинку та факт переміщення в іншу смугу руху
чи поворот ліворуч/праворуч. Перераховані типи показників отримуються від
наступних датчиків:
− фронтальна камера використовується для безперервної зйомки зображень
положення голови та рис обличчя водія в процесі руху. При відеозйомці задіяні
такі параметри, як роздільна здатність вихідного відеосигналу, автофокусування,
формат вихідних зображень (YUV420 - цифровий формат для вихідних зображень
камери на платформі Android);
− акселерометр (G-сенсор) відноситься до датчиків руху, що дозволяє
48
визначити орієнтацію смартфону та прискорення сили ваги по трьох осях;
− гіроскоп відслідковує положення обладнання в просторі, або кут нахилу;
− магнітометр вимірює величину напруженості магнітного поля вздовж
трьох осей смартфону. Дані з датчиків магнітометра та гіроскопа можуть
поєднуватися для більш точного визначення напрямку руху ТЗ;
− система супутникової навігації GPS забезпечує вимірювання відстані, часу,
дозволяє отримати поточне місце розташування та абсолютну швидкість руху ТЗ;
− мікрофон дозволяє з високою точністю виміряти рівень звукового сигналу
в зовнішньому оточенні. Даний датчик дозволяє розрізняти ситуації, коли водій
починає розмову з одним з пасажирів у ТЗ, або слухає музику чи радіо через
мультимедійну систему;
− датчик освітленості дозволяє визначити зміну кількості світла, що
надходить ззовні. Датчик може бути використаний для вимірювання низького
рівня освітленості у кабіні ТЗ, коли отримання та обробка зображень із
фронтальної камери є недоцільним і неможливим відповідно оцінки освітлення
робочого місця водія. У випадку, якщо кількість світла в кабіні ТЗ недостатня для
повної працездатності РСПАС, програмний комплекс може попередити водія про
тимчасове чи часткове відключення функції розпізнавання небезпечних ситуацій
у процесі руху.
Початковим кроком для використання водієм системи РСПАС є її первинне
калібрування, що здійснюється модулем «калібрування системи для водія», яка
дозволить мобільному додатку врахувати параметри водія (наприклад, нахил
голови водія вліво/вправо, вперед/назад стосовно тулуба), параметри та
можливості смартфону (наприклад, присутність того або іншого датчика,
необхідного для повного функціонування РСПАС, рівень гучності попереджень
про небезпечну ситуацію) і ТЗ (легковий або вантажний автомобіль) і краще
адаптуватися під конкретного водія.
На основі онтології РСПАС, що включає інформацію про водія, профіль,
лицьові характеристики, ТЗ та показання сенсорів смартфону, модуль виявлення
небезпечних ситуацій дозволяє зіставити оброблені параметри поведінки водія та
49
небезпечні ситуації, з яким він може зіштовхнутися при керуванні ТЗ, на основі
обстановки в кабіні ТЗ. На основі виявленого небезпечного стану та поточної
ситуації, у якій перебуває водій і ТЗ, модуль рекомендацій виробляє практичні
рекомендації, націлені на зниження ймовірності виникнення аварійної ситуації. У
випадку, якщо згенерована рекомендація полягає в тому, щоб запропонувати
водієві скористатися найближчим місцем відпочинку, модуль пошуку місць
відпочинку може знайти місце для зупинки, відпочинку та побудувати
оптимальний маршрут до цього пункту призначення.
Упорядковане зберігання та користування відомостями про групу об'єктів
забезпечується за рахунок використання локального сховища даних (СД), що
представляє собою інформаційну базу даних (БД) системи керування базами
даних, і адаптованого для використання на мобільних обладнаннях платформи
Android. Локальне СД застосовується при записі та зберіганні тимчасових даних і
опрацювання їх з метою подальшої синхронізації та відправлення у віддалене
хмарне середовище. Варто відзначити, що можливість роботи програмного
комплексу без підключення до інтернету (офлайн) забезпечує сховище даних, що
виконує легування, запис подій та їх характеристик у внутрішню пам'ять
обладнання при втраті зв'язку, а коли вона відновлюється – у хмарне середовище.
З відновленням з'єднання з мережею Інтернет у системі РСПАС
поновлюється можливість доповнити інформацію, що накопичується на
смартфоні тією, що є результатом роботи програмних модулів і алгоритмів,
зосереджених у хмарному середовищі, орієнтованому на постобробку даних, що
надходять від водіїв та інших учасників системи.
Хмарне середовище отримує від мобільного додатка таку інформацію як
характеристика водіння водія (прискорення, гальмування, плавність ходу,
маневри, маршрут слідування та ін.), небезпечні стани в процесі руху, та
статистика використання додатка. На основі даних, що збираються з мобільного
обладнання водія, виділяються та формуються його патерни поведінки,
унікальний стиль (манера) водіння, що характеризують конкретного водія. Варто
відзначити, що в якості користувачів РСПАС адміністратори автопарків та
представники страхових компаній здійснюють моніторинг історії взаємодії із
50
системою й аналіз статистики водіння водіїв. Крім того, використовуючи
результати роботи хмарного середовища, РСПАС дає можливість користувачам
системи підвищити ефективність використання водіями ТЗ, знизивши
експлуатаційні витрати при обслуговуванні та поліпшити взаємодію з
безпосередніми клієнтами тієї або іншої компанії.
Загальна схема роботи розподіленої системи попередження аварійних
ситуацій визначена в такий спосіб. Встановлений на смартфон мобільний
програмний комплекс РСПАС задіює апаратні можливості смартфона у вигляді
фронтальної камери та сенсорів телефону для отримання зображень водія і
параметрів поїздки (поточна швидкість пересування, прискорення, гальмування і
т.д.). Для пошуку і витягу характеристик голови та рис обличчя водія (положення
голови, PERCLOS, швидкість моргання повік, напрямок погляду, ступінь
відкритості рота) його вихідне зображення, що надходить на вхід модулю обробки
зображень, обробляється методами комп'ютерного зору [13, 14]. Використовуючи
онтологію водія й ТЗ, модуль виявлення небезпечних ситуацій визначає наявність
ознак небезпечної поведінки водія за кермом ТЗ. Залежно від виявленого
небезпечного стану, втоми або ослабленої уваги, модуль генерації рекомендацій
сигналізує водію про виникнення позаштатної ситуації та видає інструкцію з того,
як можна запобігти аварійній ситуації або знизити наслідки її виникнення.
3.3 Інформаційна модель профілю водія ТЗ
Аналіз існуючих систем активної безпеки та технологій, встановлених в
автомобілі на заводах автовиробниках, спеціалізованих сервісах або вручну після
придбання ТЗ, представлених в якості МСГР або ПЕ дозволив виділити наступну
інформацію про оператора (водія) РСПАС ТЗ: загальна інформація про водія,
контекст, компетенції водія та історія взаємодії із системою.
Розроблену інформаційну модель профілю водія системи РСПАС при
керуванні ТЗ наведено на рис. 3.2.
51
Рисунок 3.2 – Інформаційна модель профілю водія
В якості головної діючої особи для інформаційної моделі обраний водій ТЗ.
Він надає інформацію системі на основі сукупності параметрів і зв'язків, що
дозволяє моделювати різні стани водія на основі передачі інформації.
«Загальна інформація про водія» містить в собі наступну інформацію: ПІП,
стать, дата народження, сімейний стан, стаж водіння, номер мобільного телефону.
Дана інформація є базовою та характеризує водія.
Розділ «контекст» описує всю інформацію, що характеризує навколишній
стан, в якому перебувають водій, ТЗ та складається із двох підрозділів «Контекст
водія» і «Контекст ТЗ». Розділ «Контекст водія» міститься інформація про
оператора мобільного програмного комплексу, яка змінюється залежно від
поточної ситуації в кабіні ТЗ та дорожнього стану. У даний розділ включені
наступні атрибути: параметри калібрування системи РСПАС, обладнання та
програмне забезпечення, психофізіологічні особливості водія, симптоми
небезпечної поведінки та кількість годин без перерви на відпочинок. Атрибут
«параметри калібрування системи» визначає настройки калібрування мобільної
системи допомоги водієві, здійснені при першому запуску додатку, що
дозволяють краще налаштуватися під конкретного водія ТЗ (кут нахилу голови
водія за замовчуванням, фокусна відстань об'єктива, відстань від фронтальної
камери смартфона до водія, бажаний рівень гучності смартфона). Атрибут
«використане програмне забезпечення» описує технічні характеристики
смартфону, що використовується водієм ТЗ. Атрибут «використане програмне
52
забезпечення» характеризує програмний комплекс, що встановлюється та
налаштовується на смартфоні водія і призначений для прогнозування ймовірності
виникнення аварійних ситуацій. Атрибут «психофізіологічні особливості» описує
стан водія в поточний проміжок часу, що характеризує його швидкість реакції,
точність та послідовність дій. Атрибут «симптоми небезпечної поведінки» містять
інформацію про виявлену небезпечну поведінку водія за кермом автомобіля з
метою подальшого генерування рекомендацій для запобігання виникнення
аварійної ситуації. Атрибут «стан всередині салону кабіни ТЗ» описує різні
параметри та умови в кабіні ТЗ (рівень освітленості, рівень шуму).
Розділ «Контекст ТЗ» описує інформацію, пов'язану із ТЗ, таку як його
категорія (легковий або вантажний), характеристики, місце розташування й
дорожні умови. Атрибут «характеристики руху» містить інформацію про
напрямок та швидкість руху водія в конкретний момент часу. Атрибут «місце
розташування» містить інформацію про поточне географічне місце розташування
ТЗ та прилеглих місць відпочинку, що використовуються при формуванні
рекомендацій. Відомості про місця відпочинку описують пришляхові зупинки,
якими водій може скористатися при настанні втоми, ослабленої уваги та зробити
невеликий відпочинок в 20-30 хв., випивши тонізуючий напій або ж скористатися
повноцінним 7-8 годинним сном, відновивши сили перед наступною поїздкою.
Атрибут «дорожні умови» описує час у дорозі, та час, що залишився до кінцевого
пункту призначення, поточний час доби та відображає поточний ступінь
завантаженості автомобільних доріг.
Розділ «Компетенції водія» описує здатність та прагнення водія до дій на
основі його особистих параметрів, знань, навичок та включає групи водіїв,
дотримання правил дорожнього руху та патерни поведінки. Компетенції водіїв
заповнюються системою автоматично на основі історії роботи із системою,
патернів поведінки та стилю водіння водія. Групи водіїв містять виявлену
інформацію про приналежність до тієї чи іншої групи, до якої система віднесла
даного водія. Формалізація компетенцій дозволяє здійснити автоматичну
кластеризацію водіїв за допомогою формування профілів поведінки з наступним
виявленням груп водіїв зі схожими характеристиками в керуванні ТЗ.
53
3.4 Моделі системи попередження аварійних ситуацій і розробка
контекстно-орієнтованих рекомендацій для водія ТЗ
На основі сформульованих принципів розглянуто чотири варіанти ролей
(діючих осіб – людей), що приймають участь у процесі взаємодії із РСПАС.
Варіант використання РСПАС водієм власного ТЗ (рис. 3.3). У цьому
випадку водій встановлює систему РСПАС на свій смартфон і використовує її в
необхідних для нього ситуаціях. Перевагами такої взаємодії водія із РСПАС є
прагнення водія до підвищення власної безпеки за кермом ТЗ за рахунок
реагування на згенеровані мобільним додатком рекомендації, що враховують
поточний контекст.
У якості одного з результатів взаємодії водія із системою РСПАС є оцінка
його стилю водіння на основі аналізу зроблених поїздок і, як наслідок,
безперервне підвищення безпеки руху та скорочення витрат на обслуговування
ТЗ шляхом підвищення ефективності його експлуатації.
Рисунок 3.3 - Діаграма використання РСПАС водієм власного автомобіля
Варіант використання РСПАС водієм та адміністратором автопарку.
Незважаючи на те, що дорожні аварії з вини вантажного автотранспорту
відбуваються набагато рідше, чим з вини легкових автомобілів, смертність у ДТП
із вантажними автомобілями залишається високою. Серед факторів, що
54
викликають зниження пильності водія та приводять до пригод за участю
вантажного автотранспорту, можна виділити такі як складні робочі графіки,
невірно спланований маршрут або прояв квапливості з боку роботодавця або
замовника. У цьому випадку РСПАС можуть із легкістю знайти застосування в
логістичних компаніях, що здійснюють вантажні перевезення (рис. 3.4).
Рисунок 3.4 – Діаграма використання РСПАС водієм та адміністратором
автопарку
Запропонований варіант має на увазі моніторинг поїздок адміністратором
автопарку та використання системи генерації рекомендацій штатними водіями
автопарку. Перевагами даного варіанта використання РСПАС є прагнення
адміністратора автопарку забезпечити кожного водія смартфоном із встановленим
на ньому РСПАС, що у свою чергу дозволить безупинно відслідковувати
місцезнаходження водія, його психофізіологічний стан і вести контроль обліку
відпочинку водія в режимі реального часу.
Варіант застосування системи РСПАС страховою компанією для
використання водієм. Принцип Usage Based Insurance («Страхування на основі
фактичного використання») (UBI) [18] був введений на ринок ТЗ ще 10 років
55
тому. На даний момент існує два види моделей UBI: Pay As You Drive (PAYD) та
Pay How You Drive (PHYD). На даний момент страхові компанії все частіше
застосовують техніку PHYD в області автострахування, у результаті роботи якої
проводиться аналіз поведінки водія за кермом ТЗ та динамічно розраховується
вартість страхування ТЗ при наступному оформленні. Для застосування подібної
техніки дані компанії задіють або телеметричне обладнання, що підключається
через діагностичний порт ТЗ, або смартфон водія із встановленим на ньому
відповідним мобільним додатком. У якості мобільного додатка може виступити
розроблювальна система РСПАС. У процесі експлуатації ТЗ мобільний додаток
надає страховій компанії необхідні дані про водія. За рахунок аналізу отриманих
даних із сенсорів (акселерометр, гіроскоп, GPS) про стиль водіння водія страхова
компанія надає можливість скорегувати тарифний план страхування ТЗ.
Перевагою застосування даної моделі (рис. 3.5) є прагнення страхових компаній
підвищити безпеку дорожнього руху, знизити витрати на оформлення страхових
полісів для водіїв і, як результат, залучити більше клієнтів.
Рисунок 3.5 - Діаграма сценарію використання РСПАС водієм у рамках
страхування
56
Розроблено загальну схему взаємодії РСПАС, представлену у вигляді
діаграми послідовності (рис. 3.6), на прикладі водія. Водій ТЗ, що здійснює
взаємодію головним чином із РСПАС за допомогою смартфону (учасник
процесу), задіює модулі калібрування системи під водія, зчитування інформації з
камери й сенсорів, виявлення небезпечних випадків, генерацію рекомендацій,
пошуку місць відпочинку та синхронізацію інформації із хмарним середовищем.
Рисунок 3.6 – Загальна діаграма використання РСПАС
Використання водієм РСПАС у кабіні ТЗ починається з модуля калібрування
системи, що налаштовується під поточного водія з урахуванням його зовнішніх
характеристик обличчя та його рис, а також переваг при використанні
програмного комплексу на смартфоні (наприклад, рівень гучності, повідомлень
попередження, рекомендацій).
Далі, інформація про водія, що збирається та накопичується модулем
зчитування інформації із сенсорів смартфону, обробляється і надходить у модуль
виявлення небезпечних випадків для подальшого виявлення ознак ослабленої
уваги та втоми у водія. При розпізнаванні небезпечної поведінки модуль генерації
57
рекомендацій повідомляє водія про небезпечну ситуацію за допомогою звукового
сигналу та контекстно-орієнтованих рекомендацій за рахунок голосових або
текстових повідомлень про вживання належних заходів з його боку по
запобіганню аварійної ситуації. У випадку, якщо в області досяжності водія
знаходяться зони відпочинку, модуль пошуку місць відпочинку сповістить його
про такі місця та запропонує скористатися одним зі знайдених варіантів. Одним із
ключових аспектів функціонування РСПАС є персоналізація до стилю водіння
індивідуально для водія. Дана функція РСПАС здійсненна за рахунок
синхронізації інформації через хмарне середовище за допомогою відповідного
модуля у фоновому режимі (без переривання інших функцій РСПАС) безупинно
на всьому протязі роботи програмного комплексу. Інформація, що накопичується
в процесі керування ТЗ, при наявності Інтернет-з'єднання періодично
синхронізується у фоновому режимі з віддаленим хмарним середовищем (модуль
синхронізації інформації із хмарним середовищем) з метою обміну інформацією
про патерни поведінки конкретного водія та подальшого підвищення точності
модуля виявлення небезпечних випадків. Також даний модуль надає можливість
запиту статистики взаємодії водія із РСПАС на будь-якій ділянці руху.
3.5 Аналіз хмарного середовища, що здійснює зберігання, аналіз та
обробку інформації користувача
Хмарне середовище є невід'ємним компонентом розроблюваного мобільного
програмного комплексу, націленого на підвищення точності розпізнавання
аварійних ситуацій, своєчасного попередження водія ТЗ про виникнення ДТП і
генерування актуальних рекомендацій із запобігання дорожніх пригод (рис. 3.7).
Дана модель складається з наступних компонентів: смартфон водія, бази даних,
обчислювальний блок, компетенції водія та веб-сервіс адміністратора автопарку
для моніторингу інформації про поїздку водія.
58
Рисунок 3.7 – Модель хмарного середовища
Одним з основних результатів роботи хмарного середовища є групи профілів
водіїв, патерни їх поведінки та перелік порушень ПДР. Під патернами поведінки
будемо розуміти шаблони дій водіїв для різних ситуацій при керуванні ТЗ.
Патерни поведінки водія ґрунтуються на характеристиках поведінки водія за
кермом, накопичених даних, що зберігаються в базі, яка складається із двох
самостійних джерел інформації, якими є база даних (БД) та онтологія водія. В
основі патернів поведінки водія в кабіні автомобіля лежать параметри
калібрування, що описують початкові коригувальні параметри водія (початковий
поворот голови водія стосовно напрямку руху, початковий нахил голови водія) та
оброблювані параметри, що зчитуються в процесі руху (кут повороту голови водія
вліво/вправо при повороті ТЗ, кут нахилу голови водія вгору/вниз, PERCLOS,
ознаки позіхання, тривалість моргання повік, частота моргання повік). Патерни
поведінки водія включають середню швидкість руху на певному відрізку
маршруту, різке гальмування та різке прискорення відповідно до поточної
швидкості, частоту прискорення або гальмування під час руху, перевищення
швидкісного режиму на відрізку маршруту та різкий поворот ТЗ вліво чи вправо
стосовно напрямку руху прямо. Отримані патерни поведінки водія дозволяють
59
перейти до формування списку груп водіїв системи РСПАС на основі їх
поведінки, число яких заздалегідь невідомо. Враховуючи накопичену інформацію
про водіїв та їх зв'язки один з одним за час використання системи РСПАС,
представлену патернами поведінки та профілями особистої інформації,
застосування методу кластеризації дозволяє розділити всіх водіїв зі схожими
патернами поведінки на кінцеве число груп.
Певна група, до якої був віднесений той або інший водій, характеризує його
певним набором атрибутів і дій. Групи водіїв дають можливість виявити загальні,
додати нові або доповнити відсутні відомості у водія тієї або іншої групи, тим
самим безпосередньо підвищивши точність та повноту інформації про водіїв. В
результаті групування водіїв дозволить адаптувати систему РСПАС під кожного
конкретного водія, що дозволить в результаті знизити імовірність виникнення
ДТП. Процес формування груп водіїв є безперервним, ітеративним, що
повторюються з певною періодичністю по мірі зміни кількості водіїв та їх
статистики використання системи і, як результат, група водія, до якої він був
раніше співвіднесений, може якось видозмінитися або змінитися зовсім.
Невід'ємним учасником взаємодії із хмарним середовищем є смартфон водія,
обладнаний фронтальною камерою та сенсорами, із встановленим на ньому
мобільним додатком, який робить накопичення, аналіз та передачу інформації про
поточну або виконану поїздку. Смартфон водія здійснює безперервне накопичення
статистики в локальній базі даних, її обробку та передачу у вигляді параметрів
спостереження. Дані параметри представлені лицьовими характеристиками, що
зчитуються в процесі руху, в кабіні ТЗ, про ТЗ та навколишнє оточення з метою їх
подальшої передачі обчислювальному блоку хмарного середовища. Всі завдання
по нормалізації, аналізу та обробці даних сконцентровані в обчислювальному
блоці.
Іншими складовими обчислювального блоку є модуль підтвердження або
відхилення небезпечного стану та модуль побудови звіту про поїздку. З метою
адаптації системи під конкретного водія РСПАС дозволяє проаналізувати всі
розпізнані небезпечні ситуації протягом зробленої поїздки та підтвердити
(правильно розпізнані) або відхилити (невірно розпізнані) ті або інші виявлені
60
події, тим самим скорегувавши подальшу роботу системи РСПАС. Даний модуль
призначений для використання як водієм з особистим ТЗ, так і водієм зі штату
автопарку. Шляхом збереження та накопичення інформації про здійснені поїздки
модуль побудови звітів надає можливість водіям і адміністраторам автопарків
експортувати всю інформацію про ту або іншу поїздку із хмарного середовища
шляхом створення та внесення звітів про керування ТЗ у зручному форматі.
Модуль перегляду історії взаємодії і статистики використання мобільного
програмного комплексу водієм забезпечує запис, обробку та відображення дій
водія ТЗ протягом всього маршруту проходження в кожний конкретний момент
часу. Даний модуль протоколювання дій водія дозволяє не тільки внести
коригувальні поліпшення в алгоритми обробки даних і прийняття рішень про
виникнення дорожніх подій, але і у тому числі сформувати та надати статистику
використання РСПАС водіями ТЗ.
Модуль відображення звіту про поїздку дозволяє переглядати статистику
керування ТЗ як приватному водієві, так і адміністраторові автопарку. Даний
модуль здатний надати таку інформацію як середня швидкість руху, прискорення,
гальмування ТЗ у конкретний момент часу пройденого маршруту та ін.
Висновки до третього розділу
Були сформульовані принципи, що лежать в основі розроблюваної системи
підвищення безпеки водія при керуванні ТЗ, серед яких можна виділити
відкритість і доступність використовуваних допоміжних бібліотек, що
поставляються сторонніми розробниками; онтологічний підхід до опису
предметної області систем забезпечення безпеки водія; завчасне попередження
водія про ризик виникнення аварійної ситуації; адаптація та персоналізація
системи до поведінки водія за рахунок генерації контекстно-орієнтованих
рекомендацій; реагування системи на події із зовнішнього середовища в межах
припустимого тимчасового інтервалу; і забезпечення конфіденційності інформації
про водіїв, що накопичується та аналізується, у рамках розроблюваної системи.
Опрацьовані принципи дозволили сформувати обмеження та характеристики
розроблюваної розподіленої системи попередження аварійних ситуацій, націленої
61
на виявлення ознак втоми й ослабленої уваги у водія та запобігання виникнення
аварійної ситуації за допомогою контекстно-орієнтованих рекомендацій.
Розроблений контекстно-орієнтований підхід до побудови системи
попередження аварійних ситуацій, що включає аналіз контекстної інформації про
водія, що отримана від фронтальної камери та датчиків смартфона; інформаційна
модель профілю водія, що поєднує доступну інформацію про водія, ТЗ і
навколишнє оточення; онтологічна модель системи РСПАС, що описує процес
виявлення небезпечних випадків та попередження водія про вживання заходів по
запобіганню аварійних ситуацій; модель, що розглядає варіанти застосування
системи РСПАС приватними водіями для особистого користування та
логістичними водіями зі штату автопарків з метою зниження дорожньої
аварійності, та, як наслідок, витрат на обслуговування автопарку, і страховими
компаніями з метою залучення та утримання клієнтів шляхом зниження вартості
страхових послуг; і модель хмарного середовища, що здійснює зібрання і аналіз
інформації користувачів з метою надання історії взаємодії із середовищем,
статистики проходження водія по маршруту, класифікації водіїв та здійснення
персоналізації кожного конкретного водія для забезпечення високої точності
розпізнавання ознак небезпечної поведінки за кермом.
Представлені моделі дозволяють забезпечити облік контекстної інформації
при прийнятті рішень по підвищенню безпеки водія в кабіні ТЗ та комплексну
взаємодію модулів у складі розробленої системи. З метою більш повної
відповідності поточної дорожньої ситуації модулі здатні вносити зміни в профілі
водіїв, що дозволяє адекватно та вчасно реагувати на зміни умов зовнішнього
середовища.
62
РОЗДІЛ 4 РОЗРОБКА АЛГОРИТМУ СИСТЕМИ ПОПЕРЕДЖЕННЯ
АВАРІЙНИХ СИТУАЦІЙ НА ОСНОВІ МОНІТОРИНГУ ПОВЕДІНКИ
ВОДІЯ
4.1 Визначення небезпечної поведінки водія
Безпека дорожнього руху - це одне з найважливіших завдань суспільства.
Останнім часом розпізнавання обличчя, очей та роту мають дуже велике значення
та вважається одним із самих перспективних напрямків в області аналізу
зображень. Кожний із методів розпізнавання нестабільний через різні пози
людини: міміку обличчя, положення та орієнтації, колір шкіри, наявності окулярів
або довгого волосся, умов освітлення та роздільною здатність зображення.
Підхід оснований на зовнішніх ознаках працює краще за інші. Цей метод
оснований на статистичному аналізі [13].
Останнім часом були розроблені різні системи моніторингу сонливості водія.
Перша система вимірює біологічні сигнали з тіла водія. Найпоширенішими є:
електроенцефалографія, електрокардіограма, електроокулографія, поверхнева
електроміограма, гальванічна реакція шкіри та подиху [2-3]. Подібне обладнання,
контролюючи втомлення, створює фізичний дискомфорт водієві.
Однією із найпоширеніших систем моніторингу водія є система з
використанням камери та методів обробки зображень для одержання деяких
фізичних індикаторів, таких як: тривалість закриття очей, швидкість моргання,
PERCLOS (відсоток закриття очей) [6], визначення позіхання, напрямку погляду.
Даний підхід ефективний. По-перше, сонливість водія проявляється в результаті
прояву ознак втомлення у водія, а по-друге, цей підхід є ненав'язливим. Існують
комерційні продукти. До них відносяться faceLAB, DSS [7], DFM [8], Viulib [9].
Робота системи в умовах автомобіля та обробка зображень при денних та
нічних умовах освітленості досягається завдяки індивідуальному настроюванню
двох камер, що працюють у видимому та ближньому інфрачервоному спектрах
відповідно. При оцінці частоти моргання очей враховуються всі три параметри
63
(спонтанність, рефлекторність, довільність) і на їх основі розпізнаються ознаки,
що визначають стан сонливості водія.
Dlib можна широко використовувати для виявлення обличчя, а також
виявлення особливих точок на обличчі. Детектор включає HOG і лінійний SVM.
Бібліотека Dlib виводить 68 точок на заданому вхідному зображенні, які
схематично представлено на рис. 4.1.
Рисунок 4.1 - Схема особливих точок обличчя
В даному дослідженні розглянуті наступні ознаки: закриття очей та
позіхання. Ці ознаки можна розглядати окремо, потім поєднувати і класифікувати
стан людини. Щоб визначити стан закриття очей по зовнішніх ознаках були
придумані різні способи: cпіввідношення сторін ока (щоб визначити закритість
ока); тривалість закриття ока; PERCLOS.
Співвідношення сторін ока (eye aspect ratio) використовується для визначення
моргання ока. Це звичайне число, яке визначається за форм. 4.1. Ear має високе
значення, коли око відкрите, і дуже швидко падає, коли око закрите. При аналізі
даних було підібрано значення 0,23, при якому слід вважати око закритим. Цей
метод дозволяє визначити ступінь відкритості ока тільки на одному кадрові
(рис. 4.2).
p − p + p − p
2 6 3 5
ear = , (4.1)
2 p − p
1 4
Тривалість закриття очей одна з найважливіших ознак. Erikson and
Papanikolopoulos [14] провели дослідження, згідно з яким втомлення може бути
виявлено, якщо очі перебувають у безперервному стані протягом 2÷2,5 секунд.
64
Рисунок 4.2 - Схематичне позначення EAR
Дійсно, при середній швидкості автомобіля по трасі 25 м/с водій втрачає
пильність приблизно на 50 м. Це дуже небезпечно при їзді в нічний час, якщо
врахувати, що по ДСТУ відстань, на яку освітлює ближнє світло автомобіля,
повинна бути приблизно 50 м. Інший підхід визначення сонливості – PERCLOS,
який відслідковує поступове закриття ока. PERCLOS - це вимір проміжку часу,
протягом якого віка частково закриті, визначається за формулою:
Number frames of closed
PERCLOS = (4.2)
Interval of all frames −blinking time
Критерієм дрімоти є стан, коли очі закриті більше 80 % на протязі хвилини. У
дрімаючих зменшений тонус м'язів обличчя, уповільнені рухи очей і збільшений
час закритих очей.
У процесі розробки алгоритму виникали сумніви в правильності
використання формули співвідношення сторін. Очі досить маленький об'єкт у
порівнянні з всією областю обличчя, тому іноді Dlib просто невірно визначає
особливі точки на очах. У бібліотеці є можливість точніше визначати ці точки,
шляхом збільшення кадру, але це дуже затратно по ресурсах, і для того щоб
встигати обробляти та видавати результат в реальному часі потрібно жертвувати
кількістю оброблюваних кадрів, зменшуючи їх, що приводить до можливої втрати
стану миготіння ока.
Позіхання, у порівнянні із закритістю очей, менш небезпечне для водіїв.
Можна виділити наступні спроби визначення позіхання, які обов'язково повинні
працювати спільно: співвідношення сторін роту (щоб визначити ступінь
відкритості рота); тривалість позіхання.
65
Усі ознаки повинні мати якесь конкретне значення, яке отримано шляхом
аналізу даних із позіханнями. Наприклад, оброблюючи відео з позіханням, ми
можемо визначити тривалість, максимальне значення співвідношення сторін при
позіханні, у нормальному стані. Аналізуючи отримані дані з кожного відео
одержимо середнє значення співвідношення сторін роту при позіханні, середнє
значення тривалості, а також їх періодичність.
На рис. 4.3 наведено залежність співвідношення сторін роту від кількості
кадрів, або часу для файлу. Так як значень дуже велика кількість, було прийнято
рішення обчислювати середнє, максимум і мінімум на 10 кадрах, відповідно
синій, червоний і зелений графіки. На відеозаписі відбулося 3 позіхань, які ми
можемо спостерігати на графіку.
Рисунок 4.3 - Залежність співвідношення сторін роту від часу
Можна стверджувати, що при певному значенні співвідношення сторін роту,
відкритий рот можна вважати позіханням. Згідно попереднього графіку, значення
відкриття і закриття роту при позіханні не численні, їх набагато менше ніж значень
звичайного стану роту, або значень при якому рот зависає в стані позіхання.
Оцінюється відкритість очей і застосовується метод PERCLOS як метод
виявлення втоми водія. Детектор «голова-плече» застосовується при визначенні
положення водія за кермом і визначенні приблизного положення голови. Голова
та плечі визначаються за допомогою гістограми спрямованих градієнтів (HOG), а
виявлення водія виконується за допомогою методу опорних векторів (SVM).
Очі та рот можуть бути в одному з трьох станів: закриті, напіввідкриті та
повністю відкриті. Стан втоми також поділяється на три рівні: нормальна, легка
66
втома та сильна втома. Шляхом тестування частоти моргання та позіхання від
нормального стану до легкої втоми та сильної втоми за різних умов освітлення
аналізуються значення PERCLOS, що відповідають різним станам втоми. Три
пороги стану для PERCLOS очей (Р) та PERCLOS роту (K) наведено в табл. 4.1.
На основі проведених досліджень було отримано три стани частоти моргання
очей та частоти позіхання: низькочастотний, проміжний, високочастотний
(табл. 4.2).
Таблиця 4.1 - PERCLOS-пороги для очей та роту
Стан Низькочастотне Проміжне Високочастотне
Очі P<13% 13% < P< 28% P>28%
Рот K<20% 20% < K< 30% K>30%
Таблиця 4.2 - Таблиця зовнішніх ознак втомлюваності
Ситуація Очі Рот Результат
1 Низька Низька Нормальний стан
2 Середня Низька Незначна втома
3 Висока Низька Сильна втома
4 Низька Середня Нормальний стан
5 Середня Середня Сильна втома
6 Висока Середня Сильна втома
7 Низька Висока Незначна втома
8 Середня Висока Сильна втома
9 Висока Висока Сильна втома
Оцінювалася точність розпізнавання небезпечної поведінки водія залежно від
рівня навколишньої освітленості. У якості різних рівнів навколишньої
освітленості були обрані Lux при 0,1, характерні для сутінків, і Lux при 30, 115 –
для денного часу доби, до заходу сонця (рис. 4.4). Точність розпізнавання
лицьових характеристик людини стає прийнятною (80 %) при рівні навколишньої
освітленості рівній 30 Lux.
З іншого боку статистика водіння, що накопичується, включає інформацію
про виконані поїздки різних водіїв і описує історію їх взаємодії з мобільним
додатком, дозволяє не тільки розширити можливості використання мобільних
додатків, але й, головним чином, персоналізувати та адаптувати алгоритм
67
розпізнавання стану втомлення та ослабленої уваги до поведінки та стилю водіння
водія в кабіні ТЗ.
Рисунок 4.4 - Залежність точності розпізнавання лицьових характеристик від
рівня освітленості
До такої інформації відноситься інформація про водія (ім'я, вік, стаж водіння
та ін.), транспортний засіб (тип транспортного засобу, рівень палива, та ін.),
параметри водіння (тип поїздки – на далеку відстань по трасі або в межах міста,
час у дорозі без перерви на відпочинок, і т.п.) та дорожньої ситуації (затори, ДТП,
дорожні перекриття, погодні умови, та ін.).
4.2 Розробка системи попередження аварійних ситуацій
На основі представленого контекстно-орієнтованого підходу та моделей
розроблена система РСПАС (рис. 4.5), що реалізує головним чином функції
визначення втоми та ослабленої уваги у водія та генерації йому контекстно-
орієнтованих рекомендацій.
У якості учасників системи РСПАС, що ініціюють початкову взаємодію із
системою попередження аварійних ситуацій, виступають водій ТЗ, адміністратор
автопарку та представник автомобільної страхової компанії. РСПАС може
використовуватись:
- водіями, що володіють власними ТЗ з метою підвищення власної безпеки в
кабіні ТЗ;
68
- адміністраторами автопарків, що здійснюють моніторинг і спостереження за
виконанням робочого графіка водіями зі штату їх автопарків протягом усього
маршруту проходження для зниження витрат на виконання вантажоперевезень;
- представниками страхових компаній, що оптимізують ризики при
страхуванні та пропонують водієві більш вигідні тарифні плани на страхові
послуги на основі аналізу його показників водіння ТЗ.
Водій ТЗ, представлений відповідним модулем компонента «Учасники»,
здійснює безпосередню взаємодію зі смартфоном. Вбудована в смартфон
фронтальна камера, що виконує сканування та вилучення зображення обличчя та
голови водія, повинна бути спрямована на нього таким чином, щоб лицьові
характеристики та положення голови перебували в межах зйомки камери, були
розміщені в тій же площині, що й сама камера та в кадрі були відсутні зайві
об'єкти, що перекривають видимість обличчя водія.
Вбудована камера смартфону на платформі Android, для якої ведеться
розробка системи РСПАС, дозволяє отримати масив байт, що описують
зображення особи водія у форматі для зображень, представленим колірним
простором. Далі, вихідний масив байт передається модулю обробки вхідного
зображення із фронтальної камери смартфону, який розміщується в компоненті
обробки сенсорів, де в процесі попередньої обробки застосовується послідовність
програмних операцій, спрямованих на підготовку наступної обробки та
перетворення зображення. До таких програмних операцій відноситься
конвертування масиву байт у бітову карту (bitmap), його пропорційне
масштабування та конвертування в однотонне зображення (grayscale, градації
сірого). Grayscale позначає колірний режим, у якому кожний піксель на
зображенні представлено одним рівнем яскравості в діапазоні від 0 (чорний колір)
до 255 (білий колір) із проміжними значеннями, що позначають різні відтінки
сірого кольору, з метою збільшення швидкості роботи алгоритмів по
детектуванню об'єктів на зображенні.
Детектор лицьових характеристик, сформований програмними бібліотеками
OpenCV [28] і Dlib [29], виконує розпізнавання спостережуваних та обчислення
оброблених параметрів водія (відкритість та закритість очей; тривалість моргання
69
повіками; напрямок погляду; кут повороту голови, кут нахилу голови),
необхідних при аналізі небезпечного стану, ослабленої уваги та втоми в кожний
проміжок часу.
Іншим джерелом даних, що надає смартфон водія, є параметри, зчитані
вбудованими сенсорами, серед яких варто виділити акселерометр (прискорення),
магнітометр (сила тяжіння), гіроскоп, мікрофон, GPS, датчик освітленості і
поточний контекст зовнішніх умов, в яких перебуває мобільне обладнання. Крім
вхідного зображення особи водія із фронтальної камери, сенсорні дані (поточна
швидкість ТЗ, прискорення ТЗ, гальмування ТЗ, та ін.), що пройшли аналіз і
обробку в модулі обробки даних із сенсорів, можуть додатково охарактеризувати
ту або іншу дорожню ситуацію і тим самим допомогти завчасно виявити ознаки
небезпечної поведінки у водія та згенерувати відповідну рекомендацію.
Додатковим джерелом інформації, що використовується при формуванні
рекомендацій водієві для побудови маршруту до обраного об'єкта на карті, є
відомості про потенційні місця відпочинку. Дані відомості, що зберігаються в
локальній БД SQLite, доступні для читання по запиту мобільного програмного
комплексу під час поїздки. Кожний окремий запис про місце відпочинку містить
такі поля як назва об'єкта, його категорія (кафе, готель або заправна станція),
географічні координати (широта і довгота) та графік роботи.
Для тимчасового зберігання даних на смартфоні водія з використанням
системи РСПАС, застосовується локальна БД подій SQLite, що відповідає за
регулярне збереження та накопичення даних про історію взаємодії водія із
РСПАС та статистика поїздки. Інформація, що збирається, може бути використана
при аналізі поведінки того або іншого водія, а також при аналізі та експорті звітів
про поїздки водіїв. З метою адаптації системи РСПАС під конкретного водія,
записи із БД подій періодично синхронізуються з віддаленим хмарним
середовищем, передаючи необхідну інформацію модулю кластеризації профілів
водіїв. У випадку, якщо передача даних по мережі Інтернет стає неможливою
через погіршення або відсутність з'єднання, вся контекстна інформація, що
накопичується на смартфоні водія, продовжує надходити в локальну БД. Як тільки
70
Інтернет-з'єднання відновлюється, дані зі смартфону передаються у віддалене
хмарне середовище.
Персоналізацію системи РСПАС забезпечує модуль кластеризації профілів
водіїв хмарного середовища, що виконує виділення груп водіїв зі схожими
характеристиками та розміщенням нових або змінених даних про групи профілів
водіїв в окремому сховищі MongoDB. Передбачається використовувати модуль
кластеризації профілів водіїв і СУБД ClickHouse в одній і тій же хмарній
інфраструктурі.
Хмарне середовище дозволяє отримати статистику водіння водіїв у тому або
іншому форматі. Даний сервіс включає веб-сервіс побудови та експорту
детального звіту про поїздку (у форматі CSV) для адміністратора автопарку з
метою відстеження маршрутів здійснення вантажоперевезень; веб-сервісу
перегляду історії взаємодії та статистики використання, призначеного для
приватних водіїв, адміністраторів автопарків та представників страхових компаній.
Використовуючи контекстну інформацію про водія та ТЗ, що надходить від
сенсорів та різних джерел інформації, підмодуль виявлення небезпечних випадків
розпізнає наявність ознак тієї або іншої небезпечної поведінки водія в кабіні ТЗ.
Аналізуючи результати роботи підмодуля виявлення небезпечних випадків,
система РСПАС, використовуючи, при необхідності, список об'єктів місць
відпочинку, попередить водія за допомогою звукового сигналу, залучаючи тим
самим його увагу, і зробить пошук досяжних до водія працюючих кафе, готелів чи
заправних станцій, побудує маршрут до обраного місця. У якості генерованих
рекомендацій водієві може бути запропоновано зупинитися на нічліг, випити
тонізуючий напій, включити радіо чи музику, почати діалог з пасажиром,
провітрити салон ТЗ, зробити короткостроковий відпочинок. Модуль сповіщення
допомагає водієві звернути увагу на поточну дорожню ситуацію.
Описані компоненти, модулі та сервіси в рамках архітектури РСПАС
забезпечують достатню гнучкість та функціональність при її реалізації.
71
Рисунок 4.5 – РСПАС
4.3 Розробка алгоритму розпізнавання небезпечної поведінки водія при
керуванні ТЗ
Лицьові характеристики водія, що проявляються у нього під час водіння, є
основною інформацією профілю, що використовується при моніторингу його
поведінки в кабіні ТЗ на виявлення того або іншого небезпечного стану.
Поведінка водія під час керування ТЗ характеризується проявом небезпечних
ситуацій, розпізнаних в певний момент часу, сукупність яких дозволяє системі
РСПАС приймати або не приймати рішення щодо виникнення небезпечного
стану, втоми або ослабленої уваги на певному проміжку часу.
Кожний кадр, отриманий із фронтальної камери смартфона, дозволяє
аналізувати та розпізнавати лицьові характеристики водія з метою подальшого
аналізу можливої небезпечної ситуації, в якій він перебуває, у той чи інший
момент часу.
Отримані із фронтальної камери зображення безупинно наповнюють чергу
фреймів з відеоряду та автоматично заміняються при отриманні нових зображень,
що дозволяє вчасно і з більшою швидкістю обробляти графічну інформацію.
72
Цифрова обробка та аналіз зображень для визначення лицьових
характеристик водія містить в собі безліч операцій, і багато які з них вимагають
певних часових витрат, що можуть позначитися на якості та швидкості роботи
РСПАС у цілому. Варто прийняти до уваги, що кількість обчислень збільшується
з розміром обробленого зображення, що знижує ефективність даного алгоритму, а
при роботі з послідовністю відео фреймів і зовсім стає критичною для всієї
системи РСПАС. У зв'язку з цим, в процесі обробки зображень застосовується ряд
методів, спрямованих на зменшення часу обробки одного графічного фрейму.
У якості оптимізації методів для збільшення показника FPS (Frames per
second – число кадрів у секунду) використовується первинна обробка зображення,
до якої відноситься пропорційне масштабування (зменшення) роздільної здатності
зображення та наступне конвертування всіх пікселів зображення в палітру
градацій сірого кольору. Перетворення зображення в режим градації сірого з 256
відтінками сірого здійснюється в такий спосіб:
Y=0,299R+0,587G+0,114B (4.3)
де R, G, B – інтенсивність у діапазоні від 0 до 255; Y – інтенсивність каналу
для кожного нового кольору пікселя. Далі зображення проходить процедуру
нормалізації, у результаті якої перевіряється, чи збігається орієнтація зображення
з даними із фронтальної камери та чи змінюється орієнтація у випадку, якщо не
збігається.
На кожному кадрі оцінюються лицьові характеристики водія з метою аналізу
можливої небезпечної ситуації, у якій він перебуває, в той чи інший момент часу.
Пошук і локалізація об'єктів обличчя водія (відкритість і закритість очей; кут
повороту та нахилу голови) здійснюється за допомогою фреймворків OpenCV,
Dlib за допомогою алгоритмів комп'ютерного зору (рис. 4.6).
Обчислений набір лицьових точок водія дозволяє визначити положення його
голови, кут нахилу вперед/назад, повороту вліво/вправо за рахунок відображення
даних 2D координат та антропометричних координат характеристик моделі
голови людини в тривимірній системі координат (4.4):
73
X
u f 0 c r r r t
x x 11 12 13 1
s Y
v = 0 f c r r r t (4.4)
y y 21 22 23 2 Z
1 0 0 1 r r r t
31 32 33 3
1
де fx, fy - довжини фокуса фронтальної камери смартфону (пікселі); cx, cy –
координати центру зображення (пікселі); X, Y, Z – координати в тривимірній
системі координат; u, v – координати точок проекції (пікселі).
Рисунок 4.6 – Схема визначення положення голови водія
Небезпечний стан визначається при виникненні декількох небезпечних
ситуацій протягом деякого часу.
Паттерн поведінки водія - шаблон дій водія для деякої ситуації, що описує
успішність, послідовність та час виконання тих або інших його маневрів у момент
часу, визначений на основі характеристик керування транспортним засобом з
використанням сенсорних даних смартфону та інформації про профіль водія.
Процес реєстрації небезпечного стану наведено на рис. 4.7. Спочатку
реєструють водія та заповнюють його профіль (блок 1), що включає в себе:
загальну інформацією про водія (ім'я, прізвище, стать, вік, номер телефону, та ін.),
його стилі водіння (манера гальмування та прискорення, швидкісний режим на
ділянці, кількість і різкість маневрів), навички та стаж водіння, категорії водія, до
якої водій віднесений у результаті персонализації та знань правил дорожнього
руху. У блоці 2 калібрують кути повороту та нахилу голови для кращої адаптації
до конкретного водія, а також рівень гучності попереджень про небезпечну
ситуацію. У блоці 3 аналізують контекст водія та приймають рішення щодо
74
доцільності визначення небезпечного стану. Контекст водія містить інформацію
про водія-користувача системи, що реалізує заявлений спосіб, яка змінюється
залежно від поточної ситуації в кабіні транспортного засобу та дорожньої
обстановки. У нього включені наступні атрибути: параметри калібрування
системи визначення небезпечних станів на дорогах загального користування,
використане обладнання та програмне забезпечення, психофізіологічні
особливості водія, симптоми небезпечної поведінки та кількість годин без перерви
на відпочинок.
«Параметри калібрування системи» визначає настроювання калібрування
мобільної системи допомоги водієві, отримані в блоці 2, що і дозволяють краще
підлаштуватися під конкретного водія транспортного засобу (кут нахилу та кут
повороту голови водія за замовчуванням, фокусна відстань об'єктива, відстань від
фронтальної камери смартфону до водія, прийнятний рівень гучності звуку
смартфону).
«Використане обладнання» описує технічні характеристики смартфону, що
використовується водієм транспортного засобу.
«Використане програмне забезпечення» характеризує програмний комплекс,
встановлений та налаштований на смартфоні водія і призначений для
прогнозування ймовірності виникнення небезпечних ситуацій.
«Психофізіологічні особливості» описує стан водія в теперішній момент
часу, характеризуючи його швидкість реакції, точність та послідовність дій.
«Симптоми небезпечної поведінки» містить інформацію про виявлену
небезпечну поведінку водія за кермом автомобіля з метою подальшого
призначення рекомендацій для запобігання настання небезпечної (аварійної)
ситуації (наприклад, кількість годин безперервного керування ТЗ, що відображає
інформацію про час знаходження водія за кермом автомобіля при безперервному
русі без перерви на відпочинок).
«Стан всередині салону кабіни ТЗ» описує різні параметри та умови
обстановки в кабіні ТЗ (наприклад, рівень освітленості, рівень сигналу шуму).
Лицьові характеристики водія, що проявляються у нього під час водіння, є
основною інформацією профілю, використаною при моніторингу його поведінки в
75
кабіні транспортного засобу на присутність того або іншого небезпечного стану.
Поведінка водія під час керування транспортним засобом характеризується
проявом небезпечних ситуацій, розпізнаних у деякий момент часу, сукупність
яких дозволяє системі, що реалізує заявлений спосіб, приймати чи не приймати
рішення щодо присутності небезпечного стану, втоми або ослабленої уваги, на
деякому проміжку часу.
Визначають час (блок 4) та кількість ітерацій (блок 5), необхідні для
прийняття рішення про наявність небезпечного стану. Одним із ключових
параметрів, що визначають число ітерацій, є сукупне число небезпечних ситуацій
на тимчасовому інтервалі, що описують той або інший небезпечний стан
Розпізнані параметри дозволяють виявляти небезпечні випадки (стан втоми,
ослабленої уваги), що здійснюють вплив на безпеку водія при керуванні ТЗ.
Представимо розпізнавання небезпечного стану ts на часовому проміжку,
протягом якого безупинно проводиться зчитування параметрів поведінки водія за
кермом ТЗ на основі даних із фронтальної камери та сенсорів смартфону, що
характеризують ту або іншу небезпечну ситуацію te (рис. 4.7).
Рисунок 4.7 – Схема визначення небезпечної поведінки
При моніторингу небезпечних випадків у системах активної безпеки
використовується параметр «Час до зіткнення» (TTC – Time-To-Collision) в
інтервалі 2÷3 сек. TTC залежить не тільки від поточних умов руху, але і від часу
76
реакції водія (RT – Reaction Time), що характеризує момент виявлення
небезпечної поведінки до початку прийняття водієм заходів та є рівною
0,5÷1,5 сек. індивідуально для водія та часу, що витрачається на розпізнавання
небезпечної поведінки ts, що включає i число подій te, що позначають дану
поведінку.
Одним із ключових вхідних параметрів є сукупне i число небезпечних подій
(хв.) на часовому інтервалі (n), що описують небезпечну поведінку ts, рівну TTC,
за винятком реакції водія. Даний параметр залежить від часу обробки небезпечної
поведінки te та часу реакції водія treaction [13].
На основі досліджень в області аналізу RT і TTC була виведена наступна
формула визначення числа ітерацій небезпечної поведінки:
2
E
n =1+ 2 (4.3)
t + 0,5
reaction
де n – безрозмірна величина, рівна числу вимірюваних ітерацій небезпечних
поведінок [1,11]; E – коефіцієнт обчислювальної здатності смартфону, 1,5 c;
treaction – час реакції водія 0,5÷1,5 с.
Таким чином, зі зменшенням (збільшенням) часу обробки однієї небезпечної
ситуації або зменшенням (збільшенням) часу реакції водія параметр n зростає
(зменшується), дозволяючи тим самим більш точно розпізнавати небезпечну
поведінку, враховуючи більше число потенційних небезпечних подій за
відведений час і, навпаки, збільшуючи ймовірність пропуску або неправильного
спрацьовування визначення небезпечної поведінки, що впливає на подальшу
роботу модуля генерації рекомендацій водієві.
Варто відзначити, що середній час RT реакції водія на небезпечну поведінку
залежить не тільки від індивідуальних особливостей водія, його статі [12], віку
[13], але також і часу проведеного ним в дорозі, швидкості ТЗ [13]. Відповідно до
перерахованих параметрів, середній час RT запропоновано визначити за
наступною формулою:
A +G +DT
t = 1 2 3 (4.4)
reaction
V
0
77
де treaction - час реакції водія; A - вік водія (від 18); G - стать водія
(чоловіча/жіноча); DT - час у дорозі (хв.); V - швидкість ТЗ (км/год); 0, 1, 2,
3 - коефіцієнти для кожного з перерахованих параметрів, відповідно.
V є єдиним оберненопропорційним параметром, збільшення (зменшення)
якого спричиняє зменшення (збільшення) часу реакції водія на реагування на
небезпечну ситуацію та навпаки.
Залежність числа небезпечних ситуацій від часу реакції водія та
обчислювальної здатності смартфону наведено на рис. 4.8.
Рисунок 4.8 - Залежність кількості ітерацій небезпечної поведінки від часу реакції
водія та продуктивності смартфона
При погіршенні реакції водія або обмежених обчислювальних ресурсах
смартфону, число оброблених кадрів особи водія n по зображенню із фронтальної
камери смартфону зменшується і навпаки.
На кожній ітерації зчитуються параметри із фронтальної камери та датчиків
смартфону, їх обробляють у блоці 6, виявляють небезпечну поведінку на основі
критеріїв з блоку 7. Далі отримують зображення із фронтальної камери
смартфону, визначають кути повороту та нахилу голови щодо тулуба, виявляють
область зображення обличчя, очей, межі області руху зіниці, частоту та напрямок
руху очей, частоту моргань, тривалість періоду часу, протягом якого очі закриті,
область роту та його ступінь відкритості. Потім отримують дані від датчиків
смартфону, визначають темп і швидкість пересування транспортного засобу, час
розгону, наявність різких прискорень і гальмувань, поворотів транспортних
78
засобів, тип поведінки водія за кермом.
Таким чином, до ознак небезпечного стану (втоми або ослабленої уваги
водія) віднесені: тривалість періоду часу, протягом якого очі водія закриті,
поворот голови вліво/вправо стосовно тулуба, нахил голови вперед щодо тулуба
(момент, коли водій «клює носом»), тривалість моргання повік, частота моргання
повік, ступінь відкритості рота людини (ознаки позіхання), стиль або манера
водіння.
Стиль водіння визначається на основі ряду параметрів, що включають темп і
швидкість пересування транспортного засобу, час розгону, наявність різких
прискорень і гальмувань, поворотів транспортних засобів, типу поведінки водія за
кермом. Перераховані параметри реєструються за допомогою вбудованих у
смартфон датчиків, до яких відноситься акселерометр, гіроскоп, GPS,
магнітометр, мікрофон. Зазначені параметри допомагають розпізнати небезпечний
стан водія транспортного засобу і знизити ймовірність початку небезпечного
стану, а саме втоми або ослабленої уваги у водія.
Блок 7 включає інформацію про водія, профіль, лицьові характеристики, ТЗ і
показники сенсорів смартфону, порівнюються параметри поведінки водія та
небезпечна поведінка, з якими він може зіштовхнутися при керуванні
транспортним засобом, на основі поточної ситуації в його кабіні. У якості
критерію такого порівняння може виступати відхилення параметрів, що
характеризують стан водія, від його стандартних параметрів, характерних для
стану засинання і стану сну.
Далі повторюються зазначені дії у блоці 8 відповідно до кількості ітерацій,
необхідних для прийняття рішення про наявність небезпечного стану.
У блоці 9 для отримання надійного рішення щодо певного небезпечного
стану вибирають середні результати по всіх ітераціях. У блоці 10 формують
рекомендації на основі певного небезпечного стану та контексту водія, а в блоці
11 приймають рішення щодо необхідності сигналізації водія.
У випадку визначення ознак стану ослабленої уваги у водія йому
генеруються наступні рекомендації: з'їхати на узбіччя та відпочити, включити
радіо або музику, випити тонізуючий напій (каву), почати розмову з пасажиром,
79
наспівати мелодію або провітрити салон транспортного засобу.
Після цього зберігають статистику та генерують звіт для зацікавлених осіб
(блок 12), у якості яких можуть виступати адміністратори автопарків і
представники страхових компаній.
Незважаючи на те, що дорожні аварії з вини вантажного автотранспорту
відбуваються набагато рідше, чим з вини легкових автомобілів, смертність у ДТП
із вантажними автомобілями залишається вкрай високою. Серед факторів, що
викликають зниження пильності водія та, як наслідок, що приводять до ДТП за
участю вантажного автотранспорту, можна виділити такі як - складні робочі
графіки, невірно спланований маршрут або прояв квапливості з боку роботодавця
чи замовника. У цьому випадку реалізація заявленого способу може з легкістю
знайти застосування в логістичних компаніях, що здійснюють вантажні
перевезення.
У блоці 13 виявляють паттерни поведінки водія, які описують успішність,
послідовність та час виконання тих або інших дій кожного конкретного водія в
момент часу на основі використання зчитуваних сенсорних даних і інформації, що
визначає профіль водія. Прикладом паттерну поведінки водія може служити
ситуація, що описує процес гальмування транспортного засобу перед червоним
сигналом світлофора на певному проміжку часу. У цьому випадку паттерн
поведінки водія включає майже незмінний рух транспортного засобу в прямому
напрямку, реєстрований гіроскопом і магнітометром; зниження швидкості руху
транспортного засобу, реєстроване сенсором GPS; негативні значення, зчитувані
за допомогою акселерометра смартфону, що і свідчать про гальмування
транспортного засобу та, нарешті, припинення руху транспортного засобу і
встановлення його швидкості рівноюнулю.
У блоці 14 калібрують алгоритм розпізнавання небезпечних ситуацій під
роботу з конкретним водієм. З метою адаптації під конкретного водія система, що
реалізує заявлений спосіб, дозволяє проаналізувати всі розпізнані небезпечні
ситуації протягом зробленої поїздки та підтвердити (правильно розпізнані), або
відхилити (невірно розпізнані) ті або інші виявлені події, тим самим скорегувавши
подальшу роботу.
80
Рисунок 4.9 - Блок-схема визначення небезпечної поведінки водія на основі
моніторингу ситуації у кабіні транспортного засобу
Після чого виявляють переваги водія для формування персоналізованих
рекомендацій (блок 15). Персоналізація системи забезпечується за рахунок
виділення груп водіїв зі схожими характеристиками та розміщення нових або
змінених даних про групи профілів водіїв в окремому сховищі. У загальному
випадку алгоритм персоналізації системи містить у собі вирішення наступних
завдань: виділення характерних ознак у поведінці водія в кабіні транспортного
засобу, зчитування та перетворення сенсорних даних, класифікація подій за
правилами, сегментування шляхів руху, відбір ознак SMA (Simple Moving Average
- просте ковзне середнє) для даних, кластеризація профілів водіїв на групи,
співвідношення водія із групою.
Були виявлені наступні три варіанти неуважного водіння. При виявленні
81
стану ослабленої уваги водія використовується визначення положення його
голови щодо тулуба. У першому варіанті розглядається ситуація, при якій голова
водія повинна бути спрямована прямо по напрямку руху транспортного засобу. У
водія виявлені ознаки ослабленої уваги, якщо його голова не дивиться по
напрямку руху транспортного засобу більше двох секунд (напрямок швидкості
фіксується акселерометром смартфону), або ж вона не спрямована убік повороту
(визначається за даними з гіроскопа) транспортного засобу. У другому випадку
здійснюється спостереження за проходженням водієм поворотів ліворуч і
праворуч, шляхом відстеження напрямку руху транспортного засобу та фіксації
його поворотів ліворуч або праворуч. Передбачається, що у водія виявлені ознаки
ослабленої уваги, якщо при повороті транспортного засобу кут повороту голови
водія становить менше 15° у напрямку руху транспортного засобу.
Ефективність визначення небезпечної поведінки на дорогах була
протестована з використанням смартфонів Xiaomi 12 Pro, Google Pixel 6Pro,
Samsung Galaxy S21, Xiaomi Redmi Note 11, Huawei P50 Pro, Samsung S21, Huawei
Nova 10 Pro, Huawei YP5, Xiaomi Redmi 9, Samsung Galaxy ZFlip5, Samsung Galaxy
A22, LG G8 ThinkQ, Asus ROG Phone 5, Xiaomi Redmi 4, Samsung Galaxy M12,
Samsung Galaxy A52, Samsung Galaxy S10 (рис. 4.10). У тестуванні відповідної
системи прийняли участь 30 водіїв на особистих транспортних засобах.
t1 - час, за який більша частина сучасних смартфонів встигає визначити
небезпечний стан на часовому проміжку; t2 - максимально припустимий час
розпізнавання небезпечного стану
Рисунок 4.10 - Оцінка часу розпізнавання ослабленої уваги та втоми
82
Представлені дані свідчать про те, що заявлений спосіб забезпечує
можливість безперервного самонавчання та адаптації до поведінки і стилю
водіння конкретного водія, врахування його особливостей, а також дозволяє
підвищити ефективність визначення небезпечної поведінки на дорозі.
Результати проведених експериментальних досліджень свідчать про те, що
спосіб визначення небезпечної поведінки на основі моніторингу ситуації в кабіні
транспортного засобу має нові властивості, що обумовлюють одержання
позитивного ефекту, що вказує на можливість вирішення сформульованої
технічної проблеми.
Основними складнощами, що виникають при розпізнаванні обличчя людини
на зображеннях, є просторові характеристики положення обличчя і його масштаб,
роздільна здатність зображення, можливі штучні перешкоди на обличчі
(наприклад, окуляри, макіяж, та ін.), умови освітленості, тіні та відбитки від
навколишніх об'єктів. Тестування розробленого прототипу для розпізнавання
стану сонливості і ослабленої уваги було проведено з використанням незалежного
експерименту при участі випадкової тестової вибірки людей різної статі та віку
(рис. 4.10) з використанням смартфону Samsung Galaxy А8. Розглянемо
розроблену схему розпізнавання небезпечної поведінки водія, що спостерігається
всередині кабіни ТЗ, на основі зображень із фронтальної камери смартфону
(рис. 4.11).
Рисунок 4.11 – Схема розпізнавання аварійних ситуацій у кабіні ТЗ на основі
зображення із фронтальної камери смартфону
83
Найбільш перспективним з погляду зручності використання, якості сигналу
та інформативності реєстрованих параметрів є метод аналізу моторних реакцій
[14]. У даній роботі використовувався метод відеоокулографії (eye-tracking), що
поєднує в собі всі зазначені якості.
Були виділені наступні психофізіологічні ознаки, що дозволяють визначити
втому [15] та ослаблену увагу водія ТЗ [16]: PERCLOS, позіхання, поворот і нахил
голови, частота та швидкість моргання повік.
1) Під сонливістю розуміється почуття втоми та «злипання очей», що є
наслідком порушення сну та супроводжується постійним або періодичним
бажанням заснути в момент, не призначений для сну. Швидкість реакції
вповільнюється, ускладнюється прийняття рішень, а також знижується увага,
пам'ять, страждає координація рухів. Варто відзначити, що водії самі найчастіше
не усвідомлюють, що перебувають у стані сонливості.
Існуючі на даний момент наукові дослідження показали, що параметр
PERCLOS є перевіреним та надійним критерієм визначення сонливості водія.
Параметр PERCLOS характеризує проміжок часу, протягом якого повіки водія
закриті більш ніж на 80 % за оцінками спостерігача або відповідної прикладної
програми. Якщо показник PERCLOS спостерігається більше 28 % [17] часу
протягом однієї хвилини, то вважається, що людина перебуває в стані сонливості.
При розвиненні втоми або ослабленої уваги час моргання очима може стати
більш тривалим і більш повільним, може варіюватися частота моргання, і/або при
морганні повіки можуть почати опускатися з невеликою амплітудою, наприклад,
поки очі не почнуть закриватися на проміжки короткострокових «мікроснів»,
тобто сну, які тривають протягом приблизно від трьох до п'яти секунд або довше,
або до тривалого сну [18].
Додатковим критерієм визначення сонливості служить частота моргання
очей. Безпечний для водія інтервал, протягом якого допускається моргання ока,
рівний від 0,5 до 0,8 сек [19]. Збільшення часу моргання характеризує ступінь
втомленості водія. Іншим індикатором визначення стану сонливості є позіхання
[10, 11]. Вважається, що у водія присутні ознаки ослабленої уваги, якщо при
керуванні ТЗ він робить більше 3 позіхань протягом 30 хв.
84
Одною із помітних ознак ослабленої уваги є момент, коли водій «клює
носом», тобто йому важко стає втримувати голову у звичайному положенні [12].
Якщо додаток фіксує, що водій зробив більше 2 кивків головою протягом 2 хв,
фіксується виявлення небезпечної поведінки.
2) У результаті досліджень авторів роботи [13] було встановлено, що
постійне керування транспортом протягом 4 годин знижує швидкість реагування
водія на зміну дорожньої обстановки в 2 рази, а протягом 8 годин - до 5-7 разів.
Термін «неуважне водіння» має на увазі керування ТЗ, при якому водій не
повністю зосереджений на дорожніх умовах. Були виявлені наступні три варіанти
неуважного водіння.
При виявленні стану ослабленої уваги водія використовується визначення
положення його голови щодо тулуба. У першому варіанті розглядається ситуація,
при якій голова водія повинна бути спрямована прямо по напрямку руху ТЗ. У
водія виявлені ознаки ослабленої уваги, якщо його голова не повернута у
напрямку руху ТЗ більше двох секунд (напрямок швидкості фіксується
акселерометром смартфону), або ж вона не спрямована в сторону повороту
(визначається за даними з гіроскопа) ТЗ [14].
У другому випадку здійснюється спостереження за проходженням водієм
поворотів ліворуч і праворуч, шляхом відстеження напрямку руху ТЗ і фіксації
його поворотів ліворуч, або праворуч. Передбачається, що у водія виявлені ознаки
ослабленої уваги, якщо при повороті ТЗ кут повороту голови водія становить
менше 15° по напрямку руху ТЗ, або зовсім відсутній.
І, нарешті, у третьому випадку контролюється процес переміщення ТЗ у
сусідню смугу руху (водій повинен переконатися в безпеці маневру, перевіривши
наявність автомобілів за допомогою бічних дзеркал).
4.4 Алгоритм генерації рекомендацій водієві ТЗ при виявленні
небезпечної поведінки
Кожній небезпечній поведінці водія відповідає спеціалізована схема генерації
рекомендацій із запобігання виникнення аварійної ситуації. У якості
85
першочергових заходів для запобігання ДТП, водіями застосовується зупинка на
ночівлю, вживання тонізуючого напою, прослуховування радіо або музики,
ініціювання діалогу з пасажиром, провітрювання салону ТЗ, наспівування собі
мелодії, з'їзд на узбіччя та короткостроковий відпочинок.
Вихідні попереджуючі повідомлення, згенеровані смартфоном, про
знаходження в небезпечному стані можуть бути згенеровані водієві такими
способами:
− голосове повідомлення (синтез мовного сигналу на основі друкованого
тексту) за допомогою динаміків смартфону;
− звуковий сигнал за допомогою динаміків смартфону;
− вібрація (коливання) смартфону;
− візуальна заставка у вигляді графічної іконки на екрані смартфону;
− текстове повідомлення на екрані смартфону;
− яскравий спалах на екрані смартфону.
При виявленні ознак ослабленої уваги у водія система РСПАС попередить
його за допомогою звукового сигналу, привертаючи тим самим увагу.
Враховуючи відстань до місць відпочинку та поточне місце розташування водія,
зробить пошук найближчих до водія працюючих кафе, готелів та заправних
станцій. Через обмеження навігаційних додатків побудова маршруту не завжди
можлива при відсутності (офлайн режим) з'єднання з мережею Інтернет. Тому,
маршрут до того або іншого об'єкта на карті буде побудований тільки при
активному (онлайн режим) Інтернет-з'єднанні. Наприклад, якщо водій перебуває
на заміській трасі, час у дорозі до місця призначення перевищує відстань в 100 км,
мобільний додаток зробить пошук найближчих до водія місць відпочинку в
радіусі 50 км від поточного місцезнаходження. В іншому випадку, якщо водій
рухається в населеному пункті, радіус пошуку можливих місць відпочинку буде
обмежено 20 хв. поїздки. Якщо місце для відпочинку було знайдено, додаток
запропонує водієві побудувати навігаційний маршрут до нього. Якщо в якості
місця відпочинку був обраний готель, водієві буде запропоновано зупинитися на
ночівлю, а в іншому випадку випити кофеїновмісний напій. Якщо в процесі руху
водія по маршруту в області пошуку місць відпочинку від поточного
86
місцезнаходження ТЗ не виявилося ні кафе, ні готелів, ні заправних станцій,
водієві буде запропонований ряд рекомендацій, націлених на подолання в нього
ознак ослабленого уваги. У якості рекомендацій відновлення уваги водієві може
бути запропоновано включити радіо або музику, почати діалог з пасажиром, при
цьому, не відволікаючись від органів керування ТЗ, провітрити салон ТЗ,
наспівати собі мелодію або з'їхати на узбіччя та зробити короткостроковий
відпочинок (20-30 хвилинний сон).
Алгоритм генерації рекомендацій із запобігання аварійної ситуації при
небезпечній поведінці водія описаний на рис. 4.12.
Наприклад, у випадку, якщо мобільний додаток розпізнає втомлення у водія,
додаток повідомляє йому про можливість виникненні аварійної ситуації з
використанням голосового повідомлення, звукового сигналу чи яскравого
підсвічування екрану смартфону.
У випадку, якщо водій веде діалог з пасажиром, додаток відтворить
попереджуючий звуковий сигнал і порекомендує закінчити розмову. Якщо в
салоні ТЗ у водія йде програвання радіо або музики, мобільний додаток порадить
її приглушити або виключити зовсім. При виявленні небезпечної поведінки
додаток відтворює попереджуючий звуковий сигнал і включає яскраве
підсвічування телефону, тим самим залучаючи увагу водія до виявленої
позаштатної ситуації.
Рисунок 4.12 – Діаграма генерації рекомендацій при виявленні небезпечної
поведінки водія
87
4.5 Алгоритм калібрування системи на основі даних з камери, сенсорів
та налаштувань смартфону водія
Умови середовища, в якому передбачається використовувати систему
РСПАС, налаштовані водієм у кабіні ТЗ та використовувані смартфоном,
безпосередньо впливають на продуктивність мобільного додатка тією чи іншою
мірою, змінюючи швидкість, точність та функціональність мобільного додатка.
Варіанти розміщення (кріплення) смартфону в кабіні ТЗ та використання
заздалегідь встановленого на ньому мобільного додатка генерації рекомендацій на
смартфоні можуть сильно відрізнятися серед усіх водіїв, які у свою чергу можуть
значно вплинути на роботу мобільного сервісу. В тому числі, варто відзначити,
що в реальній обстановці смартфони працюють не завжди з повними та точними
даними.
З метою зменшення похибок при різних обчисленнях числових значень
фізичних величин і забезпечення єдності вимірювань у процесі роботи системи
РСПАС передбачається використовувати метод калібрування, що налаштовується
під поточний контекст водія та ТЗ. Калібрування враховує вхідну інформацію про
водія, ТЗ та смартфон. З технічної точки зору метод калібрування певного
параметра являє собою визначення характеристик відхилення тієї або іншої
фізичної величини, пов'язаних з умовами вимірювань, а саме порівняння
числового значення фізичної величини, виміряної за допомогою смартфона водія,
з окремим значенням. За рахунок аналізу та обліку профільної і контекстної
інформації про водія та характеристик апаратного і програмного забезпечення
смартфону по характеру виконання було виділено два режими калібрування,
якими є первинне ручне калібрування, здійснене безпосередньо водієм ТЗ та
автоматичне калібрування – уже в процесі використання мобільного додатку.
Ручне калібрування системи РСПАС (рис. 4.13) є обов'язковим при першому
запуску після установки та може бути рекомендоване водієві у випадку, якщо
виникла необхідність у повторному настроюванні та адаптації мобільного додатка
під поточні умови використання. Даний вид калібрування призначений для того,
щоб забезпечити початкову коректну роботу системи РСПАС. При використанні
88
ручного калібрування калібруючими параметрами є положення і розмір обличчя
та голови водія (обличчя спрямоване на фронтальну камеру смартфону, у зоні
видимості відсутні заважаючі огляду сторонні об'єкти, а сама особа не виходить за
межі видошукача камери смартфону), рівень гучності звукових попереджуючих
сигналів, та ін. Параметрами, що характеризують положення голови водія, є кут
нахилу та кут повороту голови.
Рисунок 4.13 – Алгоритм ручного калібрування мобільного додатку
В якості доповнення до ручного режиму іншим варіантом використання
калібрування є автоматичний режим, що полягає в програмному налаштуванні та
адаптації параметрів мобільного програмного комплексу системи РСПАС без
участі водія під час роботи додатка. Автоматичний режим калібрування
застосовується у випадку, коли в процесі функціонування системи РСПАС
відбувається велика кількість підряд неправильних спрацьовувань попереджень
про небезпечні обставини під час відсутності реакції від водія, що підтверджує
або відхиляє ту, або іншу дію. У цьому випадку, у результаті застосування даного
режиму калібрування небезпечні випадки, виявлені системою РСПАС,
переводяться в категорію «безпечні» і враховуються системою при подальшій
адаптації мобільного програмного комплексу під стиль водіння водія.
Більш детально автоматичний режим калібрування описується в такий
спосіб. Зображення особи одного водія, отримані в результаті роботи фронтальної
камери смартфону при різних положеннях його голови, включаючи кут повороту
вліво або вправо, чи кут нахилу вперед або назад, є одним з основних джерел
89
інформації, що використовується системою РСПАС при визначенні небезпечної
поведінки. Таким чином, характеристики положення голови безпосередньо
впливають на роботу модуля розпізнавання лицьових характеристик по
фронтальному зображенню обличчя водія.
Алгоритм автоматичного режиму калібрування (рис. 4.14) полягає в
ітеративному та регулярно повторюваному налаштуванні лицьових характеристик
водія шляхом оцінки та врахування відхилень, кутів нахилу та повороту голови в
площині фронтальної камери смартфону.
Заздалегідь визначене число вимірювань (спостережень) кутів положення
голови водія, зібрані за певний проміжок часу у процесі виконання автоматичного
калібрування, дозволяє визначити кожне вхідне зображення з відеоряду
фронтальної камери смартфону набором тих, або інших чисел, що позначають
градус повороту та кут нахилу голови в діапазоні від 0° до 360°. До отриманого
інтервального набору чисел, розрахованих для кожного зображення, застосовані
граничні операції, що дозволяють відфільтрувати значення, що зашумлюють набір
хибними значеннями.
Рисунок 4.14 - Алгоритм автоматичного калібрування мобільного додатку
90
Використання обох режимів калібрування, ручного і автоматичного, дає
можливість водієві встановити початкові параметри використання системи
РСПАС та вчасно відреагувати на зміну поточного контексту, відповідно.
Висновки до четвертого розділу
Представлена сервіс-орієнтована розподілена система попередження
аварійних ситуацій, основана на використанні смартфона, програмного комплексу
для обробки вхідних даних і хмарного сервісу, що здійснює підтримку та
працездатність системи РСПАС.
Розроблений алгоритм виявлення ознак втоми та ослабленої уваги в
поведінці водія при керуванні ТЗ. Розроблений алгоритм формування контекстно-
орієнтованих рекомендацій водієві при виявленні небезпечної поведінки, що
враховує поточні дані із сенсорів смартфону.
Для мінімізації впливу зовнішніх умов на працездатність мобільного додатку,
та максимальної адаптації системи, для водія розроблені алгоритми
автоматичного та ручного калібрування системи РСПАС на основі даних з
камери, сенсорів та налаштувань смартфону водія.
З метою підвищення точності розпізнавання небезпечного стану в поведінці
водія під час водіння розроблений алгоритм персоналізації системи РСПАС
індивідуально для водія, що враховує попередній досвід використання системи та
історію взаємодії з іншими учасниками РСПАС. Результати роботи даного
алгоритму застосовуються при формуванні звітів учасниками системи:
представникам страхових компаній та адміністраторам автопарків. Варто
відзначити, що даний алгоритм дозволяє оцінити стиль водіння кожного водія
окремо, тим самим звернувши його увагу на навички керування ТЗ.
Для накопичення, зберігання та аналізу даних про статистику поїздок водіїв і
оцінки стилю водіння кожного водія системи РСПАС застосовується спеціально
розроблене хмарне середовище, орієнтоване на використання програмним
комплексом смартфону та веб-сервісу адміністратора автопарку.
91
ЗАГАЛЬНИЙ ВИСНОВОК
На основі проведених досліджень були отримані наступні висновки:
1. Проведений огляд існуючих рішень в області систем активної безпеки
дозволив виділити СССВ, що існують у вигляді апаратно-програмних комплексів
та встановлюються на заводах виробниках; МСГР що розроблені на основі
програмних рішень у вигляді мобільних додатків; відеокамер, що встановлюються
в кабіні ТЗ та представлені автомобільними відеореєстраторами, окремими
приладами відеоспостереження, спрямованими на водія або дорогу; переносна
електроніка.
2. Запропонований контекстно-орієнтований підхід до створення
розподіленої системи попередження аварійних ситуацій, який полягає в
розподіленому накопиченні, аналізі загальної інформації про водія, контекст, його
компетенцію, історію взаємодії із РСПАС, класифікацію водіїв системи. Даний
підхід включає чотири основні компоненти: водій, смартфон, хмарне середовище
та користувачів.
3. Розроблено моделі системи попередження аварійних ситуацій:
використання РСПАС водієм власного ТЗ, використання РСПАС водієм та
адміністратором автопарку, застосування системи РСПАС страховою компанією
для використання водієм. Розроблено загальну схему взаємодії РСПАС.
4. На основі проведених досліджень було отримано три стани частоти
моргання очей та частоти позіхання: низькочастотний, проміжний,
високочастотний. Визначено, при яких із даних параметрів у водія нормальний
стан, незначна втома та сильна втома.
5. Розроблено алгоритм розпізнавання небезпечного стану в поведінці водія
при керуванні ТЗ, ослабленої уваги водія під час руху ТЗ та генерації йому
персоналізованих рекомендацій на основі інформації з фронтальної камери та
сенсорів смартфону про поточну ситуацію, у якій перебуває водій та транспортний
засіб.