ChSTU repository

4 
 
ЗМІСТ 
 
ВСТУП 
РОЗДІЛ 1. Аналіз методів і засобів безконтактного управління  
1.1 Аналіз методів   
1.2 Аналіз оптико-електронних пристроїв  
Висновки до розділу 1  
РОЗДІЛ 2. Математична модель оптико-електронного пристрою для 
безконтактного управління автоматизованої підсистеми автомобіля  
2.1 Математична модель введення зображення  
2.2 Модель корекції блумінга оптико-електронних датчиків  
2.3 Модель фільтрації зображення  
2.4 Модель класифікації та пошуку об'єктів типу «особа», «очі»  
2.5 Модель обчислення тривимірних координат об'єктів «очей» в просторі 
2.6 Модель уточнення значення просторових координат очей 
2.7 Модель пошуку відблисків на областях зображення, що містять очі  
2.8 Модель пошуку зіниці  
2.9 Модель обчислення векторів погляду  
2.10 Модель уточнення векторів погляду 
2.11 Модель обчислення точки перетину векторів погляду 
2.12 Модель тимчасової фільтрації результатів  
РОЗДІЛ 3. Метод, алгоритм обробки зображень і оптикоелектронні 
пристрої для безконтактного управління підсистеми автомобіля 
3.1 Оцінка похибки обчислення просторових координат об'єктів  
3.2 Метод обчислення векторів погляду і координат точки фокусування 
погляду в просторі 
3.3 Алгоритм обчислення векторів погляду і координат точки фокусування 
погляду в просторі 
3.4 Обґрунтування вибору типу оптико-електронного датчика 
3.5 Оптико-електронний пристрій для безконтактного управління 
 
5 
 
автоматизованими підсистемами автомобіля  
3.6 Аналіз швидкодії пристрою для безконтактного управління 
автоматизованими підсистемами автомобіля 
3.7 Інженерна методика вибору параметрів розробленого оптико-
електронного пристрою 
РОЗДІЛ 4. Експериментальні дослідження  
4.1 Апаратно-програмний стенд для проведення випробувань 
4.2 Методика проведення експериментальних досліджень  
ВИСНОВКИ  
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 
ДОДАТОК А Акт впровадження 
ДОДАТОК Б Тези публікації. 
ДОДАТОК В Презентація кваліфікованої роботи  
 
 
  
 
6 
 
ВСТУП 
 
 
У багатьох областях науки, промисловості і соціальної сфери 
застосовуються різні складні електронні пристрої, що вимагають безперервного 
контролю та управління. У більшості випадків оператору доводиться взаємодіяти 
одночасно з безліччю органів управління і пристроїв індикації та при цьому 
виробляти ряд допоміжних, але необхідних дій, які не повинні відвертати увагу 
оператора від основного процесу управління або його іншої діяльності, що 
обумовлює необхідність реалізації та використання систем управління на основі 
аналізу візуальної інформації про рухи, діях і реакціях оператора, або ж 
розпізнавання іншою інформацією - наприклад, голосових команд. Типовим 
прикладом реалізації безконтактного управління є використання пристроїв, що 
базуються на визначенні напрямку погляду оператора щодо керованих об'єктів. 
На вирішення проблем в цій галузі спрямовані дослідження зарубіжних 
вчених і наукових шкіл, що проводяться безліччю наукових і комерційних 
організацій, міським університетом Нью-Йорка, Копенгагенським університетом, 
компаніями Tobii, Apple, Samsung, BMW, Opel. 
Так, наприклад, сьогодні відомі багато систем управління персональним 
комп'ютером, озброєнням на військовій техніці, пристроями в автомобілі і 
безліччю інших виконавчих механізмів на основі відстеження напрямку погляду в 
просторі різними способами, серед яких виділяються три основні групи. 
Способи першої групи використовує механічний контакт з оком. 
Очевидним недоліком таких способів і реалізованих на їх основі пристроїв є 
можливість тільки короткочасного застосування в дослідницьких цілях з 
використанням спеціальних пристосувань і медикаментів для анестезії ока і 
неможливість застосування для практичних цілей управління технічними 
системами. 
Способи другої групи використовують електричні потенціали, вимірювані 
електродами, контактно розташованими на шкірі навколо очей. Подібні способи 
 
7 
 
характеризують найбільшу точність при здоровому оці, однак область їх 
застосування, зважаючи на необхідність реалізації контактного з'єднання, 
обмежена, як правило, тільки медичними застосуваннями. 
Третя група використовує оптичні методи реєстрації рухів очей і напрямку 
погляду. Як правило, використовується інфрачервоне підсвічування, світло якої 
відбивається від очного яблука і реєструється відеокамерою або іншим спеціально 
розробленим оптичним сенсором. Використовуються й інші різновиди третьої 
групи. 
Виконаний аналіз виявив, що найбільш перспективними є безконтактні 
способи третьої групи, які використовують у своїй основі обробку зображень 
очей, і обчислення керуючого впливу і його параметрів на основі напрямку 
погляду чи інших особливостей і рухів особи оператора, однак, методи, засновані 
на оптичному визначенні напрямку погляду сьогодні мають ряд суттєвих 
недоліків, серед яких можна виділити такі як низька точність і достовірність в 
умовах складної, динамічно змінюючи світлової обстановки при швидких 
переміщеннях голови. 
Таким чином, об'єктивно склалося протиріччя, що полягає в тому, що 
існуючі пристрої управління підсистемами автомобіля, засновані на 
безконтактному визначенні напрямку погляду і точки фокусування в просторі, не 
забезпечують коректне функціонування в складних умовах освітлення і швидких 
переміщеннях особи оператора, тоді як практичне застосування подібних систем 
обумовлює необхідність стабільного обчислення напрямку погляду і координат 
точки фокусування погляду в просторі в умовах складної світлотіньової 
обстановки і переміщень голови. 
Метою роботи є розробка математичної моделі, методу, алгоритму та 
оптико-електронного пристрою на їх основі, що забезпечують підвищення 
точності, в задачах безконтактного управління підсистемами автомобіля в умовах 
складної світлотіньової обстановки і швидких переміщеннях голови. 
Науково-технічним завданням є розробка математичної моделі, методу і 
алгоритмів підвищення точних характеристик, оптико-електронної системи для 
 
8 
 
безконтактного управління на основі обчислення напрямку погляду в умовах 
складної світлотіньової обстановки, і довільних переміщеннях голови щодо 
елементів управління. 
Мета роботи і науково-технічна задача декомпозирована на такі приватні 
задачі дослідження: 
- аналіз існуючих методів і пристроїв визначення напрямку погляду і 
розпізнавання лицьових рухів людини в інтересах реалізації безконтактного 
людино-машинного інтерфейсу для управління системами транспортного засобу; 
- розробка математичної моделі для високоточного обчислення напрямку і 
визначення точки фокусування погляду в просторі оптико-електронним 
пристроєм; 
- розробка методу та алгоритму обчислення координат точки фокусування 
погляду в просторі та розпізнавання візуальної команди користувача в умовах 
складної світлотіньової обстановки при випадкових рухах голови; 
- розробка структурно-функціональної організації оптико-електронного 
пристрою для безконтактного управління автоматизованими підсистемами 
автомобіля; 
- проведення експериментальних досліджень, аналіз отриманих 
результатів, оцінка точністних характеристик і ефективності роботи. 
Методи дослідження. 
В роботі для вирішення поставлених завдань використані методи цифрової 
обробки та аналізу зображень, сегментації і розпізнавання зображень, 
математичного моделювання, обробки результатів вимірювань, розробки 
обчислювальних пристроїв. 
Об'єкт досліджень - обчислювальні засоби обробки зображень і 
тривимірного зору на основі оптико-електронних пристроїв для безконтактної 
системи керування автомобіля. 
Предмет досліджень - методи і алгоритми обробки цифрових зображень в 
обчислювальному пристрої для обчислення просторових координат точки 
фокусування погляду в просторі.  
 
9 
 
РОЗДІЛ 1 
 АНАЛІЗ МЕТОДІВ І ЗАСОБІВ БЕЗКОНТАКТНОГО 
УПРАВЛІННЯ 
 
 
1.1 Аналіз методів 
 
Сучасне життя немислиме без різних засобів автоматизації, що 
використовуються в усіх сферах діяльності. Одним із перспективних напрямків є 
побудова систем безконтактного управління різними пристроями та процесами. У 
багатьох сферах науки, промисловості та соціальної сфери застосовуються різні 
складні електронні пристрої, що вимагають безперервного контролю та 
управління. У більшості випадків оператору доводиться взаємодіяти одночасно з 
безліччю органів управління і пристроїв індикації та при цьому виробляти ряд 
допоміжних, але необхідних дій, які не повинні відвертати увагу оператора від 
основного процесу управління або його іншої діяльності, що обумовлює 
необхідність реалізації та використання систем управління на основі аналізу 
візуальної інформації про рухи, діях і реакціях оператора, або ж розпізнавання 
іншою інформацією - наприклад, голосових команд. Типовим прикладом 
реалізації безконтактного управління є використання пристроїв, що базуються на 
визначенні напрямку погляду оператора щодо керованих об'єктів. 
Нині відомі багато систем управління персональним комп'ютером, 
озброєнням на військовій техніці, пристроями в автомобілі та безліччю інших 
виконавчих механізмів на основі відстеження напрямку погляду в просторі 
різними способами, серед яких виділяються три основні групи. 
Способи першої групи використовує механічний контакт з оком. 
Очевидним недоліком таких способів і реалізованих на їх основі пристроїв є 
можливість тільки короткочасного застосування в дослідницьких цілях з 
використанням спеціальних пристосувань і медикаментів для анестезії ока і 
неможливість застосування для практичних цілей управління технічними 
 
10 
 
системами. 
Способи другої групи використовують електричні потенціали, вимірювані 
електродами, контактно розташованими на шкірі навколо очей. Подібні способи 
характеризують найбільшу точність при здоровому оці, однак область їх 
застосування, зважаючи на необхідність реалізації контактного з'єднання, 
обмежена, як правило, тільки медичними застосуваннями. 
Третя група використовує оптичні методи реєстрації рухів очей і напрямку 
погляду. Як правило, використовується інфрачервоне підсвічування, світло якої 
відбивається від очного яблука і реєструється відеокамерою або іншим спеціально 
розробленим оптичним сенсором. Використовуються й інші різновиди третьої 
групи. 
Найбільш перспективними і кращими є способи третьої групи. А саме 
обчислення напрямку погляду і точки фокусування в просторі безконтактним 
способом, використовуючи відблиск на оці від зовнішнього підсвічування. 
Похибки при такому підході можуть бути надто великими на великих 
відстанях, але значно меншими на близьких. Виходячи з послідовності дій при 
обчисленні точки фокусування погляду в просторі можна виділити наступні 
складові результуючої похибки обчислень просторових координат точки 
фокусування в просторі: 
- Похибка вимірювання положення ОЕД в просторі; 
- Похибка апроксимації функції спотворень, що вносяться 
неідеальністю оптичної системи лінз; 
- Похибка обчислення просторових координат очей; 
- Похибка обчислення векторів погляду. 
Зважаючи на малий вплив і великої складності оцінки перших двох 
складових їх оцінка не проводиться і приймається допущення, що вони не роблять 
істотного збільшення похибки обчислення щодо інших складових. 
Розглянемо похибку обчислення просторових координат очей. 
Формули обчислення просторових координат мають вигляд:  
�� ��1 ��1�� ��2�� �� / �� 1�� �� 2�� , (1.1) 
 
11 
 
�� ��1��/ �� 1�� �� 2�� , 
��1��
�� , 
�� 1�� ��2��
 
де x1p, y1p, x2p, y2p- значення координат на площині оптико-електронних 
датчиків проєкцій точки Т,f - фокусна відстань ОЕД, L - розмір відрізка між 
центрами ОЕД. 
Далі розглянемо вираження (1.1) для визначення значень похибок при 
обчисленні просторових координат. Для цього обчислюються приватні похідні 
виразів по змінним x1p, x2p, прийнявши що похибки рівні (тому що ОЕД мають 
однакові характеристики) dx1 = dx2 = dx0p і далі вирази для dx, dz 
��1���� �� ��1�� ��
���� ≔ ����0�� , 
��1�� ��2�� ��1�� ��2�� ��1�� ��2��
(1.2
����
) 
�� �� ��1�� ��2�� �� �� �� ��1��
≔ ����0��
��1�� ��2�� ��1�� ��2�� ��1�� ��2�� ��1��
Похибки координат x і у аналогічні, тому похибка по координаті у 
розглядати нема потреби. Наведемо вирази 1.2 до простішого вигляду і запишемо:  
�� ��
���� ≔ ���� 0��√2  (1.3) 
��1�� ��2��
�� ��2�� ��1��
���� ≔ ����0��  (1.4) 
��1�� ��2��
 
Оцінимо, ставлення значень похибки обчислення координат x і z, для чого 
розділимо вираження (1.3) на (1.4): 
 
��√2                                                   (1.5) 
 
 
12 
 
Далі обчислимо кут ��  поля миттєвого огляду робочої області в площині 
XOZ ОЕД: 
�� ����������                                                     (1.6) 
де ��  - горизонтальний розмір фоточутливої матриці, використовуваної в 
ОЕД. 
Знайдемо найменше значення дальності �� , на якій можливе 
обчислення просторових координат: 
L
zmin3ds  f  
L (1.7) 
vs
З виразів (1.2) - (1.7) можна зробити висновок, що: 
- похибка обчислення глибини об'єкта робочої сцени перевищує в кілька 
разів похибки вимірювання двох інших координат; 
- Вимір похибки обчислення двомірних координат пропорційно 
призводить до зміни похибки просторових координат; 
- шляхом збільшення точності є збільшення робочої бази або величини 
фокусної відстані об'єктивів ОЕД. 
Далі оцінимо похибку обчислення векторів погляду в просторі. 
Виконаний аналіз виявив, що найбільш перспективними є безконтактні 
способи третьої групи, які використовують у своїй основі обробку зображень 
очей, і обчислення керуючого впливу і його параметрів на основі напрямку 
погляду чи інших особливостей і рухах особи оператора, однак, методи, засновані 
на оптичному визначенні напрямку погляду сьогодні мають ряд суттєвих 
недоліків, серед яких можна виділити такі як низька точність і вірогідність в 
умовах складної, динамічно змінюючи світлову обстановку при швидких 
переміщеннях голови. 
Визначимо основні складові справжнього дисертаційного дослідження 
підзадачі, що виникають у зв'язку з необхідністю розробки пристрою: 
- розробка методу і алгоритмів попередньої обробки зображень, пошуку 
обличчя та очей, обчислення тривимірних координат об'єктів; 
- зниження обчислювальної складності і створення апаратно-орієнтованих 
 
13 
 
алгоритмів виявлення, для реалізації їх на автономній обчислювальній базі; 
- розробка нових, і модифікація існуючих алгоритмів калібрування ОЕП; 
- розробка апаратних модулів для вирішення завдань безконтактного 
управління, що дозволяють відмовитися від використання обчислювальних 
засобів на базі персонального або промислового комп'ютера. 
Завдання дисертаційної роботи, незважаючи на те, що є вельми об'ємної, 
декомпозована на основні складові підзадачі: 
- пошуку обличчя та очей на зображеннях, обчислення просторових 
координат очей; 
- обчислення векторів погляду і просторових координат точки 
фокусування в просторі. 
 
 
1.2 Аналіз оптико-електронних пристроїв 
 
Відомі такі пристрої: Microsoft Kinect - представляє особливої 
спеціалізований контролер, призначений для безконтактного управління ігровою 
консоллю Xbox 360, розробленої компанією Microsoft. Корпус пристрою 
приставляє собою витягнутий в горизонтальній площині модуль, який має 
розміри близько 250 мм в довжину і 40 мм у висоту. До складу пристрою входить 
набір спеціалізованих сенсорів, а саме: 
- двох безконтактних вимірювачів глибини, 
- кольорового оптико-електронного датчика, 
- мікрофонної решітки. 
Такий набір датчиків забезпечує розпізнавання рухів тіла в просторі, їх 
аналіз і відстеження. Також, з використанням мікрофонної решітки проводиться 
як розпізнавання голосових команд, так і визначення напряму приходу голосової 
команди. 
З недоліків розглянутого пристрою слід зазначити: 
- неможливість відстеження напрямку погляду, 
 
14 
 
- необхідність адаптації та калібрування під конкретного користувача. 
Зовнішній вигляд пристрою представлений на рисунку 1.1. 
ІК випромінювач Кольорова камера 
ІК датчик глибини 
поворотний 
двигун 
мікрофонна решітка 
Рисунок 1.1 – Microsoft Kinect 
 
TrackIR - це спеціалізований пристрій введення керуючих команд, 
розроблений і підтримуючий компанією NaturalPoint, призначений для створення 
умов псевдо-віртуальної реальності з використанням персональних 
обчислювальних машин. Цей пристрій дозволяє виробляти відстеження рухів 
голови оператора по всіх просторовим напрямках і координатами. Дані про 
положення голови оператора передбачається використовувати в системах 
віртуальної реальності, в тому числі та різних комп'ютерних іграх, наприклад 
симуляторах автомобілів, літальних апаратів та інших засобів переміщення. 
Наприклад, в симуляторах автомобіля оператор може оглядати салон автомобіля, 
контролювати те, що відбувається зліва і праворуч від нього. Пристрій передбачає 
можливість корегування, для запобігання випадкових реакцій, обумовлених 
рухами голови, що не відносяться до управління віртуальними об'єктами. 
З недоліків цього пристрою можна відзначити можливість використання 
тільки в стаціонарних умовах, відсутність відстеження  напрямку погляду, 
необхідність калібрування під конкретного користувача. 
 
 
15 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Рисунок 1.2 - TrackIR 
 
Трекер RUCAP UM-5 - це бездротової джойстик для управління оглядом в 
комп'ютерних іграх і маніпуляції мишею без використання рук. RUCAP UM-5 в 
реальному часі і з високою точністю визначає положення і поворот голови 
людини відносно монітора. 
 
 
 
 
 
 
 
 
 
 
 
Рисунок 1.3 - RUCAP UM-5 
 
 
 
16 
 
Рішення, що використовують тільки вебкамера. В основі даних рішень 
лежить комп'ютерна програма, яка використовує зображення зі звичайною 
вебкамерою без будь-яких додаткових апаратних засобів. Як прикладможна 
привести програми Enable Viacam, FaceTrackNoIR і Cam2Pan. Всі вони 
здійснюють відстеження голови оператора. Крім очевидної переваги, що полягає 
у відсутності додаткових сенсорів, дані рішення мають ряд недоліків, зокрема, 
низькою швидкістю обробки зображення і великою часткою помилок 
розпізнавання. 
Відомо пристрій обчислення напрямку погляду людини SMI HighSpeed. 
Наведемо його опис від розробника «Ай-трекер SMI HighSpeed реалізує 
принцип відеореєстрації руху очей. Напрямок погляду визначається на основі 
вектора зміщення між позиціями центру зіниці і рогівкового відблиску (Pupil - CR 
метод). Частота реєстрації в монокулярному режимі дорівнює 1250 Гц або 500 Гц; 
в бінокулярному режимі - 500 Гц. Роздільна здатність 0.01°; робоча точність 
визначення напрямку погляду - 0.25 ° - 0.5 °; діапазон лінійності ± 30 ° по 
горизонталі, 30 ° вгору, 45 ° вниз. »[29] Недоліком цього пристрою є 
неможливість застосування при наявності великого числа сторонніх джерел 
світла.» 
Нашоломні системи індикації. 
Система здійснює стеження за поглядом пілота по положенню його голови, 
очей, і безперервно передає інформацію про поточний напрямок погляду 
прицільно-навігаційного комплексу або безпосередньо сенсорам літального 
апарату. Однак такі системи функціонують тільки в складі екіпірування пілота, а 
саме встановлено на його шоломі, що не має на увазі використання таких систем в 
умовах громадянського застосування. 
Розглянемо існуючі винаходи, які стосуються теми дослідження. Результати 
аналізу представлені в таблиці 1.1. 
 
 
 
 
17 
 
Таблиця 1.1 
Результати аналізу 
Найменування способу/засоби Недоліки  
Система і спосіб для відстеження Недоліком пристрою являється 
точки погляду спостерігача. Заявка чутливість до наявності зовнішніх 
на винахід №2012144651 джерел світла. 
Способи та системи для визначення 
Спосіб застосовується тільки в 
степені стомлення оператора. Заявка 
лабораторних умовах. 
на винахід №2014101664 
Запропонований спосіб не володіє 
Спосіб моніторингу руху очей і 
належною мірою автоматизації і тому 
пристрій для його реалізації. Заявка 
не може бути використаний в системах 
на винахід №2014140530 
безконтактного управління 
Способі вимірювання швидких рухів 
Недоліком способу являється 
очей і відхилень бінокулярного зору 
недостатня точність обчислення 
і пристрій для його реалізації. Патент 
напрямку погляду. 
на винахід №2352244 
Прогнозує людино-машинний Пропонований спосіб являється 
інтерфейс з використанням чутливим до зовнішніх джерел 
технології виявлення погляду, освітлення, у зв'язку з чим точність 
індикаторів "Мертвих" зон обчислення напрямку погляду за умов 
водійського досвіду. Патент на складної світлотіньової обставиниє 
винахід №2514924 недостатньою. 
 
 
 
 
 
18 
 
Продовження таблиці 1.1 
Недоліком пристрою є низька точність 
Система і спосіб для спостереження обчислення напрямку погляду в 
точки погляду спостерігача Патент на умовах складної світлотіньової 
винахід №2565482 обставини швидких переміщеннях 
об'єкта вимірювань 
Електронна офтальмологічна лінза з Спосіб є контактним і внаслідок 
датчиком погляду очей. Патент на чого непридатний в умовах 
винахід №2571179 управління підсистемами автомобіля 
Система офтальмологічної лінзи, 
Пристрій є контактним і внаслідок 
виконана з можливістю взаємодії із 
чого непридатний в умовах 
зовнішнім пристроєм. Патент на 
управління підсистемами автомобіля 
винахід №2585422 
Спосіб  моніторингу руху очей і Недоліком пристрою є низька точність 
пристрій для його реалізації Патент на обчислення напрямку погляду в 
винахід №2589623 умовах складної світлотіньової 
обставини швидких переміщеннях 
об'єкта вимірювань 
Комп'ютерний маніпулятор, що 
використовує кути повороту очей і Запропонований спосіб не володіє 
напрямок погляду людини для належною мірою автоматизації та 
позиціювання курсора на екрані тому не може бути використаний в 
комп'ютера. Корисна модель №93553 системах безконтактного управління 
Спосіб діагностики Складність і тривалість визначення 
косоокості степені косоокості, обумовлені 
необхідністю підбору параметрів 
положення оптичних систем, при яких 
досягається злиття зображень 
 
 
 
19 
 
Продовження таблиці 1.1 
 
Пристрій для дослідження Тривалість процесу вимірювання, 
бінокулярного зору  викликаний необхідністю пред'явлення 
тестових шаблонів і з'ясування у 
людини оцінки видимості шаблонів; 
низька точність, внаслідок приблизної 
оцінки характеру видимих зображень. 
Спосіб і пристрій виявлення фази Неможливість визначення параметрів 
швидких рухів очей уві сні (патент руху зіниці, і вимірювання напрямку 
США 4863259). погляду, так як датчик руху зіниці 
дозволяє визначати тільки наявність 
або відсутність такого руху. 
Спосіб реєстрації зіничних реакцій і Недоліками відомого способу і 
пристрій для його   здійснення пристрою є невисока точність 
вимірювань, пов'язана із застосуванням 
механічного сканування зображення 
зіниці, використанням аналогового 
фотоприймача, наявністю похибки 
виміру через мимовільних рухів очей і 
голови обстежуваного при реєстрації 
пупілограмм, недостатня 
інформативність параметрів реакції 
зіниці, що зумовлена зіставленням їх з 
груповими нормативними для здорової 
людини, досить тривалий час 
вимірювання, обумовлене тим, що 
порівняння поточних параметрів 
реакції зіниці у конкретного пацієнта з  
 
 
 
20 
 
Висновки до розділу 1 
 
На основі проведеного аналізу визначено що існуючі системи, засновані на 
безконтактному визначенні напрямку погляду і точки фокусування в просторі, не 
забезпечують коректне функціонування в складних умовах освітлення і швидких 
переміщеннях особи оператора, тоді як практичне застосування подібних систем 
обумовлює необхідність стабільного обчислення напрямку погляду і координат 
точки фокусування погляду в просторі в умовах складної світлотіньової 
обстановки і переміщень голови. 
  
 
21 
 
РОЗДІЛ 2 
МАТЕМАТИЧНА МОДЕЛЬ ОПТИКО-ЕЛЕКТРОННОГО 
ПРИСТРОЮ ДЛЯ БЕЗКОНТАКТНОГО УПРАВЛІННЯ 
АВТОМАТИЗОВАНОЇ ПІДСИСТЕМИ АВТОМОБІЛЯ 
 
 
Для опису процесів функціонування розроблюваного бінокулярного оптико-
електронного пристрою (БОЕУ), синтезу методів і алгоритмів обробки даних 
розроблено математичну модель функціонування високоточного оптико-
електронного пристрою для безконтактного управління системами транспортних 
засобів, що дозволяє отримати значення просторових координат точки 
фокусування за допомогою одночасної обробки зображень особи оператора від 
декількох оптико-електронних датчиків, відмінною рисою котрою є можливість 
оцінювання траєкторії переміщення голови оператора за даними про лінійних і 
кутових прискорень робочого місця оператора. 
Математична модель записується в наступному вигляді: 
�� �� �� �� �� �� �� �� �� �� �� ���� �� ��,�� ,��,��  (2.1) 
І має у своєму складі приватні підмоделі: 
- введення зображення 
Ι ν x, y ΜΙ Ε μ, β ,                                     (2.2) 
де E - світлова енергія з точки маючі просторові координати μ, β . 
- коррекції блумінга оптико-електронного датчика 
Ι x, y Μ Ι ,                                    (2.3) 
- фільтрації зображень 
Ι x, y Μ Ι ,Κ, d ,                               (2.4) 
де �� ��,��  - значення рівня яскравості окремої точки зображення після 
фільтрації з координатами (x, y), отриманих від ОЕД з номером ��, ��  - матриця 
значень рівнів яскравості точок зображення, отриманих від ОЕД з номером n,K - 
масив коригувальних коефіцієнтів, d - масив коефіцієнтів фільтра, що 
 
22 
 
забезпечують зменшення впливу шумів і систематичних спотворень, що 
обчислюються в результаті попереднього калібрування параметрів, класифікації 
та пошуку об'єктів типу «обличчя», «очі» 
- класифікація і пошук об’єктів типу «обличчя», «очі» 
�� �� �� ,                                             (2.5) 
де ��  - масив параметрів класифікованих об'єктів на зображенні, 
відповідному ОЕД під номером n, 
- обчислення просторових координат об'єктів типу «око» в просторі, 
ґрунтуючись на параметрах ОЕД і їх взаємне розташування 
�� ,�� �� �� .. ,�� .. ,                                  (2.6) 
де �� ,��  - просторові координати лівого і правого ока, щодо локальної 
системи координат ОЕД під номером п, ��,�� ..  - масив параметрів ОЕД, 
- уточнення значення просторових координат очей по різниці між 
фактичним і розрахунковим положеннями відблисків від освітлювачів на 
оці 
GLcorr ,GRcorr 3Dcorr Sobjn ,S1..n ,GL ,GR                        (2.7) 
де �� ,��  - уточнені просторові координати лівого і правого ока, 
щодо локальної системи координат ОЕД під номером ��,�� ..  - масив параметрів 
точкового джерела світла (ТІС), 
- пошуку відблисків на областях зображення, що містять очі 
�� �� ��                                               (2.8) 
де Sblik n  - масив параметрів, що описують місця розташування відблисків 
на зображенні від ОЕД під номером n, 
- обчислення векторів погляду 
�� ,�� �� �� ,�� , ��                            (2.9) 
де �� ,��  - значення векторів погляду для лівого і правого ока в 
локальній системі координат, прив'язаній до відповідного ОЕД, 
- пошуку зіниці 
�� �� ��                                              (2.10) 
 
23 
 
де ��  - масив параметрів, що описують місця розташування відблисків 
на зображенні від ОЕД під номером n, 
- модель зваженого усереднення векторів погляду 
Vl mean ,Vr mean mean Vri ,Vli ,S1..n                       (2.11) 
де Vr (n) ,Vl (n)  - усереднені значення векторів погляду для лівого і правого ока, 
- обчислення точки перетину векторів погляду 
Pcross cross Vl mean ,Vr mean                                        (2.12) 
де ��  - просторові координати точки фокусування погляду в просторі в 
глобальній системі координат 
- часова фільтрація результатів обчислення 
�� �� ��, ��������,�� …��                                         (2.13) 
де P - поточні координати точки фокусування в просторі, піддані фільтрації, 
що дозволяє знизити вплив випадкових процесів на результат вимірювання. 
Порядок взаємодії та підпорядкованості моделей представлений на рис. 2.1. 
 
 
2.1 Математична модель введення зображення 
 
Розміри оброблюваної робочої області, мають розміри �� , ��  і визначені 
змінними x i y ,. 
�� ∼∈ 0, �� , 
�� ∼∈ 0, �� .                                              (2.14) 
Енергія яку випромінює джерелами світла і відображена від об'єктів 
формується і потрапляє на оптико-електронний датчик. Енергія світлового потоку 
E характеризується довжиною хвилі �� світлочутливої області датчика, що має 
координати ��∼,��∼  дорівнює 
�� �� ��∼,��∼, ��                                                   (2.15) 
Значення енергій, що реєструються ОЕД обмежені як з меншою, так і з 
більшою боку його апаратними характеристиками  
 
24 
 
 
де ��������  - значення найбільшою і найменшою яскравості світлового 
потоку, лінійно перетворювати оптико-електронним датчиком. 
 
 
 
Рис. 2.1 - Взаємозв'язок математичних моделей 
 
Точка формованого зображення ��∼ ��∼,��∼ , що має координати ��∼,��∼  
являє собою інтегральне значення енергій �� ��∼,��∼, ��  у всьому діапазоні 
чутливості оптико-електронного датчика, з урахуванням його передавальної 
характеристики 
max
I (x , y )   (x , y ,)s d                                         (2.16) 
min
 
25 
 
Зображення ��∼ ��∼,��∼  являє собою безперервну двовимірну функцію, яка 
існує на обмеженому діапазоні значень координат. Введення даних зображення в 
пристрій обробки здійснюється шляхом перетворення аналогових значень енергій 
в цифровий вигляд (дискретизацією і квантуванням). 
Для визначення інтегрального значення яскравості з кожної точки 
зображення при переході до дискретного виду слід ввести таке поняття як крок 
дискретизації �� ,�� . На основі цього наведемо вираз (2.16) до наступного 
вигляду: 
x xy y
(x, y)    I (x , y )dx dy                          (2.17) 
x1, X , y1,Y
x y
де x, y - координати фоточутливих елементів матриці оптико-електронного 
датчика - пікселів.  
Провівши дискретизацію безперервного зображення ��∼ ��∼,��∼  отримаємо 
дискретне зображення у вигляді матриці точок (пікселів). Розмір матриці пікселів 
характеризується роздільною здатністю оптико-електронного датчика 
�� ,��                                                 (2.18) 
з розрахунком того що xN , X N , yN , Y N , де N  - безліч 
натуральних чисел. 
Матриця �� ��, �� | , , ,  складається з значень яскравості пікселів, що 
мають після перетворення в цифровий вигляд квантовані значення. Число рівнів 
яскравості ��  випливає з розрядності b аналого-цифрового перетворювача 
�� 2                                               (2.19) 
Значення I точки матриці з координатами (x, y) може являти собою ціле 
значення від 0 до ��1  
�� ��,�� ∈ 0,�� 1  (2.20) 
Модель МВИ введення зображення описує процес отримання значень 
яскравості пікселів в матриці дискретного зображення �� ��, �� | , , ,  
�� ��,�� | , , , �� И �� ��∼,��∼, �� | ∈ , , ∈ ,                    (2.21) 
∼ ∼
 
26 
 
Математична модель МВИ введення зображення служить для отримання 
значень яскравості I пікселя оптико-електронного датчика з координатами (x, y) 
�� ��,�� �� И �� ��∼,��∼, ��                                    (2.22) 
Ґрунтуючись на статистичної моделі, що використовується при описі 
процесу вимірювання яскравості ділянок робочої області, приймемо що виміряне 
значення I(x, y) яскравості точки зображення являти собою суперпозицію 
математичного очікування яскравості ��м ��, ��  і різних видів похибок, таких як 
випадкова похибка ��  і систематична похибка ��: 
�� ��,�� ��м ��,�� �� ��                                 (2.23) 
Систематична похибка є сумою двох складових: константної ��  - тобто 
незалежною від значення яскравості, змінної ��м, що знаходиться в залежності від 
значення яскравості ��м ��, �� : 
�� �� ��,�� �� ��м ��,��                                       (2.24) 
У зв'язку з тим що випадкова похибка ��  характеризується нульовим 
значенням математичного очікування, то при застосуванні усереднення значень 
безлічі вимірів ��м ��,��  вона буде прагнути до нуля і можна прийняти допущення 
про нехтування її значенням. В наслідок чого стає можливим обчислення 
значення систематичної похибки, в тому числі і її складових - адитивної і 
пропорційної. Для обчислення адитивної складової вираз (2.10) засновуючись на 
вираженні (2.11) набуде вигляду 
x, y  м x, y  a x, y   м  x, y                          (2.25) 
Так як �� 0, то при ��м ��, �� 0, ��м ��м ��, �� 0 
�� ��, �� | , , , �� ��, �� |
, , ,                                     (2.26) 
Пропорційна складова ��м залежить від яскравості IM ��м ��, �� , обчислюється 
шляхом рівномірної засвічення світлочутливої області оптико-електронного 
датчика. Взявши до уваги закон великих чисел величина випадкової помилки ��  
зводиться до знехтуваного малому значенню. Матриця пропорційною складовою 
��м ��, �� | , , ,  обчисленою за формулою (2.13) визначається як 
�� ��, �� | , , , �� ��, �� |
, , , �� ��, �� |
, , ,           (2.27) 
 
27 
 
Модель нейтралізації систематичної складової похибки 
��кор ��, �� | , , , обчислення яскравості точок матриці зображення на основі 
виразів (2.12-2.14) набуде вигляду 
��кор ��, �� | , , , �� ��, �� |
, , , �� ��,�� | , , ,
�� ��, �� |
, , ,  (2.28)  
З метою підготовки зображення для подальшого перетворення і визначення 
параметрів калібрування над скоригованим зображенням ��кор ��, �� | , , ,  по 
формулі (2.15) проводяться операції, які призводять до зміни контрастності і 
яскравості. 
Першою стадією нормалізації яскравості є вирівнювання середнього 
/
значення яскравості �� матриці пікселів зображення до заданої величини I . 
Середнє значення яскравості �� зображення дорівнює 
X Y
  Iкор (x, y)
I  x1 y1                                               (2.29) 
X Y
Для подальшої характеризації значення яскравості пікселя введемо кілька 
інтервалів значень яскравості, що розташований в проміжку від мінімального до 
максимального значення і назвемо їх «very dark», «dark», «middle», «light» і «very 
light» і функції приналежності, що відповідають зазначеним термам – 
"very dark ", "dark ","middle","light" і "very light" : 
very dark   1
1 5  I 5                                                (2.30) 
 Ia2
dark  е 2b2 ,при a  0,3, b  0,085                             (2.31) 
 Ia2
 2b2
middle  е ,при а  0,5 b  0,085                           (2.32) 
 2I a
  е 2b2
light ,при а  0,7 b  0,085                      (2.33) 
5 1
very light  1 (5  1 I                                 (2.34) 
 
28 
 
де a, b - параметри. 
Аналізуючи значення яскравості точок проводиться визначення 
послідовності подальших дій. Коли значення яскравості потрапляє в діапазони 
«very dark» і «very light» виконується апаратне коригування значення чутливості 
оптико-електронного датчика до тих пір, поки значення яскравості не потрапить в 
діапазон «dark». При рівні яскравості, що потрапляє в діапазони «dark», «middle» і 
«light» рівень яскравості точок зображення змінюється програмними методами, в 
наслідок чого отримуємо скориговане зображення ��ярк ��,�� | , , ,  
 
         (2.35) 
 
�� �� ��′                                              (2.36) 
Далі проводиться зміна контрастності зображення. Це вирішується шляхом 
зміни контрасту окремих елементів, при якому нормалізована яскравість точок 
зображення ��н ��, ��  має вигляд 
 
I
  эmin max  ярк  x, y  I эmax min  ярк x, y
c  (2.38) 
max  ярк  x, y min  ярк  x, y
xxн ,xк , y yн ,yк
де ��э������э  - встановлені значення мінімальної й максимальної яскравості. 
Зміна контрасту виконується шляхом сканування зображення двовимірною 
віконною функцією. 
Після проведення яскравості коригування зображення, зображення 
��н ��, ��  є готовим для застосування подальших операцій обробки. 
Математична модель коригування яскравості зображення, заснована на виразах 
 
29 
 
(2.15), (2.22), (2.23), набуває вигляду 
�� �� ��,�� ��н ��ярк ��кор �� ��, �� , 
, , ,
�� �� ��,�� ��н ��, �� | , , ,                           (2.39) 
 
 
2.2 Модель корекції блумінга оптико-електронних датчиків 
 
Одним з істотних спотворюють факторів є блюмінг. Він являє собою 
поширення енергії засвічення між сусідніми пікселями при перевищенні порога 
допустимої яскравості елементів зображення. 
Області, спотворені блюмінгом знаходяться автоматично за наступними 
умовами: 
а) схожість рівнів яскравості точок в одному стовпці 
1 Y Y
 1
i ,vj  i , j  пор                                (2.40) 
Y i1 Y i1
де Y - розмір зображення; �� , , - - рівень яскравості пікселя з координатами 
��, ��, �� пор - допустима мінімальна різниця яскравостей; 
б) присутність нерозривного ряду точок �� , | ..  стовпчика, що мають 
рівень значення яскравості �� , , що перевищує усереднене значення яскравості 
стовпчика �� , що 
∀�� , ,�� �� 1 …�� 1 
�� �� , �� , �� , �� , �� , �� , �� , �� , �� , �� , ��      (2.41) 
 де ��  - допустима варіація яскравості точок в стовпці 
Значення величин t і m визначаючих положення країв ряду обчислюються 
як градієнт між рядом стоячими точками: 
��: ���� 1, �� , || ���� ��, �� , ||            (2.42) 
��: ���� 1, �� , || ���� ��, �� , ||           (2.43) 
де ��  - граничне значення яскравості точок; ��  - число точок, забезпечують 
 
30 
 
коректне визначення закінчення ряду; 
в) присутність безперервних послідовностей точок �� , | ′… ′,  мають 
яскравість більшу, ніж в поряд що стоять шпальтах. 
 
∀�� , ,�� �� 1 …�� 1: 
�� , �� , �� , �� , �� , �� , �� , �� , �� , �� , �� ,
��    (2.44) 
∀�� ″ ″
, ,�� �� 1 …�� 1: 
�� , �� , �� , �� , �� , �� , �� , �� , �� , �� , �� ,
��           (2.45) 
�� ′: ��′ ��′ �� , ��′ ��′, , , , ��                        (2.46) 
m : I   I  
m, j1 m1, j1  ITM , Im, j1  I mT , j1  Itm                 (2.47) 
��″: ��″, ��″ , �� , ��″, ��″ , ��                (2.48) 
m : I  
m, j1  Im1, j1  ITM , I  
m, j1  ImT , j1  Itm         (2.49) 
г) схожість значень координат, обчислених в пунктах «в» і «б» 
�� ′ �� �� , ��″ �� ��                              (2.50) 
��′ �� �� , ��″ �� ��                           (2.51) 
де ��  - відома величина, �� 3; 
д) наближення рівня яскравості ��  точок стовпчика до рівня насичення ��  
точок ОЕД 
�� �� ||                                     (2.52) 
де ��  - відома величина; 
е) близькість середніх яскравості послідовностей пікселів, зазначених в 
пунктах «в» і «б», максимального значення яскравості пікселів кадру.  
1 m1
 I '
s , j1  Imax  I M                      (2.53) 
t m  2 st1
1 m1
  I  I  I '
t m  2 s , j1 max M                     (2.54) 
st1
 
31 
 
1 m1
 I '
s , j1  Imax  I M                     (2.55) 
t m  2 st1
де ��  - апріорі задана величина,��′ �� . 
Усунення спотворень можна робити різними методами: 
Нормалізований рівень яскравості точки �� ,  стовпця, підданого 
спотворенням можна виразити у вигляді 
0          
I i , j  0.5 Ii , j1  Ii , j1 �� , 0.5 �� , �� ,
(2.56) 
де Ii , j1 , Ii , j1  - рівні яскравості точок, що знаходяться в околиці 
оброблюваної точки. 
Коректований рівень яскравості �� ,  обчислюється як усереднене значення 
точок в лівій і правій околицях пікеля. 
Виправлення рівнів значення яркості точок, що належать 2 стовпцями, які 
мають координати по горизонталі j1 i j2 , виконується наступним чином: 
�� , 0.75�� , 0.25�� ,                              (2.57) 
�� , 0.75�� , 0.75�� ,                             (2.58) 
Виправлення областей, в яких схильні до спотворення три і більше 
стовпців, за допомогою цього методу не представляється можливим. 
У цьому випадку значення корекції обчислюється як  
 kI  I при 0  kI  I
 i , j const i , j const  Imax
I 0
i , j  Imax при kIi , j  Iconst  Imax ,

 0 при kIi , j  Iconst  0
ii1i , j j
2 1 j2
I max  I 
k  min
   ,  (2.59) 
max Ii , j min Ii , j 
iI1I 2 , jJ1J2
I  
I  max max  Ii , j   Imax min  Ii , j 
const max  Ii , j  min  Ii , j 
iI1I2 , jJ1J2
де i1, i2  - вертикальні координати спотвореної області; �� , ��  - горизонтальні 
 
32 
 
координати спотвореної області; �� , ��  - вертикальні координати точок, за якими 
проводиться обчислення змінних ��, �� , �� , ��  - горизонтальні координати точок, 
за якими проводиться обчислення змінних. 
 
 
2.3 Модель фільтрації зображення 
 
Зараз  існують різні способи зменшення впливу шумів,, лінійне усереднення 
по сусіднім пікселям такі як низькочастотна просторова фільтрація, адаптивна 
фільтрація. 
Низькочастотна просторова фільтрація. Низькочастотні просторові 
фільтри являють собою варіант фільтра низьких частот, що дозволяє обробляти 
двовимірний масив значень. Ці фільтри застосовуються для зменшення видимого 
шуму і т.зв. згладжування зображення. В процесі роботи фільтра над масивом 
значень точок зображення �� ��, ��  виконується операція згортки з матрицею 
фільтра ��  і має вигляд вираження 
���� ∑ , �� �� ��, �� �� �� �� �� 1, �� �� 1          (2.60) 
,
де q - розмір масиву коефіцієнтів; i, j - центральне значення оброблюваної 
області 
Для масиву коефіцієнтів фільтра, що мають розмір три на три значення 
параметр q=1 і формула (2.1) буде мати наступний вигляд 
���� , ∑ , �� 1 ��, 1 �� �� �� �� 1, �� �� 1             (2.61) 
Частотні характеристики фільтра залежать як від розмірності масиву 
коефіцієнтів, так і від їх значень, при цьому масиви коефіцієнтів є нормованими, 
тобто сумарне значення всіх коефіцієнтів дорівнює одиниці. Нижче показані 
найбільш часто застосовані матриці масивів коефіцієнтів низькочастотних 
фільтрів: 
 
33 
 
�� ,�� ,�� .             (2.62) 
Очевидною перевагою просторових фільтрів є зниження шумів зображення, 
проте при цьому стає розмите зображення і внаслідок чого зменшуються значення 
градієнтів. 
Фільтри з можливістю адаптації. Для того, щоб при фільтрації 
зображення відбувалося зниження рівня високочастотних шумів, проте при 
цьому, щоб не стати жертвою руйнування і розмиття контурів застосовуються 
т.зв. адаптивні методи фільтрації. Суть цього полягає в, тому що, фільтр може 
підлаштовуватися під тип оброблюваного зображення за рахунок зміни значень 
матриці коефіцієнтів. Зазвичай у фільтрах з можливістю адаптації 
використовують локальну обробку, яка має наступний вигляд: 
��# �� ,�� ∑ ∈ ℎ �� ,�� ;�� ,�� �� �� ,�� ;�� ,��                 (2.63) 
де n1, k1 [0, N1], n2 , k2 [0, N2 ]  - значення області зображення; H - 
коефіцієнт нормалізації яскравості зображення; D - двовимірне дискретне 
зображення має розмір, N1 N2 ; h(n1, n2 )  - імпульсна характеристика; 
g(n1, n2 )  f (n1, n2 )h(n1, n2 )  v(n1, n2 )  - видиме зображення; f (n1, n2 )  - 
вихідне зображення; �� �� ,��  - шумова складова. 
Коефіцієнти матриці h(n1, n2; k1, k2 )  змінюються в залежності від 
яскравості точок зображення, що потрапляє в ковзне вікно D. 
Обчислити значення коефіцієнтів фільтра можна за наступним виразом: 
ℎ �� ,�� ;�� ,�� 1 |�� �� ,�� �� �� �� ;�� �� |                (2.64) 
при цьому коефіцієнт матриці фільтра, нормалізуючи його значення буде 
мати вигляд: 
�� ∑ ∈ 1 |�� �� ,�� �� �� �� ;�� �� |                    (2.65) 
,
В простішому вигляді формування матриці коефіцієнтом можна 
представити виразом: 
 
34 
 
(2.66) 
де �� - спеціальна константа, що представляє СКО яскравості зображення, 
також вона може задаватися користувачем. 
Основним недоліком таких фільтрів є необхідність наявності апріорної 
інформації про вступників сигналів і перешкод, що в більшості випадках 
неможливо. 
Одним з можливих рішень, що дають можливість позбутися від 
вищевикладених недоліків, є розробка адаптивних алгоритмів фільтрації, 
використовуючи методи так званого алгоритмічного конструювання. Основною 
перевагою таких методів є оптимізація фільтрів за певними параметрами. 
Коефіцієнти фільтрації визначаються на основі алгоритмів, засновані на умовах, 
необхідних і достатніх для досягнення необхідного результату. Алгоритми 
адаптації фільтрів можуть бути засновані на застосуванні рівняння Вінера-Хопфа. 
 
 
2.4 Модель класифікації та пошуку об'єктів типу «особа», «очі» 
 
Пошук об'єктів на зображенні проводиться шляхом сканування зображення 
модифікованими вікнами Хаара різного розміру і обробкою результатів 
сканування функцією класифікатора, що представляє собою каскадну систему 
прийняття рішень, результатом роботи якої є безліч об'єктів, що 
характеризуються типом, розмірами і координатами на зображенні. 
 
Застосування такого рішення показує хороші характеристики щодо 
швидкості роботи і якості розпізнавання осіб. До того ж використання 
класифікатора, заснованого на ознаках Хаара має низьку ймовірність помилкових 
спрацьовувань, що особливо важливо в задачах, де подальша обробка 
проводиться за допомогою інших способів розпізнавання об'єктів на зображеннях. 
 
35 
 
Також, ще однією важливою перевагою є інваріантність до повороту голови на 
кути до 35 градусів, і низька чутливість до змін рівня освітленості, що особливо 
важливо для умов застосування зі складною світло-тіньової обстановки. 
На цей час використання вейвлетів Хаара є одним з найбільш 
перспективних напрямків в задачах розпізнавання образів, і особливо осіб і 
частин обличчя. 
Для обробки розпізнавання зображення вейвлетами Хаара виробляється 
обчислення інтегральної форми матриці точок зображення. 
Інтегральна форма зображення являє собою матрицю, що має рівні з 
вихідним зображенням розміри. Кожен елемент матриці має сумарне значення 
всіх елементів матриці вихідного зображення, розташованих вище і лівіше 
поточного елемента і має вигляд 
 
де �� ��, ��  - рівень яскравості точки вихідного зображення. 
Ознака Хаара є відображення деякої ділянки зображення на безліч значень, 
що входять в допустимий інтервал, тобто �� ���� де 
X - ділянка вихідного зображення, в якому виробляється обчислення ознаки, 
Df - безліч значень, що входять в допустимий інтервал.  
Для виявлення обличчя на зображенні застосовується набір стандартних і 
додаткових ознак Хаара, що мають прямокутну форму (рис. 2.2). 
 
Рисунок 2.2 - а) Стандартні примітиви Хаара б) Додаткові примітиви 
Хаара 
 
 
36 
 
При проведенні розрахунків ознака буде отримувати значення рівне S = L - 
D, де L - сумарне значення пікселів зображення, розташованих під світлою 
частиною ознаки, а D - відповідно під темною. Для прискореного обчислення сум 
застосовано представлення зображення в інтегральній формі, що дозволяє 
знаходити суму області шляхом знаходження різниці значень елементів 
інтегральної матриці, що мають координати лівого верхнього і правого нижнього 
кутів сумованої області зображення. 
Вектор ознак має вигляд �� ��1 �� , … , ���� ��  і є однією з форм 
характеристики об'єкта. 
 
Рисунок 2.3 - визначення обличчя та очей на зображенні 
Для обчислення вектора ознак застосовується скануюче вікно. Далі 
результати надходять в класифікатор, для прийняття рішення про наявність чи 
відсутність особи або очей на зображенні (рис. 2.3)… 
 
 
2.5 Модель обчислення тривимірних координат об'єктів «очей» в 
просторі 
 
Знайшовши координати очей на зображеннях, відповідних кожному ОЕД, 
проводиться обчислення їх просторових координат щодо різниці  в їх положеннях 
 
37 
 
на парах зображення  �� ,�� �� �� ,�� .. , обчислення відбуваються 
окремо для правого і лівого ока 
 
 
Рис.2.4 – Обчислення просторових координат об’єкта а) об’ємний вид, б) вид зверху 
(площина XOY), в) вид збоку (площина YOZ) 
 
Для кожної знайденої пари об’єктів спочатку відбувається обчислення координат 
в горизонтальній площині. З тою самою метою введена декартова система координат з 
початком в центрі одного із ОЕД О(0, 0, 0)  і віссю х, що проходить через його 
площину (рис. 2.4), центр другого ОЕД має координати  A(xA , yA , zA ) , третього 
B(xB , yB , zB ) , і його площина повернута до кута a і b, відповідно. Об’єкт 
представлений у вигляді точкиP(xP , yP , zP ) . Проєкція об’єкта на зображеннях ОЕД 
зміщені в горизонтальній площині на відстані d1 i d2 , у вертикальній – на відстані 
h1 i h2 , відповідно для першого і другого ОЕД, f1 і f2  - фокусні відстані першого і 
другого ОЕД. 
��  (2.67) 
 
38 
 
 
А потім по горизонтальному зсуву зображення об'єкта обчислюється його 
z координата 
ℎ
��                                               (2.68) 
�� , ����, ����, ����                                               (2.69) 
 
2.6 Модель уточнення значення просторових координат очей 
 
Для уточнення просторових координат очі за відомим положенням ОЕД і 
освітлювача, обчислюються розрахункові координати місця розташування 
відблиску від освітлювача на оці та відповідно його координати на зображенні, 
отриманого від ЕОД, а потім, знайшовши різницю між розрахунковим і 
фактичним становищем відблиску проводиться корекція значення просторових 
координат. 
�� ,�� �� �� ,�� .. ,�� ,��                            (2.70) 
 
 
 
 
2.7 Модель пошуку відблисків на областях зображення, що містять очі 
 
Пошук відблиску, проводиться шляхом пошуку овальних контурів на 
градієнті зображення ока наступним чином. 
Виділення контурів засноване на застосуванні методу диференціювання у 
двовимірному просторі, виходячи з якого точки, розташовані на кордонах 
областей матимуть найбільше абсолютне значення градієнта функції 1ф (х, у). 
Обробка зображень за допомогою цього методу пояснюється схемою на рисунку 2.5.  
 
39 
 
 
Рис. 2.5 – Функціональна схема, що пояснює метод диференціювання на 
площині 
 
Операція диференціювання вихідного зображення Iф (x, y)  в градієнтне 
Idiff (x, y)  виконується наступним чином: 
2 2
Idiff (x, y,)  Iф (x, y) / x  Iф (x, y) / y                (2.71) 
де Iф (x, y) / x, Iф (x, y) / y  - приватні похідні функції, що описує 
рівні яскравості елементів зображення по перпендикулярних напрямках. 
Отримане зображення Idiff (x, y)  є градієнтом з виділеними межами. Подальше 
перетворення градієнтного зображення здійснюється на основі функції 
бінаризації (порогової обробки) 
1 при G
  x, y T
B x, y                                       (2.72) 
0 при G x, y T
де Т – значення порогу, певного для кожної області зображення. 
Граничний оператор на виході формує бінарну матрицю B(x, y) контурів 
градієнтного зображення, елементи якої позначають кордони областей 
градієнтного зображення ���������� ��, �� . 
 
40 
 
У зв'язку з тим, що від точності виділення контурів зображення сильно 
залежить точність обчислення координат центру відблиску, запропоновано 
використовувати функції, засновані на апроксимації виділяючих контурів. Для 
кожного елемента матриці зображення обробляється область R, розташована в 
околиці цієї точки. Для точок цієї області задана ступенева функція, що має 
вигляд: 
a1 при с1x  c2 y  t, x, y  R
I  x, y,c1,c2 ,i,a1,a2  

 a1  a2 при с1x  c2 y  t  R                     (2.73) 

 0 при x, y  R
де – �� , �� , ��, �� ,��  - числові параметри. 
Ця функція виробляє визначення кордону в точці, що має координати (х,у). 
Напрямок цієї межі, а також її положення щодо точки залежить від значень 
параметрів c1, c2, t, а абсолютні значення краю - величинами a1 і a2. 
Пошук відблисків на зображенні здійснюється наступним чином. 
Значення координат краєм відблиску в області, оброблюваної функцією 
визначаються наступними виразами: 
R D  maxx, L D  miny, B D  maxy, T D  miny      (2.74) 
x , yD x , y D x , yD  x , y D
Центр (m1, m2) відблиску визначається виразами: 
 x  y
m   x , yD
x ; m  x , yD
y                                        (2.75) 
1 1
 x , yD x , yD
Горизонтальні і вертикальні розміри відблиску (рис. 2.6) визначаються 
наступними виразами: 
 
41 
 
 
Рис. 2.6 - Геометричні характеристики відблиску 
 
Блик на оці має форму, наближену до кола, а відповідно його контур - до 
окружності. Характеристика схожості об'єкта на окружність ��окр у , показує 
відносний ступінь подібності об'єкта та окружності (рис 2.7). Кількісна оцінка 
подібності характеризується відношенням точок належних окружності O(o1, o2 )  і 
радіусу R. Масив точок (x, у), що входять в область кола ��кр має вигляд: 
2
 x, yFG : x, yG 2
e  x  ox   R , y  oy             (2.76) 
де G - масив точок, що належать знайденому об'єкту, ��кр - область 
окружності. 
 
Рис. 2.7 - Виявлений об'єкт 
 
Імпульсна характеристика об'єкта визначається наступним виразом: 
 
42 
 
1, если n ,n
 G
fокр n1,n
1 2 кр
2                        (2.77) 
0, если n1,n2 Gкр
Функція поділу областей, що належать і не належать окружності уокр має 
вигляд: 
��окр ��                    (2.78) 
∑ , ∈ окр ,
де S - площа кола. 
Далі, провівши уточнення контуру відблиску, проводиться обчислення 
координат його центру. 
 
 
2.8 Модель пошуку зіниці 
Модель пошуку зіниці Szr n  M zr (Sobj n )  функціонує аналогічним чином 
як і модель пошуку відблисків, за тим винятком, що проводиться пошук 
окружності, що має найменшу яскравість на зображенні області ока. 
 
 
2.9 Модель обчислення векторів погляду 
 
Рис. 2.8 – Геометрична схема обчислення вектори погляду ока 
 
Знаючи уточнені координати центрів очей, обчислюються вектори погляду 
 
43 
 
для лівого і правого ока Vri ,Vli  M vect (GLcorr ,GRcorr , Sobj n )  .Для цього, 
аналогічним, як і для відблиску способом, проводиться пошук зіниці на 
зображенні і обчислення його координат. Далі по взаємному розташуванню 
відблиску і зіниці на зображенні обчислюється вектор погляду (по зображеннях 
від кожного ОЕД), що представляє собою 
Vl  xl 0 , yl 0 , zl 0 , l ,l  , Vr  xr 0 , yr 0 , zr 0 , r ,r               (2.79) 
 
 
2.10 Модель уточнення векторів погляду 
 
У зв'язку з різною похибкою обчислення векторів погляду щодо різних ОЕД 
застосовано зважене усереднення векторів погляду. 
Vl mean ,Vr mean  M mean (Vrn ,Vln , PS1..n ) , однаковим чином для лівого і 
правого ока. 
�� ∑ �� ��                                          (2.80) 
Для кожної пари векторів лівого і правого ока формуються вагові 
коефіцієнти �� , що залежать від відстані між ОЕД і очима і зміщенням 
зображення ока від центру матриці ОЕД. 
wn  Fcoef f Vrn ,Vln , PS1..n                              (2.81) 
 
 
2.11 Модель обчислення точки перетину векторів погляду 
 
Струми перетину векторів погляду в просторі 
Pcross  M cross (Vl mean ,Vr mean )  обчислюється як точка середини мінімального 
відрізка, що з'єднує ці вектори, причому довжина цього відрізка повинна бути 
менше евклідова відстань між початками векторів погляду, що свідчить про те, 
що вектори сходяться в просторі. 
 
44 
 
 
��
������ �� �� , ������ �� �� ������ �� �� �� ������ �� �� ,  
2�� ������ �� ������ �� �� , ������ �� �� �� ������ �� �� �� ������ �� �� ,
��  (2.82) 
�� �� ������ �� �� ������ �� �� ������ �� �� ������ ��
��     (2.83) 
 
 
2.12 Модель тимчасової фільтрації результатів 
 
Для зменшення впливу випадкових процесів використовується 
модель�� адаптивної тимчасової фільтрації координат точки фокусування в 
просторі �� �� ��, ��������,�� …��  , побудована на базі фільтра. 
  
 
45 
 
РОЗДІЛ 3  
МЕТОД, АЛГОРИТМ ОБРОБКИ ЗОБРАЖЕНЬ І ОПТИКО-
ЕЛЕКТРОННИЙ ПРИСТРІЙ ДЛЯ БЕЗКОНТАКТНОГО УПРАВЛІННЯ 
ПІДСИСТЕМАМИ АВТОМОБІЛЯ 
 
 
Далі розглянуті розроблені: метод, алгоритм і високоточний оптико-
електронний пристрій для безконтактного управління системами транспортних 
засобів. Для розробки методу оцінимо похибки. 
 
3.1 Оцінка похибки обчислення просторових координат об'єктів 
 
Точність відстаней можна зіставити з похибкою виділення країв об'єктів на 
зображеннях, що також залежить від впливу 
Значення максимальної помилки АЦП виражається як: 
�� ������ ��                                       (3.1) 
де ��  - величина рівнів квантування. 
СКО АЦП за значенням амплітуди розраховується як 
�� √
КО                                             (3.2) 
де про - СКО функції зображення I (x, y), b  - кількість біт АЦП, якими 
квантується рівень яскравості зображення. 
Результуюче значення яскравості пікселя ��П являє собою суму істинного 
значення яскравості ��  і деяку випадкову величину помилки �� розподілену в 
деякому діапазоні, що визначаються СКО 
 
При проведенні операції нормалізації зображення, рівень яскравості точки I 
буде дорівнювати  
�� �� ⋅ ��П �� �� ⋅ �� �� �� �� ⋅ �� �� ⋅ �� ��             (3.3) 
де k - змінна, що дорівнює зворотній величині контрастності кадру; ��  - 
 
46 
 
змінна, що визначається яскравістю зображення. 
З огляду на те, що значення змінних k, ��  залежні від значень яскравості 
точок великої області кадру, випадкову складову у формуванні значення 
яскравості точки можна вважати гранично малою і не впливаючи на результат і 
прийняти, що k, ��  не мають залежності від випадкових впливів . 
Обчислення контурів зображення засноване на визначенні різниці G рівнів 
яскравості двох поруч розташованих точок, що мають рівні �� , ��  і обробку різного 
значення G з пороговим детектором, що має рівень спрацьовування �� . У зв'язку з 
тим що рівні �� , ��  можуть бути перекручені випадковими величинами k   , то 
при оцінці найгіршого значення похибки виділення контурів слід прийняти, що 
рівень ��  пікселя має справжнє значення, а рівень ��  спотворений величиною, що 
має найбільше значення �� , в зв'язку з чим помилка обчислення градієнта G 
прийме значення k  max..  
Під час виділення країв може виникнути складова помилки �� , заснована 
на характеристиках аналого-цифрового перетворення величини рівня яскравості. 
Тоді контур може мати довжину рівну ��  або в �� 1  точок, і внаслідок чого 
�� �� ⋅                                                 (3.4) 
Знайдемо похибку обчислення просторових координат об'єктів. 
Знайдемо похідні: 
l
dqx 1max x2 pl2max f2  x2max f2L  f1l2max x2 p 
1  
x1 pl1max x2max f2  x2 pl2max f1x1max
                     (3.5) 
x1 pl
2
1max x2 pl2max f2  x2max f
 2L  f1l2max x2 p  x2max f2
 2
x1 pl1max x2max f2  x2 pl2max f1x1max 
x l
dqx  1 p 1max l2max f2  f1l2max 
2 
x1 pl1max x2max f2  x2 pl2max f1x1max
            (3.6) 
x1 pl1max x2 pl 2max f2  x2max f2L  f1l2max x2 p l2max f1x1max
 2
x1 pl1max x2max f2  x2 pl2max f1x1max 
 
 І виведемо вирази для визначення значення похибки dz. 
 
47 
 
 2
 2  
 l
 1max  x2 pl2max f2  x2max f2L  f1l2max x2 p  x
 1 pl1max x2 pl2max f2  x2max f2L  f1l2max x2 p  x2max f2 
 dx 
 x1 pl1max x 2 1 p
 2max f2  x2 pl2max f1x1max x l    (3.7) 
 1 p 1max x2max f2  x2 pl2max f1x1max  
dz  sqrt 
 2 
  x l l f  f l  x l x l f  x f L  f l x l 
 1 p 1max 2max 2 1 2max  1 p 1max 2 p 2max 2 2max 2 1 2max 2 p 2max f1x1max f2  
 2 dx
  x1 pl1max x2max f2  x2 pl2max f x  2 p 
  1 1max x1 pl1max x2max f2  x2 pl f x  
2max 1 1max   
 
Різниця кутів установки оптико-електронних датчиків �� дорівнює�� ������ ��ℎ/���� . 
Розрахунок помилки ���� обчислення значення кута �� відбувається шляхом 
пошуку повної похідної 
l,h
  l,h
   1  h
  l   h   l  h  (3.8) 
l h l  h2 / l l 2  h2
Прийнявши те, що значення помилок ����, ��ℎ мають значення помилок 
обчислення координат калібрувальної точки, то ����, ��ℎ матимуть значення 
помилки виділення контуру  
 
і формула (3.7) набуде вигляду: 
 
ℎ
���� ⋅ ��                             (3.9) 
ℎ ℎ
 
 
 
 
3.2 Метод обчислення векторів погляду і координат точки 
фокусування погляду в просторі 
 
Розроблений метод обчислення напрямку погляду і точки фокусування в 
просторі полягає в: фільтрації зображень від випадкових і систематичних 
спотворень, сегментації та пошуку об'єктів, обчисленні координат об'єктів, 
фільтрації помилкових виявлень відблисків, обчисленні напрямків погляду 
кожного ока, обчисленні точки фокусування в просторі. Відмінною новизною 
 
48 
 
методу є одночасна обробка відблисків від декількох освітлювачів, що дозволяє 
підвищити точність характеристики системи в умовах складної світлотіньової 
обставини та випадкових швидких переміщень об'єкта вимірювання. 
Розглянемо запропонований метод і його ключові особливості: 
- калібрування, що виконується одноразово при налаштуванні пристрою; 
- фільтрація зображень; 
- пошук зображень очей; 
- пошук і виявлення відблисків одночасно від декількох джерел світла, 
селекція власних джерел світла, що дозволяє працювати в складній світлотіньовій 
обставині з наявністю сторонніх джерел світла; 
- обчислення просторових координат центрів очей з подальшим їх 
уточненням за місцем розташування відблисків; 
- обчислення векторів погляду в просторі з зображення від кожного ОЕД; 
- вагова обробка результатів обчислень по окремим зображенням, що 
дозволяє підвищити точність обчислень і знизити ймовірність виникнення 
несистематичних відхилень. 
- обчислення просторових координат точки фокусування в просторі за 
усередненими результатами обчислення векторів погляду. 
-виконання вибору елемента управління в результаті аналізу координат 
точки фокусування; 
- трекінг і аналіз переміщень точки фокусування поблизу елемента 
управління 
1. Калібрування. 
Калібрування виконується одноразово при налаштуванні пристрою. Суть 
калібрування полягає в: 
- визначенні власних просторових координат оптико-електронних датчиків, 
- визначенні просторових координат точкових джерел світла, 
- обчисленні кутів установки оптико-електронних датчиків в просторі як в 
азимутальній, так і в кутомісцевих площинах, 
- обчисленні коефіцієнтів корекції дисторсії, оптичної системи датчиків. 
 
49 
 
2. Фільтрація зображень. 
Для того, щоб при фільтрації зображення відбувалося зниження рівня 
високочастотних шумів, проте при цьому не стати жертвою руйнування і 
розмиття контурів застосовуються т.зв. адаптивні методи фільтрації. Суть цього 
полягає в тому що, фільтр може підлаштовуватися під тип оброблюваного 
зображення за рахунок зміни значень матриці коефіцієнтів. 
3. Пошук зображень очей 
Пошук об'єктів на зображенні проводиться шляхом сканування зображення 
модифікованими вікнами Хаара різного розміру і обробкою результатів 
сканування функцією класифікатора, що представляє собою каскадну систему 
прийняття рішень, результатом роботи якої є безліч об'єктів, що 
характеризуються типом, розмірами і координатами на зображенні. 
4. Пошук і виявлення відблисків. 
Пошук і виявлення відблисків одночасно від декількох джерел світла, 
селекція власних джерел світла, що дозволяє працювати в складній світлотіньовій 
обставині з наявністю сторонніх джерел світла. Пошук відблиску, проводиться 
шляхом пошуку овальних контурів на градієнті зображення очі наступним чином. 
Обчислюється значення градієнта обробкою зображення оператором Собела 
розмірністю 3х3, а потім критерію d, що характеризує ступінь схожості об'єкта з 
колом 
5. обчислення просторових координат центрів очей з подальшим їх 
уточненням за місцем розташування відблисків; 
Знайшовши координати очей на зображеннях, відповідних кожному ОЕД, 
проводиться обчислення їх просторових координат щодо різниці в їх положеннях 
на парах зображень обчислення проводяться окремо для правого і лівого ока. 
6. обчислення векторів погляду в просторі з зображення від кожного 
ОЕД. 
Знаючи уточнені координати центрів очей, обчислюються вектори погляду 
для лівого і правого ока. Для цього, аналогічним, як і для відблиску способом, 
проводиться пошук зіниці на зображенні і обчислення його координат. Далі по 
 
50 
 
взаємному розташуванню відблиску і зіниці на зображенні обчислюється вектор 
погляду (по зображеннях від кожного ОЕД). 
7. вагова обробка результатів обчислень по окремим зображенням, що 
дозволяє підвищити точність обчислень і знизити ймовірність виникнення 
несистематичних відхилень. У зв'язку з різною похибкою обчислення векторів 
погляду щодо різних ОЕД застосовано зважене усереднення векторів погляду. 
Для кожної пари векторів лівого і правого ока формуються вагові 
коефіцієнти, що залежать від відстані між ОЕД і очима і зміщенням зображення 
очі від центру матриці ОЕД. 
8. Точка перетину векторів погляду в просторі обчислюється як точка 
середини мінімального відрізка, що з'єднує ці вектори, причому довжина цього 
відрізка повинна бути менше евклідової відстані між початками векторів погляду, 
що свідчить про те, що вектори сходяться в просторі. 
9. Виконання вибору елемента управління в результаті аналізу 
координат точки фокусування. 
Після обчислення просторових координат точки фокусування погляду в 
просторі проводиться оцінка та порівняння отриманих координат з координатами 
областей керуючих елементів. У разі потрапляння точки фокусування погляду в 
просторі в якусь з областей керуючих елементів, починається відлік часу фіксації 
погляду на цьому елементі. У разі достатнього часу фіксації погляду проводиться 
видача керуючої команди в підсистеми автомобіля. 
10. трекінг і аналіз переміщень точки фокусування поблизу елемента 
управління. В процесі функціонування пристрою проводиться аналіз переміщень 
точки фокусування погляду в околиці керуючих елементів[95,96]. Це необхідно 
для підрахунку статистичних даних і підстроювання параметрів пристрою під 
конкретні умови експлуатації. 
 
 
 
 
 
51 
 
3.3 Алгоритм обчислення векторів погляду і координат точки 
фокусування погляду в просторі 
 
 
Рис.3.1 - Узагальнений алгоритм обчислення координат точки 
фокусування в просторі 
 
Алгоритм обчислення напрямку погляду і точки фокусування в просторі з 
метою управління системами транспортного засобу (рис.3) полягає у виконанні 
наступних груп операцій: пошук і супровід положення голови і очей на 
зображеннях (блоки 3 - 18), обчислення просторових координат очей, щодо місця 
розташування кожного ОЕД і їх подальше уточнення (блоки 19 - 22), обчислення 
векторів погляду в локальних системах координат з подальшим приведенням в 
глобальну (блоки 23, 24), обчислення точки фокусування погляду в просторі 
 
52 
 
(блоки 25 - 29) і подальшої тимчасової фільтрації та аналізом отриманих 
результатів (блоки 29 - 32).  
Розглянемо алгоритм виявлення об'єктів. У блоці 1 виробляється введення 
зображень робочої сцени з оптико-електронних датчиків, що становлять 
стереопари з відомим просторовим взаємозв'язком, який визначається відстанню 
між ОЕД, їх взаємною орієнтацією, розмірами матричних приймачів зображень, 
виражені в метрах і пікселях. Далі  здійснюється пошук попередніх 
відповідностей на різних зображеннях з різних ОЕД і побудова карти глибини, що 
дозволяє без формування об'єктів оцінити дальність до елементів робочої сцени. 
На наступному кроці визначатиметься область особи. Далі кожне з зображень з 
ОЕД сегментується на окремі складові у вигляді сегментів, що характеризуються і 
визначаються за допомогою швидкості зміни яскравості та кольору в локальних 
областях зображень. Далі виконується пошук характерних точок очей за 
допомогою побудови карти відгуків і 64 бітових наборів параметрів. При великій 
просторової щільності виявлених характерних точок, вибираються для 
подальшого використання тільки ті, які характеризуються найбільш вираженими 
характерними особливостями, а саме -  більш чіткими в порівнянні з іншими 
точками контурами, кутами, перепадами яскравості і локальними контрастними 
характерними особливостями. 
 
 
53 
 
 
Рис.3.2 - Алгоритм обчислення координат точки фокусування в 
просторі 
 
Потім виконується зіставлення характерних точок і обчислення їх 
 
54 
 
тривимірних координат. Після цього за допомогою об'єднаного аналізу 
двовимірних сегментів і тривимірних координат характерних точок, відповідних 
даних сегментах проводиться виявлення об'єктів і визначення їх розмірів - 
максимальних і мінімальних абсцис, ординат, аплікат. Виробляється виділення 
контурів сегментів об'єкта та уточнення їх координат, перевірка приналежності 
характерних точок контурам об'єкта та остаточне прийняття рішення про 
виявлення об'єкта. 
Окремо розглянемо алгоритм виділення зіниць на зображенні 
  
Рис. 3.3 – Алгоритм виділення зіниці на зображенні 
 
55 
 
 
В наступній групі блоків відбувається приблизне формування безлічі 
пікселів, припускаючи належній зіниці (блоки 5-8). Для кожного чергового 
пікселя в блоці 7 поточного ��  і усередненого ��  зображення перевіряється 
виконання умови: 
Icur M , если Icur  x, y   c  T и Iavg x, y   c  NT                    (3.10) 
де М – множина точок, що являються припустимим об’єктом, с – колір 
об’єкта, Т –граничне значення для визначення об’єкта в даному кадрі,         
NT – граничне значення для визначення точок, подібних об’єкту на усередненому 
кадрі. Це дозволяє з великою ймовірністю визначити точки, що належать об’єкту. 
Отримане зображення сегментується в блоці 9. Для сегментації 
використовується RGB простір, розбите на підпростір. Кожний підпростір має 
унікальний номер, щодо якого відбувається вибір відповідності поточного пікселя 
потрібної області. Номер підпростору ��  для кожного пікселя розраховується за 
такою формулою: 
�� ������ ≪ ������ ≪                                      (3.11) 
ℎ ℎ ℎ
де операція << - є операцією зсуву числа на 8 біт, а операція mod() - 
отримання цілої частини від ділення, r, g, b - відповідно, червона, зелена і синя 
складові оброблюваного пікселя, hR , hG , hB  - кількість одиниць кольору для 
кожного діапазону і кожної колірної складової. 
Наступною групою операцій є остаточне виявлення зіниці і визначення 
прозорості окремих його областей (блоки 12-14). Для кожного об'єкта з безлічі M 
знаходиться його центр мас. Потім аналізується розмір об'єкта шляхом 
порівняння його з максимальним радіусом. Визначення центру мас здійснюється 
шляхом знаходження координат кожного об'єкта області M. В результаті 
отримують точку з координатами w(x, y), що знаходиться в області центру 
об'єкта. Оскільки об'єкт має форму, близьку до сферичної, то виділяють тільки ті 
точки, які лежать в області кола радіусом R і центром w(x,y), а інші точки 
вважають шумом. Здійснюється обчислення відстані l між центром мас об'єкта і 
 
56 
 
його поточної аналізованої точки: 
�� �� ���� �� ����                                     (3.12) 
де x - абсциса точки області M, y - ордината точки області, wx- абсциса 
центру кола, wy - ордината центра кола. Таким чином, всі точки, що належать 
шуканого об'єкту, будуть задовольняти наступні умови: 
pi H , якщо (x wx)2  (y wy)2  R2 ,
де H область точки об 'єкта.  
Супровід об'єктів, які раніше були виявлені на попередньому або 
попередніх кадрах реалізується в такий спосіб (алгоритм на рис. 3.4). 
Проводиться порівняння координат раніше знайдених об'єктів, їх двовимірних 
областей і координат знайдених сегментів на поточних кадрах (блок 3). У разі 
(блок 4,5), якщо координати і яскраво-контрастні характеристики об'єктів 
збігаються, то приймається рішення про підтвердження виявлення раніше 
знайденого об'єкта і його супроводі. В іншому випадку, область поточна 
аналізуючого зображення позначається як потребуюча додаткової обробки з 
метою виявлення об'єктів в її околиці. 
Після цього уточнюються координати об'єкта за допомогою обчислення 
тривимірних координат меж цього об'єкта і здійснюється перехід до аналізу 
наступного раніше виявленого об'єкта і підтвердженню його виявлення. 
Новизна розробленого алгоритму полягає у відстеженні виявлених об'єктів, 
фільтрації помилкових виявлень, уточнення координат центру ока за кількома 
відблисками, ваговій обробці результатів обчислення, що, в кінцевому підсумку, 
забезпечує високу точність обчислення координат точки фокусування в просторі в 
умовах складної світлотіньової обставини та швидких переміщеннях оператора і 
керуючих елементів. 
Для прискорення роботи розробленого алгоритму запропоновано частину 
операцій виконувати паралельно. Така реалізація відповідає концепціям побудови 
пристроїв на програмованих логічних схемах. Частина алгоритму, призначена до 
виконання в паралельні процеси представлена рисунку 3.5. 
 
57 
 
 
Рис. 3.4. Алгоритм супровіду об’єктів 
 
Для прискорення роботи розробленого алгоритму запропоновано частину 
 
58 
 
операцій виконувати паралельно. Така реалізація відповідає концепціям побудови 
пристроїв на програмованих логічних схемах. Частина алгоритму, призначена до 
виконання в паралельні процеси представлена рисунку 3.5. 
Основна частина операцій орієнтована на реалізацію на програмованих 
логічних схемах, що в кінцевому результаті забезпечує реальний час 
функціонування розробленого ОЕП. 
Розроблений алгоритм обчислення напрямку погляду і координат точки 
фокусування в просторі, новизна якого полягає у відстеженні виявлених об'єктів, 
фільтрації помилкових виявлень, уточнення координат центру ока за кількома 
відблисками, ваговій обробці результатів обчислення, що в підсумку забезпечує 
високу точність обчислення координат точки фокусування в просторі в умовах 
складної світлотіньової обставини та швидких переміщеннях об'єкта. 
Розроблений алгоритм і метод покладено в основу створення ОЕП. 
 
Рис.3.5 - Фрагмент алгоритму, який реалізує паралельне виконання 
операцій 
 
59 
 
3.4 Обґрунтування вибору типу оптико-електронного датчика 
 
Основним елементом СТЗ - розпізнавання об'єктів є матричний приймач 
зображення, в якості якого застосовується прилад із зарядним зв'язком (ПЗС) або 
матричні КМДП-приймачі зображення. 
Перевага ПЗС полягає в простій організації зчитування інформації, 
можливості суміщення технології виготовлення приладу і схем управління, у 
виконанні на одному кристалі регістрів, формувача тактових імпульсів, 
диференціальних підсилювачів. ПЗС мають низьку споживану потужність, малі 
габарити, разом з тим забезпечують високу просторову роздільну здатність і 
жорсткий растр, низький рівень шумів. Принцип роботи ПЗС полягає в 
перетворенні розподілу освітленості зображення в розподіл неосновних носіїв 
заряду, зберіганні їх в потенційних ямах і передачі зарядів до вихідного 
підсилювача. 
Однак ОЕД на базі ПЗС володіє і недоліками. Основний з них - 
неможливість управління процесами, що відбуваються при перетворенні 
оптичного сигналу в електричний у окремо взятого елемента (пікселя) або групи 
пікселів ОЕД, що істотно знижує рівень адаптації СТЗ, побудованої з 
використанням ПЗЗ. Крім цього, в більшості випадків ПЗС характеризуються 
меншою швидкодією (частотою формування кадрів зображення) в порівнянні з 
ОЕД на базі КМОН приймачів зображення (ПІ). 
У КМДП ПІ в порівнянні з приладами із зарядовим зв'язком (ПЗЗ) існує 
кілька додаткових джерел шумів. До теплового, дробові і токовому шумів 
додаються шуми транзистора скидання пікселя, транзистора-повторювача струму 
і транзисторів доступу. Дані шуми заведено відносити до так званим тимчасовим 
шумів ОЕД. Крім цього, існують ще так звані просторові шуми - геометричний і 
шум фіксованої розводки. Джерелом шуму фіксованої розводки в КМОП ПІ є не 
тільки вихідна підсилювальна схема, як в ПЗС ПІ, а й стовпчикові та внутрішньо-
піксельні  підсилювачі. 
Таким чином, на сьогоднішній момент часу не можна в загальному випадку 
 
60 
 
однозначно вибрати який з типів ОЕД краще. Вибір типу ОЕД повинен 
визначатися завданням СТЗ і може залежати від багатьох умов і параметрів. 
Проте очевидно, що перспективним ОЕД є ОЕД на базі КМОП приймачів 
зображення. Даний факт підтверджується вже зараз - в сучасних професійних 
цифрових фотоапаратах та цифрових відеокамерах в більшості випадків лідери 
ринку - Canon, Nikon, Sony - застосовують КМОП приймачі зображення. 
 
 
3.5 Оптико-електронний пристрій для безконтактного управління 
автоматизованими підсистемами автомобіля 
 
Структурно-функціональна організація оптико-електронного пристрою 
безконтактного управління представлена на рис. 3.6. Пристрій містить групу 
окремих модулів[102], Що виконують операції, згідно з розробленими 
алгоритмами. Всі модулі, за винятком ОЕД, точкового джерела світла (ТІС) і 
інерційного датчика, орієнтовані на реалізацію в ПЛІС. Аналого-цифрові 
перетворювачі, інтегровані в ОЕД. 
Пристрій складається з: 
- трьох оптико-електронних датчиків; 
- трьох точкових джерел світла; 
- Інерціальногодатчика; 
- апаратного обчислювального модуля, реалізованого на ПЛІС. 
 
 
61 
 
 
Рис.3.6 - Структурно-функціональна організація оптико-електронного 
пристрою безконтактного управління 
 
Апаратний модуль, реалізований на пліс, в свою чергу, в своєму складі має 
наступні модулі: 
- три модулі введення зображення; 
- модуль адаптивної фільтрації; 
- три модулі пошуку об'єктів типу «особа», «око»; 
- модуль обчислення тривимірних координат об'єктів; 
- три модулі пошуку зіниці і відблисків; 
- три модулі уточнення просторових координат очей; 
- три модулі обчислення векторів погляду в просторі; 
- ОЗУ; 
- модуль приведення систем координат; 
- модуль вагового усереднення векторів погляду; 
- модуль обчислення координат точки фокусування погляду в просторі; - 
модуль тимчасової адаптивної фільтрації; 
- модуль управління зовнішніми пристроями; 
- модуль управління підсвічуванням; 
 
62 
 
- модуль обробки інерційних даних; 
- керуючий контролер; 
На рисунку 3.7 представлена структурна організація модуля пошуку об'єктів 
типу «особа», «око». 
 
Рис.3.7 - Структурна організація модуля пошуку об'єктів «Обличчя», 
«Око» 
 
Новизною запропонованого пристрою є введення модулів пошуку об'єктів 
«обличчя», «око», інерціального датчика і блоку обробки інерційних даних, що 
дозволяють як виявляти об'єкти, так і відстежувати, прогнозувати положення 
об'єктів при їх переміщеннях, що істотно прискорює їх виявлення при обробці 
безперервного потоку кадрів, модулів уточнення тривимірних координат очей, що 
дозволяють істотно підвищити точність обчислення просторових координат очей 
в умовах складної світлотіньової обставини, модуля чи тимчасової фільтрації, що 
виробляє фільтрацію з прогнозом, що дозволяє істотно знизити вплив помилкових 
результатів, викликаних швидкими випадковими переміщеннями обличчя та очей 
в просторі, що в підсумку дозволяє істотно підвищити точність обчислення 
координат точки фокусування погляду в просторі. 
Пристрій функціонує наступним чином. Потокові дані кадрів від трьох ОЕД 
одночасно надходять на відповідні модулі введення зображення, в яких 
проводиться формування зображень у внутрішньому ОЗП модуля для подальшої 
 
63 
 
обробки[104], Одночасно з цим модуль управління підсвічуванням активізує 
зовнішні точкові джерела світла (ТІС), далі модуль фільтрації роблять обробку 
зображень спеціалізованими адаптивними фільтрами і передає в модулі пошуку 
об'єктів «обличчя», «око», в ці ж модулі керуючий контролер передає дані, 
отримані від модуля обробки інерційних даних про передбачуване переміщення 
голови, до якого в свою чергу підключений зовнішній інерційний датчик, далі 
дані виявлених об'єктів передаються в модуль обчислення тривимірних координат 
об'єктів, який вибирає об'єкти типу «око» і виробляє відповідні обчислення і 
передає результати в модулі пошуку зіниць і відблисків[105]. Потім значення 
тривимірних координат очей в просторі і координати зіниць і відблисків лівого і 
правого ока на зображенні надходять в модулі уточнення тривимірних координат 
очей, в результаті чого в модулі обчислення векторів погляду надходять вже 
уточнені координати очей спільно з координатами зіниць і відблисків, 
результатом роботи яких є три пари векторів для лівого і правого ока відповідно в 
системах координат, прив'язаних до положень відповідних ОЕД. Ці вектори через 
шину даних записуються в ОЗУ і стають доступними для інших модулів на шині 
даних. Модуль приведення СК (системи координат) виробляє перетворення 
систем координат окремих ОЕД в єдину СК, на основі запрограмованих даних 
про положення ОЕД і оновлює дані в ОЗУ. Далі модуль вагового усереднення, 
ґрунтуючись на інформації про взаємне розташування очей і кожного ОЕД 
обчислює вагові коефіцієнти векторів погляду і виробляє їх зважене усереднення. 
Модуль обчислення тривимірних координат точки фокусування проводить оцінку 
перетину векторами областей інтересу і, в разі позитивного результату, обчислює 
точку «перетину» векторів в просторі. У разі вірогідного виявлення, результат 
також записується в ОЗУ і передається в модуль тимчасової фільтрації, що 
виробляє фільтрацію помилкових викидів, і далі в модуль управління зовнішніми 
пристроями, що формує керуючі сигнали зовнішніх пристроїв. Завдання 
синхронізації, контролю та управління через шину управління забезпечує 
керуючий контролер, виконаний на базі спеціалізованого мікропроцесорного 
ядра, оптимізованого для реалізації на ПЛІС. 
 
64 
 
На рисунку 3.8 показана пропонована схема розташування оптико-
електронних датчиків в салоні автомобіля.  
Рис. 3.8 - Макет оптико-електронного пристрою для безконтактного 
управління підсистемами автомобіля 
 
 
3.6  Аналіз швидкодії пристрою для безконтактного управління 
автоматизованими підсистемами автомобіля 
 
Для визначення швидкодії пристрою використовується аналіз тимчасових 
характеристик. Час виконання операцій вимірюють в тактах робочого часу 
пристрою виконання. Оцінку тимчасових витрат виробляють в умовах з відомими 
калібрувальними коефіцієнтами, тому що такий режим роботи пристрою 
передбачається основним. 
Для визначення характеристик пристрою формування панорамних 
 
65 
 
зображень застосовується аналіз часових залежностей. Тривалість операцій 
вимірюють в умовних одиницях, отриманих на основі експериментів. Оцінку 
швидкодії проводять в режимі відомого коефіцієнта радіальної дисторсії, тому що 
даний режим передбачається основним режимом роботи пристрою. Параметром 
швидкодії приймемо за обробку зображень ��обр, яке обчислюється як: 
��обр ��ви ��фп                                                 (3.13) 
де 
��ви - час, витрачений на отримання зображень і їх попередню підготовку; 
��фп - час, витрачений на роботи розробленого методу обробки зображень. 
Час ��ви має залежність від такого параметра зображення як його роздільна 
здатність і величина: 
��ви ��вв Ткд СТпр                                          (3.14) 
де 
��вв - час витрачений на копіювання даних з пам'яті ОЕД в ОЗУ пристрою; 
��кд- час, витрачений на коригування та фільтрацію вхідних зображень; 
��пр - час, витрачений на конвертування зображення в монохромний вигляд; 
Позначимо час, витрачений на отримання одного зображення умовною 
одиницею. Відповідно введення декількох зображень займе час �� �� ∗ 1, де �� - 
кількість зображень. 
Час витрачений на виконання корекції дисторсії займе ��кд 5 2 10 
умовних одиниць. 
Конвертація зображень в монохромні займає менше кількість часу 
внаслідок меншої кількості операцій та займе, ��пр 3 2 6. 
Обробка зображень займає кілька ключових кроків і має вигляд: 
��фп ��во Тфо Твс Твм Тси                       (3.15) 
де 
��во- час; 
��фо - час, необхідний для формування дескрипторів для знайдених 
особливостей і побудови метричних дерев для зберігання дескрипторів особливих 
 
66 
 
точок; 
��вс - час, необхідний для виявлення відповідностей; 
��вм - час на обчислення матриці перетворення; 
��сиі - час, що витрачається на з'єднання скоригованих від радіальної дисторсії 
вихідних зображень. 
 
 
3.7 Інженерна методика вибору параметрів розробленого оптико-
електронного пристрою 
 
На основі розрахунків і досліджень проведених вище розроблена інженерна 
методика визначення параметрів розробленого пристрою. Для цього слід: 
1. Виконати експериментальні дослідження оптико-електронних 
пристроїв безконтактного управління; 
2. Провести оцінку точності обчислення просторових координат точки 
фокусування в просторі. 
3. Провести вимірювання часових параметрів обчислення координат 
точки фокусування погляду в просторі без використання розпаралелювання 
операцій; 
4. Провести вимірювання часових параметрів обчислення координат 
точки фокусування погляду в просторі з використанням розпаралелювання 
операцій; 
5. Провести оптимізацію за кількістю паралельних каналів обробки 
даних за результатами виконання пунктів 3 і 4. 
Зазначені відмітні особливості забезпечують реальний час обчислення 
просторових координат точки фокусування погляду з необхідною точністю. 
Розроблено алгоритм обчислення напрямку погляду і координат точки 
фокусування в просторі, новизна якого полягає у відстеженні виявлених об'єктів, 
фільтрації помилкових виявлень, уточнення координат центру ока за кількома 
відблисками, ваговій обробці результатів обчислення, що в підсумку забезпечує 
 
67 
 
високу точність обчислення координат точки фокусування в просторі в умовах 
складної світлотіньової обстановки і швидких переміщеннях об'єкта. 
Для перевірки адекватності розробленої моделі розроблений стенд, який 
розглянуто далі. 
  
 
68 
 
РОЗДІЛ 4 
ЕКСПЕРИМЕНТАЛЬНІ ДОСЛІДЖЕННЯ 
 
 
4.1 Апаратно-програмний стенд для проведення випробувань 
 
Розроблено апаратно-програмний стенд для перевірки функціонування, 
створеного ОЕП, а також результати експериментальних досліджень (рис. 4.1). 
 
Рис. 4.1 - Структурно-функціональна схема стенда 
 
До складу апаратно-програмного стенда входять: 
- комплекс штативів та кріплень для ОЕД і точкових джерел сету, до 
складу яких входять: 
- три штативи; 
- три ОЕД; 
- три точкових джерела світла; 
- комплект сполучних кабелів і кріплення; 
- макети очей і обличчя (макет оператора); 
- лінійний двигун для імітації переміщень робочого місця; 
- рухома платформа; 
 
69 
 
- контролер лінійного двигуна; 
- імітатор зовнішніх джерел світла; 
- апаратний модуль на базі ПЛІС Kintex 7 XC7K160T-1FFG676 для задач 
обробки даних; 
- три ОЕД, виконаних на базі оптичних сенсорів (Sony Exmor R BSI 
CMOS) F2.8; 
- три точкових джерела світла; 
- модуль управління точковими джерелами світла; 
- персональна електронно-обчислювальна машина (ПЕОМ) для управління 
апаратно-програмним стендом, збору і аналізу даних. 
 
 
4.2 Методика проведення експериментальних досліджень 
 
Експериментальні дослідження створеного високоточного оптико-
електронного пристрою проводилися згідно з розробленою методикою. 
Методика експериментальних досліджень полягала в наступному. 
Перевірялися як точності та тимчасові характеристики оптико-електронного 
пристрою. 
При проведенні експериментальних досліджень визначалися наступні 
параметри вимірювань просторових координат точки фокусування погляду в 
просторі: 
- розмірів робочої області, в якій забезпечується необхідна точність 
обчислення значень просторових координат точки фокусування погляду в 
просторі; 
- похибки обчислення координати дальності Y; 
- похибки обчислення координати X, Z. 
Виміряно за таких умов: 
- відсутність зовнішніх джерел світла і переміщень об'єкта 
- варіювання кількості зовнішніх джерел світла при відсутності переміщень 
 
70 
 
об'єкта 
- відсутність зовнішніх джерел світла при різних швидкостях 
переміщення об'єкта 
Методика проведення випробувань наведена далі. 
Для проведення експериментальних досліджень в першу чергу необхідно 
змонтувати та встановити стенд. Для цього слід виконати ряд операцій: 
1. Установка оптико-електронних датчиків і точкових джерел світла на 
штативи та позиціювання їх в просторі. 
2. Монтаж з'єднувальних кабелів і джерел живлення. 
3. Установка і позиціювання імітатора зовнішніх джерел світла. 
4. Установка лінійного двигуна імітатора переміщень. 
5. Монтування макета оператора на рухому платформу. 
6. Налаштування напрямку погляду макета оператора по прямій, 
перпендикулярній площині оптико-електронних датчиків. 
7. Включення і прогрів пристроїв. 
8. Перевірка загального функціонування стенда. 
Після перевірки загального функціонування стенда необхідно провести 
вимірювання параметрів розробленого макета оптико-електронного пристрою. 
Для вимірювання розмірів робочої області пристрою слід: 
1. розташувати макет оператора на передбачуваній робочій області 
пристрою в площині оптико-електронних датчиків. 
2. Відсувати макет оператора уздовж осі до моменту появи правильного 
обчислення просторових координат очей макета оператора і коректного 
обчислення просторових координат точки фокусування погляду оператора в 
просторі. 
3. Продовжувати відсувати макет оператора до того моменту, як якість 
обчислення значення просторових координат точки фокусування погляду в 
просторі не стане нижче гранично допустимого. Зафіксувати крайні значення. 
4. Розташувати макет на осьовій лінії в центральній точці відрізка, що 
з'єднує точки початку і кінця виявлення. 
 
71 
 
5. Переміщати макет оператора в напрямку верху, до тих пір як якість 
обчислення значення просторових координат точки фокусування погляду в 
просторі не стане нижче гранично допустимого, а далі в напрямку низу до 
досягнення аналогічної умови. Зафіксувати крайні значення. 
6. Розташувати макет на осьовій лінії в центральній точці відрізка, що 
з'єднує точки початку і кінця виявлення. 
7. Переміщати макет оператора вліво щодо осі, до тих пір як якість 
обчислення значення просторових координат точки фокусування погляду в 
просторі не стане нижче гранично допустимого, а далі вправо до досягнення 
аналогічної умови. Зафіксувати крайні значення. 
Для вимірювання точностних параметрів по координаті дальності слід: 
1. Розташувати макет оператора в центральній точці робочої області 
пристрою. 
2. Провести від 1000 до 2000 операцій обчислення просторових 
координат точки фокусування погляду в просторі 
3. Побудувати гістограму розподілу значення координати дальності 
точки фокусування погляду в просторі 
4. Переконатися візуально за формою гістограми в нормальному 
законі розподілу помилки обчислення просторових координат точки фокусування 
погляду в просторі. 
5. Розрахувати середньоквадратичне відхилення по масиву 
отриманих значень і зафіксувати його. 
Для вимірювання точностних параметрів за координатами X, Z слід: 
1. Розташувати макет оператора в центральній точці робочої області 
пристрою. 
2. Провести від 1000 до 2000 операцій обчислення просторових 
координат точки фокусування погляду в просторі 
3. Побудувати гістограми розподілу значення координат X, Z точки 
фокусування погляду в просторі 
4. Переконатися візуально за формою гістограм в нормальному 
 
72 
 
законі розподілу помилки обчислення просторових координат точки фокусування 
погляду в просторі. 
5. Розрахувати середньоквадратичне відхилення по масиву 
отриманих значень і зафіксувати їх. 
Під час проведення експериментів записувалися абсолютні значення 
відхилень кутів повороту очей, тобто кутів векторів погляду. 
Показаних графіків по осі Х відкладені тимчасові відліки, а по осі У - кут 
повороту ока. Розмір кадру зображення - 640х480 пікселів, частота проходження 
кадрів - 20 Гц. 
 
Рис. 4.2 - Узгоджено рух очей при спостереженні об'єкта 2, f = 35мм 
 
Рис. 4.3 - Рух лівого ока при спостереженні об'єкта 1, f = 100 мм 
 
73 
 
 
Рис. 4.4- Рух правого ока при спостереженні об'єкта 1, f = 100 мм 
 
Рис. 4.5- Неузгоджений рух очей при спостереженні об'єкта 3, f = 35мм 
  
 
74 
 
 
Рис. 4.6 - Узгоджений рух очей при спостереженні об'єкта 1, f = 35мм 
 
Рис. 4.7 - Узгоджений рух очей при спостереженні об'єкта 1 і русі 
погляду в зворотну щодо рис. 7.9 сторону, f = 35мм 
  
 
75 
 
 
Рис. 4.8 - Неузгоджений рух очей при спостереженні об'єкта 3, f = 35мм 
 
Рис. 4.9 - Неузгоджений рух очей на ділянці від 25 до 80 кадру при 
спостереженні об'єкта 1, f = 35мм 
Результати проведених експериментальних досліджень представлені в 
таблиці 4.1. 
 
 
 
 
 
 
 
 
 
Таблиця 4.1 
Порівняльна характеристика параметрів оптико-електронного 
пристрою обчислення координат точки фокусування погляду в просторі 
   
S2 SMI 
Найменування Розроблений Tobii Desktop High 
пристрою пристрій X2 Tracker Speed 
    
Похибка 
вимірювання 1 2 1 3 
X, Z на відстані 3 4 3 9 
200, 500, 1000, 5 9 7 17 
    
Похибка 
    
виміру 
   
координати Y на 20 
відстані 200, 30 60 60 Нд 
   
1000, мм 146 
    
Частота 
    
обробки кадрів в 
секунду 120 60 60 500 
    
Розміри 
 
робочої області, 800 500 250 
 
ширина, висота, 400 360 110 
глибина мм 1000 900 800 нд 
  
 
 
На рисунках 4.10-4.15 наведені графіки теоретичної і експериментальної 
залежності характеристик розробленого пристрою. 
Аналіз таблиці дозволяє зробити висновок про те, що розроблений пристрій 
перевершує аналоги практично за всіма параметром, крім швидкості обробки 
кадрів в одному з пристроїв. Це обумовлено застосуванням в цьому пристрої 
спеціалізованого високошвидкісного оптико-електронного датчика, в свою чергу 
має ряд недоліків, серед яких виділяється низька чутливість і малий динамічний 
діапазон. 
 
Рис. 4.10 - Графік теоретичної та експериментальної помилки 
обчислення координат X, Y точки фокусування в просторі щодо відстані до 
об'єкта в мм 
                      200 
 
Рис. 4.11 - Графік теоретичної і експериментальної помилки 
обчислення координати Z (7б) точки фокусування в просторі щодо відстані 
до об'єкта в мм 
 
 
 
Рис. 4.12 - Графік теоретичної та експериментальної помилки 
обчислення координат X, Y точки фокусування в просторі щодо швидкості 
переміщення голови в м/с 
 
Рис. 4.13 - Графік теоретичної та експериментальної помилки 
обчислення координати Z точки фокусування в просторі щодо швидкості 
переміщення голови в м/с 
 
 
 
Рис. 4.14 - Графік теоретичної та експериментальної помилки 
обчислення координат X, Y точки фокусування в просторі щодо кількості 
зовнішніх джерел світла 
                400 
 
Рис. 4.15 - Графік теоретичної і експериментальної помилки 
обчислення координати Z точки фокусування в просторі щодо кількості 
зовнішніх джерел світла 
 
Представлені графіки свідчать про досягнення необхідних точностей роботи 
пристрою в умовах складної світлотіньової обставини та швидких переміщеннях 
голови оператора. 
 
 
ВИСНОВКИ 
 
При вирішенні поставленого в роботі завдання були отримані наступні 
основні результати: 
1. Проаналізовано існуючі методи та засоби безконтактного керування 
пристроями та підсистемами, виявлено їх переваги та недоліки. На основі 
проведеного аналізу визначено що існуючі системи, засновані на безконтактному 
визначенні напрямку погляду і точки фокусування в просторі, не забезпечують 
коректне функціонування в складних умовах освітлення і швидких переміщеннях 
особи оператора, тоді як практичне застосування подібних систем обумовлює 
необхідність стабільного обчислення напрямку погляду і координат точки 
фокусування погляду в просторі в умовах складної світлотіньової обставини і 
переміщень голови. 
2. Розроблено математичну модель оптико-електронного пристрою 
обчислення напрямку погляду людини і точки фокусування в просторі, що описує 
процеси прийому безперервного потоку зображень сцени від масиву ОЕД, 
попередньої і постобробки, фільтрації, обчислення напрямку погляду і координат 
точки фокусування в просторі. відрізняється можливістю обчислення при 
довільному взаємному положенні ОЕП і людини в складних, змінних умовах 
освітленості швидких хаотичних рухах об'єкта відстеження внаслідок вібрацій, 
пов'язаних з пересуванням автомобіля. 
3. Досліджено метод обчислення напрямку погляду і координат точки 
фокусування в просторі, відмінною новизною методу є одночасна обробка 
зображень, отриманих від декількох ОЕД і відблисків від декількох освітлювачів, 
що дозволяє підвищити точності характеристики системи. 
4. Досліджено алгоритм обчислення напрямку погляду і координат точки 
фокусування в просторі, новизна якого полягає у відстеженні виявлених об'єктів, 
фільтрації помилкових виявлень, уточнення координат центру очі за кількома 
відблисками, ваговій обробці результатів обчислення, що в підсумку забезпечує 
високу точність обчислення координат точки фокусування в просторі в умовах 
 
 
складної світлотіньової обстановки і швидких переміщеннях об'єкта. 
5. Розроблено структурно-функціональну організацію оптико-електронного 
пристрою обчислення напрямку погляду і координат точки фокусування в 
просторі відмінною новизною якого є спосіб синхронної обробки зображень 
сцени, що освітлюється масивом точкових джерел світла, що надходять від 
масиву ОЕД, що дозволяє істотно підвищити точність і вірогідність результатів 
обчислення напрямку погляду і точки фокусування в просторі. 
6. Розроблено високоточне ОЕП безконтактного управління допоміжними 
системами транспортного засобу, що якісно відрізняється від аналогів 
можливістю роботи в умовах складної світлотіньової обстановки і швидких 
переміщеннях об'єкта; кількісно - зниженням похибки обчислення координат не 
менше, ніж в 1,3 раза при надходженні зображень з частотою до 120 Гц в 
порівнянні з відомими пристроями.