ChSTU repository
ChSTU repository preserves and enables easy and open access to all types of digital content including text, images, moving images, mpegs and data sets
Learn More
Please use this identifier to cite or link to this item:
https://er.chdtu.edu.ua/handle/ChSTU/7832| Title: | Розробка та дослідження моделі прогнозування електроспоживання на базі штучної нейронної мережі |
| Authors: | Протасов, Сергій Юрійович Литвин, Вікторія Іванівна |
| Keywords: | модель прогнозування;штучна нейронна мережа;електроспоживання;енергоефективність |
| Issue Date: | Dec-2023 |
| Abstract: | У першому розділі проведено аналіз існуючих методик прогнозування та розглянуто перспективні напрями розвитку цієї галузі наукового напрямку. Аналіз показав, що на даний час найбільш поширеною методикою прогнозування електроспоживання на підприємствах є методика, заснована на використанні знань та досвіду експерта-аналітика, який складає прогноз на добу вперед, використовуючи дані про електроспоживання за аналогічні періоди часу. Виявлено недоліки, що пов’язані з використанням нейронних мереж при прогнозуванні електроспоживання. Другий розділ присвячений розробці моделі прогнозування електроспоживання на базі штучної нейронної мережі. Для реалізації обраної методики прогнозування, вирішено в другому розділі такі основні завдання: вибір програмного продукту, на основі якого буде побудована ШНМ, вибір архітектури нейронної мережі виходячи із існуючих типів мереж необхідну для вирішення задачі прогнозування та вибору методу навчання нейронної мережі. У третьому розділі магістерської роботи досліджено можливість запровадження моделі прогнозування із врахуванням штучної нейронної мережі з можливістю обліку метеофакторів, які впливають на електроспоживання енергозбутової компанії. |
| URI: | https://er.chdtu.edu.ua/handle/ChSTU/7832 |
| Appears in Collections: | 141 Електрична інженерія (Електротехнічні системи електроспоживання) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| Литвин.pdf Restricted Access | 2.58 MB | Adobe PDF | View/Open Request a copy |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.
Extracted text
ЧЕРКАСЬКИЙ ДЕРЖАНИЙ ТЕХНОЛОГІЧНИЙ УНІВЕРСИСТЕТ ФАКУЛЬТЕТ ЕЛЕКТРОННИХ ТЕХНОЛОГІЙ, АВТОТРАНСПОРТУ ТА МАШИНОБУДУВАННЯ Кафедра електротехнічних систем «До захисту допущено» Зав. кафедри ЕТС __________ О.О. Ситник (підпис) (ініціали, прізвище) «___»___________2023 р. Кваліфікаційна робота на здобуття ступеня вищої освіти магістра на тему: «Розробка та дослідження моделі прогнозування електроспоживання на базі штучної нейронної мережі» Виконав: здобувач вищої освіти _2_ курсу, групи ЕСЕ-022 Спеціальності: 141 «Електроенергетика, електротехніка та електромеханіка» (шифр і назва напряму підготовки, спеціальності) Литвин Вікторія Іванівна ______________ (прізвище, ім’я, по-батькові здобувача вищої освіти ) (підпис) Науковий к.т.н., доцент Протасов С.Ю. ______________ керівник (вчені ступінь та звання, прізвище та ініціали) (підпис) Нормоконтроль _к.т.н., доцент Ключка К.М.__ ______________ (вчені ступінь та звання, прізвище та ініціали) (підпис) Черкаси 2023 р. 3 РЕФЕРАТ По структурі робота складається зі вступу, трьох розділів основної частини та висновків основних результатів дослідження. Загальна кількість сторінок – 97, рисунків – 23, таблиць – 0, використаних літературних джерел – 28. Метою магістерської кваліфікаційної роботи є підвищення ефективності роботи енергозбутових компаній на ОРЕП шляхом розробки моделі прогнозування електроспоживання на базі штучної нейронної мережі. Для досягнення поставленою мети вирішувалися наступні основні завдання: - аналіз та порівняння існуючих методів прогнозування; - вибір програмного продукту, на основі якого відбуватиметься побудова моделі прогнозування; - аналіз та порівняння існуючих моделей штучних нейронних мереж, їх архітектури і способів навчання; - дослідження розробленої моделі на тестовій вибірці даних. У першому розділі проведено аналіз існуючих методик прогнозування та розглянуто перспективні напрями розвитку цієї галузі наукового напрямку. Аналіз показав, що на даний час найбільш поширеною методикою прогнозування електроспоживання на підприємствах є методика, заснована на використанні знань та досвіду експерта-аналітика, який складає прогноз на добу вперед, використовуючи дані про електроспоживання за аналогічні періоди часу. Виявлено недоліки, що пов’язані з використанням нейронних мереж при прогнозуванні електроспоживання. Другий розділ присвячений розробці моделі прогнозування електроспоживання на базі штучної нейронної мережі. Для реалізації обраної методики прогнозування, вирішено в другому розділі такі основні завдання: вибір програмного продукту, на основі якого буде побудована ШНМ, вибір архітектури нейронної мережі виходячи із існуючих типів мереж необхідну 4 для вирішення задачі прогнозування та вибору методу навчання нейронної мережі. У третьому розділі магістерської роботи досліджено можливість запровадження моделі прогнозування із врахуванням штучної нейронної мережі з можливістю обліку метеофакторів, які впливають на електроспоживання енергозбутової компанії. Ключові слова: модель прогнозування, штучна нейронна мережа, електроспоживання, енергозбутові компанії, енергоефективність. 5 ЗМІСТ ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ, СИМВОЛІВ, СКОРОЧЕНЬ І ТЕРМІНІВ ................................................................................................................ 7 ВСТУП ..................................................................................................................... 8 РОЗДІЛ 1. АНАЛІЗ ІСНУЮЧИХ МЕТОДІВ ТА МОДЕЛЕЙ ПРОГНОЗУВАННЯ .............................................................................................. 13 1.1 Етапи короткострокового прогнозування ................................................. 13 1.2. Статистичні методи прогнозування .......................................................... 18 1.3 Методи прогнозування, засновані на використанні штучних нейронних мереж ................................................................................................................... 24 1.4. Розімкнені штучні нейронні мережі ......................................................... 32 1.5. Багатошарові нейронні мережі з перехресними зв'язками ..................... 34 1.6. Переваги нейронних мереж ....................................................................... 36 1.7. Аналіз та порівняння принципів роботи людського мозку та штучних нейронних мереж ............................................................................................... 43 1.8. Моделі нейронів .......................................................................................... 48 1.9. Принципи навчання нейронних мереж ..................................................... 50 1.9.1. Навчання нейронних мереж, засноване на корекції помилок .......... 52 1.9.2. Навчання на основі пам'яті .................................................................. 56 1.9.3. Парадигми навчання нейронних мереж ............................................. 58 1.9.4. Завдання навчання нейронних мереж ................................................. 63 1.9.5. Навчальні дані для нейронної мережі ................................................. 65 1.10. Висновки до розділу 1 .............................................................................. 70 РОЗДІЛ 2. РОЗРОБКА МОДЕЛІ ПРОГНОЗУВАННЯ ЕЛЕКТРОСПОЖИВАННЯ НА БАЗІ ШТУЧНОЇ НЕЙРОННОЇ МЕРЕЖІ .... 71 6 2.1. Вибір програмного середовища для реалізації моделі прогнозування із врахуванням штучної нейронної мережі ......................................................... 71 2.2. Складання бази даних погодинного електроспоживання ....................... 73 2.3. Адаптація вхідних даних для навчання штучної нейронної мережі ..... 74 2.4. Вибір алгоритму навчання та архітектури ШНМ .................................... 74 2.5 Порівняння результатів прогнозування за різних моделей побудови ШНМ ................................................................................................................... 79 2.6. Висновки до розділу 2 ................................................................................ 84 РОЗДІЛ 3. ДОСЛІДЖЕННЯ МОДЕЛІ ПРОГНОЗУВАННЯ ЕЛЕКТРОСПОЖИВАННЯ НА БАЗІ ШТУЧНОЇ НЕЙРОННОЇ МЕРЕЖІ .... 85 3.1. Оцінка ефективності прогнозування розробленої моделі нейронної мережі на різних типах даних ........................................................................... 85 3.2. Оцінка ефективності запровадження моделі прогнозування електроспоживання на можливості обліку погодних даних ......................... 88 3.3. Оцінка ефективності прогнозування розробленої моделі нейронної мережі з можливістю обліку метеофакторів ................................................... 90 3.4 Висновки до розділу 3 ................................................................................. 91 ВИСНОВКИ ........................................................................................................... 93 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ ............................................................. 95 7 ПЕРЕЛІК УМОВНИХ ПОЗНАЧЕНЬ, СИМВОЛІВ, СКОРОЧЕНЬ І ТЕРМІНІВ АНМ – автоматизована нейронна мережа АСКОЕ – автоматизована системи комерційного обліку електроенергії ЕЕ – електрична енергія ОРЕП - оптовий ринок електроенергії та потужностей ОСР – оператор систем розподілу ШНМ – штучна нейронна мережа 8 ВСТУП Актуальність дослідження. Енергетика відіграє провідну роль в економічному розвитку України. Починаючи із 2014 року Україна опинилася в стані глибокої економічної кризи. Внаслідок розпочатих бойових дій на Сході України значно постраждала її економіка та енергетичний сектор. З 2014 р. вперше у своїй історії Україна виявилася залежною від імпорту всіх видів енергоресурсів, тому що до імпорту нафтопродуктів і природного газу додався імпорт вугілля та частковий імпорт електричної енергії. Енергоблоки ТЕС, що залишилися без донбаського антрациту, знизили навантаження, а в ряді випадків навіть були зупинені, тому Україна була змушена закуповувати вугілля в ПАР, Австралії тощо [9]. Електроенергетику будь якої країни можна розділити на чотири основні сегменти: генерація, передача, розподіл та збут ЕЕ. Одною з особливостей електроенергії, як товару є неможливість її зберігання та накопичення, тому її споживання відбувається одночасно з виробництвом, що у свою чергу зумовлює особливості торгівлі нею [1]. Для виробництва електроенергії енергетичним генеруючим компаніям України необхідно підтримувати в постійній готовності генеруючі потужності, а також мати запаси палива в необхідній кількості для задоволення попиту на електроенергію в енергосистемі країни постійно. За таким же принципом працюють і оператори систем розподілу (ОСР), які обслуговують локальні лінії електропередач, відповідають за їхню функціональність та передачу електроенергії кінцевому споживачу. ОСР здійснює функції розподілу електричної енергії, в тому числі прийом показів лічильників, формування рахунку за розподіл, облік електричної енергії, якщо споживач обрав схему самостійної оплати за розподіл в ОСР [1, 4]. У зв'язку з цим, можна, можливо зробити висновок про те, що для забезпечення безперебійної роботи усіх учасників ринку ЕЕ, починаючи з генерації та закінчуючи кінцевим споживачем, необхідна попередня оплата 9 всіх витрат, пов'язаних з роботою цих учасників-підприємств для гарантованою постачання електроенергії в необхідному обсязі та якістю, яка повинна відповідати ДСТУ EN 50160:2014 [2]. У свою чергу, споживачеві ЕЕ для планування своїх витрат за цією статтею витрат необхідно спрогнозувати обсяги електроенергії, необхідні для нормального функціонування своєї діяльності. У такій ситуації перед споживачем постає питання – Яким чином це зробити, і хто зможе це зробить? На даний момент існує два варіанти вирішення цієї проблеми: самостійний вихід підприємства на оптовий ринок електроенергії та потужностей (ОРЕП) та заключити договір із енергозбутовою компанією або гарантуючим постачальником [4]. У випадку самостійного виходу на ОРЕП, у підприємства з'являється можливість купувати електроенергію за ціною, яка нижча за роздрібну але в то ж час виникають зобов'язання по щоденному, погодинному плануванню електроспоживання, створення власної автоматизованої системи комерційного обліку електроенергії (АСКОЕ), яка відповідала б технічним вимогам ОРЕП [4]. Також існує обмеження за сумарною приєднаною потужністю енергоприймаючого обладнання, тому для багатьох підприємств найбільш простим і найменш витратним є варіант укладання договору енергопостачання з енергозбутовою компанією або гарантуючим постачальником. У такому разі, всі обов'язки щодо планування електроспоживання і купівлі електроенергії на ОРЕП лягають на енергозбутову компанію, а підприємство у свою чергу купує електроенергію за роздрібною ціною. Варто також врахувати, що клієнтами енергозбутових компаній зазвичай є великі підприємства, графіки електроспоживання яких абсолютно різні, а в випадку з гарантуючими постачальниками в обов'язковому порядку особливою категорією споживачів таких компаній є населення, якому згідно Постановою НКРЕКП № 312від 14.03.18 року «Про затвердження Правил роздрібного ринку електричної енергії» [4], що зобов'язує гарантуючого 10 постачальника надавати всі необхідні послуги електропостачання. Стоїть також відзначити, що згідно тому ж нормативному документу, гарантуючий постачальник зобов'язаний бути учасником торгів на ОРЕП. Складна структура електроспоживання, що включає підприємства з різними приєднаної потужністю і графіками роботи, а також населення і прирівняні до ньому категорії споживачів, значно ускладнюють прогнозування для енергозбутових компаній і гарантуючих постачальників. Необхідно також наголосити про особливості споживання електроенергії населенням. Специфіка його така, що вона значною мірою залежить від погодних умов, природного освітлення та статусу дня (робочий або вихідний день). Тому графіки електроспоживання мають значні відмінності у різні дні тижня, пори року, а також в значною мірою залежать від включення централізованого опалення в житлових будинках у зимовий період [3]. Також якісне планування електроспоживання призводить до зниження витрат енергозбутових компаній на ОРЕМ, що в свою чергу дозволяє їй заощаджувати кошти та перенаправляти їх на розвиток компанії. У цілому таке устрій ринку електроенергії має своєю кінцевою метою раціональне використання енергетичних та економічних ресурсів. Ці принципи описані у законі України «Про енергетичну ефективність» [3]. Внаслідок підвищення цін на енергоресурси в даний час енергозбереження стає пріоритетним напрямком при зниженні витрат на створення кінцевою продукції. Таким чином, розробка моделей прогнозування електроспоживання енергозбутових компаній є актуальною науковою задачею. На даний момент існує кілька способів складання прогнозних графіків електроспоживання. Одним з найпопулярніших є метод експертної оцінки. Він полягає в тому, що складання графіка електроспоживання залежить від досвіду та навиків експерта. У якості експерта в таких випадках виступає інженер-енергетик або головний інженер підприємства. Популярність даного методу обумовлена простотою його реалізації та відсутністю необхідності 11 розробляти або ж купувати дороге програмне забезпечення для прогнозування. Однак, через істотні недоліки такого методу, що пов’язано із високою залежністю від суб'єктивної думки експерта-аналітика і неможливістю якісного складання прогнозу за відсутності такого співробітника, багато підприємств починають розробку своїх моделей прогнозування. Цей метод припускає роботу з великим об’ємом роботи зі збору статистичних даних, а також вибору моделей прогнозування. Тому метою магістерської кваліфікаційної роботи є підвищення ефективності роботи енергозбутових компанії на ОРЕП шляхом розробки моделі прогнозування електроспоживання на базі штучної нейронної мережі. Для досягнення поставленою мети необхідно вирішити наступні основні завдання: - аналіз і порівняння існуючих методів прогнозування; - вибір програмного продукту, на основі якого відбуватиметься побудова моделі прогнозування; - аналіз та порівняння існуючих моделей штучних нейронних мереж, їх архітектури і способів навчання; - дослідження розробленої моделі на тестовій вибірці даних. Об'єкт дослідження – процеси передачі та розподілу електричної енергії для споживачів. Предмет дослідження – моделі та методи прогнозування та планування електроспоживання підприємства та факторів. Методи досліджень. При вирішенні поставлених завдань використано сучасні методи теорії надійності, обчислювальної математики, системного аналізу, синтезу комплексних систем, прикладного, аналізу з використанням статистичного аналізу, сучасних комп’ютерних програм. Науковою новизною в роботі є розроблена статистично-динамічна модель прогнозування на базі штучних нейронних мереж, яка показала свою 12 ефективність та конкурентність, що дає змогу підвищити ефективність роботи енергозбутової компанії на оптовому ринку електроенергії. Апробація роботи. Основні аспекти наукового дослідження магістерської роботи були обговорені на студентській науково-практичній конференції ЧДТУ, яка відбувалася 18-20 квітня 2023 р. 13 РОЗДІЛ 1 АНАЛІЗ ІСНУЮЧИХ МЕТОДІВ ТА МОДЕЛЕЙ ПРОГНОЗУВАННЯ 1.1 Етапи короткострокового прогнозування Прогнозування обсягів погодинного споживання електроенергії є вагомою проблемою з якою стикаються підприємства, що працюють на оптовому ринку електроенергії та потужності. В умовах функціонування ОРЕП для енергозбутових компаній важливо з максимальною точністю прогнозувати обсяги споживання електроенергії, тому що компанія понесе додаткові фінансові витрати, що перекладаються на кінцевого споживача, втрачаючи за рахунок цього свою привабливість на ринку. У цій ситуації необхідний прогноз «на добу вперед» у розрізі годинних (погодинних) інтервалів [4]. Точність безпосередньо залежить від методик розрахунку, що дозволяють мінімізувати купівлю та продаж енергії в рамках балансувального ринку. Необхідність точного прогнозування електроспоживання останніми роками стала особливо гострою проблемою. Головним чином це викликано реформуванням електроенергетичної галузі та створенням конкурентного ринку електроенергії та потужності, внаслідок чого від точності прогнозування залежить фінансове благополуччя підприємств. На Україні процеси лібералізації електроенергетики дещо відстають від розвинених країн Заходу. Тому на даний час ми маємо дефіцит сучасних методик прогнозування, спеціалізованих програмних продуктів для роботи на ОРЕП, а також фахівців у цій галузі. Проблема ускладнюється ще й тим, що підприємства не готові ділитися власними методиками прогнозування, які приносять їм прибуток за умов ринкової конкуренції [4]. В даний час в нашій країні на промислових підприємствах все ще поширений «ручний прогноз», який заснований на особистому досвіді та інтуїції експерта: спеціаліста відділу, головного енергетика. У загальному 14 випадку, експертом називають спеціаліста у певній галузі знань, що має позитивний досвід вирішення поставлених перед ним завдань [21, 22]. Незважаючи на очевидну перевагу (на даному етапі розвитку жодна штучно створена обчислювальна система не в змозі змоделювати інтелектуальну роботу експерта, що володіє великим обсягом знань, що погано формалізуються і не формалізуються, багаторічним досвідом роботи та інтуїцією) у експертного прогнозування існує ряд недоліків [21]: - досить тривалий період складання; - збої в роботі при тимчасовій відсутності експерта; - неможливість швидкої та точної обробки великого обсягу інформації. У разі застосування методу експертної оцінки слід зазначити також про те, що великий вплив на складання прогнозу надає компетентність експерта. Під компетентністю експерта розуміють наступне: це наявність у експерта набору певних знань, досвіду в даній конкретній галузі, що дозволяють йому виносити вірні судження про виниклу проблему та вживати ефективних заходів для її вирішення [10]. Погодинне споживання електричної енергії об'єктами, які називають групами точок поставки має дуже складний характер. Часові графіки цього споживання не завжди володіють регулярністю, що визначається на око. Для таких систем статистично допустимі збурення несуть вагу, порівняно з регулярними складовими споживання. У процесі прогнозування можна застосовувати різні алгоритми та методики, але цей вибір ніяк не впливає на трудовитрати, необхідні для отримання реального результату. Прогнозування потоків електроенергії є непростим завданням, в основі якого лежить комплекс дій щодо накопичення достатньої статистики та аналізу даних [5]. На відміну від наукової лабораторії, де досліди проводяться без зміни самого об'єкта у випадку з електроспоживанням об'єкт здатний змінюватися, до того ж кардинально, про що працівники найчастіше дізнаються не відразу. Зміни складу чи 15 конфігурації об'єкта дослідження часом призводять до анулювання вже отриманих результатів. На практиці таке складне експериментально-аналітичне завдання не перед професійною науковою організацією, а перед звичайними інженерами. Загалом проведення кваліфікованого прогнозування фахівцями на місцях вкрай важке, до того ж вирішення подібних питань не входить до їх основних посадових обов'язків. Розуміючи всю складність формування прогнозів, керівники об'єктів включають у технічні завдання розробку відповідних систем для повної автоматизації процедури прогнозування. Це дозволяє зняти з себе відповідальність за якість прогнозу. Перше, що необхідно вибрати - це метод прогнозування, тобто спосіб отримання прогнозних значень електроспоживання. Тут слід зазначити, що вибір методу прогнозування є лише початковим етапом у створенні методики прогнозування. Під методикою прогнозування у випадку розуміється набір рішень і правил, які дозволяють складати прогноз, що відповідає вимогам поставленої задачі [17]. На даний момент розроблено кілька основних методик прогнозування, які у своїй основі мають методи статистичного аналізу, основними з них є [21]: - моделювання; - екстраполяція; - евристичний метод складання прогнозу; - регресійні методи прогнозування. Для прогнозування електроспоживання часто застосовується так званий евристичний метод. Під методом евристичного прогнозування у випадку розуміється опитування висококваліфікованих фахівців у цій галузі знань, що дозволяє скласти цілісну картину можливих рішень та розвитку конкретної ситуації [7]. У даному випадку судження, що висуваються експертами, ґрунтуються на їх знаннях, досвіді, і що немало важливо, 16 професійної інтуїції. При цьому слід відзначити, що ці перелічені чинники роблять евристичне прогнозування дуже суб'єктивним, тобто практично повністю залежить від думки конкретної людини. Цей чинник стає дуже вагомим особливо у тому випадку, якщо відсутня можливість опитування кількох експертів та вирішення завдання прогнозування покладено на одну особу. Евристичне прогнозування можна назвати свого роду мозковим штурмом, тому що в основі цього методу лежить колективне прийняття рішення шляхом висловлювання кожним експертом свого бачення ситуації та її розвитку. Потім відбувається прийняття оптимального рішення, яке найточніше і адекватно може спрогнозувати розвиток ситуації. У нашому випадку це графік електроспоживання. Слід зазначити, що відмінність евристичного методу прогнозування від мозкового штурму у тому, що у цьому методі для складання суджень застосовуються більш формалізовані засоби, такі як таблиці, опитувальні листи тощо. У разі мозкового штурму всі ці формальності відсутні [13]. Даний метод є найбільш поверхневим та найпростішим з технічної точки зору і знайшов широке застосування у всіх сферах життя людини. Однією з особливостей даного методу можна назвати те, що сам експерт не усвідомлює на підставі яких конкретних даних він приймає те чи інше рішення, однак це не робить евристичного прогнозування примітивним, а навпаки, дозволяє досягати високих результатів щодо точності прогнозу. Якщо розглядати сферу електроенергетики, то це найбільш помітно, тому що незважаючи на високий рівень розвитку техніки та інформаційних технологій, прогнози складені експертами у більшості випадків перевершують ті, що складені на базі спеціалізованих комп'ютерних програм або штучного інтелекту [8]. Високі результати евристичного методу прогнозування можна пояснити тим, що вдосконалюються методи структурування оцінок 17 експертів, і навіть високої кваліфікацією самих експертів, що є вирішальним чинником у визначенні точності прогнозу. До основних методів експертної оцінки можна віднести [14]: - матричний метод; - метод колективної генерації ідей; - метод комісії. Основною метою евристичного прогнозування є створення найбільш об'єктивної моделі розвитку конкретної ситуації, у разі це споживання електроенергії у короткостроковій перспективі, виходячи з думок кваліфікованих фахівців у цій галузі. Для досягнення поставленої мети необхідна також і правильна обробка експертних оцінок, яка дозволяла б відсівати випадкові та маловажливі фактори, а концентруватися на найбільш вагомих обставинах, що найбільше впливають на кінцевий результат прогнозу. В основі евристичного прогнозування лежать такі припущення [16]: - експерт здатний на підставі свого професійного досвіду, інтуїції та знань у даній конкретній галузі скласти свою думку про майбутнє та висловити його у прийнятній для розуміння та подальшої роботи формі; - схожість процесу прогнозування методом експертної оцінки та пошуком розв'язання наукової проблеми в тому сенсі, що форми подання рішень і в одному і в іншому випадку однакові та мають характер моделювання тенденцій розвитку на найближчу перспективу часу; - можливості складання прогнозних моделей виходячи з об'єктивного розуміння проблематики в галузі і можливих шляхів вирішення проблеми та здатності вибору найкращої з представлених моделей. Всі ці припущення можуть бути реалізовані в методі експертної оцінки тільки завдяки тому, що існують методики обробки цих оцінок, які дозволяють на виході отримати адекватну поставленій задачі модель прогнозування [15]. 18 Але евристичні методи необ'єктивні і застосовуються тільки тоді, коли існують експерти, які добре знайомі із прогнозами в даній галузі. До того ж, при прогнозуванні характеристик складних технічних об'єктів методи евристичного прогнозування стають дуже складними і трудомісткими. Цей факт потребує розробки математичних методів прогнозування. Головні переваги таких методів полягають в об'єктивності отриманої інформації та можливості автоматизації процесу обчислення прогнозу з використанням електронних обчислювальних машин. До них можна віднести методи прогнозування за допомогою екстраполяції [15]. 1.2. Статистичні методи прогнозування Екстраполяція є одним із найбільш популярних та ефективних методів прогнозування. Суть даного методу полягає в тому, що результуючий графік функції подається у вигляді суми двох доданків: періодичної та випадкової складових [6]. Математичне опис даного визначення представлено у вигляді виразу (1.1) у(х) = f (a; x) +η(x), (1.1) Регулярна складова f (a; x) являє собою в загальному випадку гладку функцію від аргументу (часу), яку описує вектор a, що зберігає своє значення протягом усього складання прогнозу. Цю складову можна назвати лінією тренда. Це означає, що подібна пряма не має випадкових складових і містить у собі лише значення, що описують сутність процесу та враховують лише основні фактори, які впливають на перебіг його розвитку. Однак варто відзначити, що існує безліч процесів в яких часом дуже важко розділити випадкову складову від тренду, оскільки складно передбачити величину впливу того чи іншого фактора на розвиток процесу. До таких процесів 19 можна віднести і електроспоживання великого підприємства, яким є енергозбутова компанія [5]. Необхідно також відмітити, що поділ тренду та випадкової складової має відбуватися виходячи із конкретних цілей та необхідних показників точності прогнозування. Випадкова складова η(х) – це незалежний випадковий процес, математичне очікування якого дорівнює нулю. Цю складову необхідно враховувати для збільшення точності прогнозування. Сутністю методу екстраполяції прогнозованої величини є знаходження такої лінії тренду, яка б найкращим чином описувала процес, що відбувається та найбільш повно враховував фактори, що впливають на його хід. Необхідно зауважити, що екстраполяційний метод прогнозування схожий на складання регресійної моделі, але в той же час має і свої специфічні риси та способи складання прогнозу, внаслідок чого його можна віднести до самостійних методів прогнозування [6]. До особливостей цього способу прогнозування можна віднести те, що він вимагає попередньої підготовки числового ряду, тобто приведення його до вигляду, зручного для складання прогнозу. У цьому ряду необхідно назвати і те, що попередньо відбувається аналіз фізики та логіки прогнозованого процесу. Це впливає на вибір функції екстраполяції та параметри, що визначають межі її зміни. Попередня підготовка та фізична обробка числового ряду спрямована в першу чергу на те, щоб знизити вплив випадкової складової у вихідному числовому ряду і якнайбільше наблизити його до лінії тренду. Другим завданням є зниження трудомісткості математичного опису тренду. Для цього найчастіше застосовуються процедури згладжування та вирівнювання статистичного ряду [15]. Процедура згладжування має на меті зменшення випадкових відхилень значень тимчасового ряду від лінії тренду, яка в загальному випадку найкраще описує основний перебіг процесу. Найпоширенішим методом згладжування кривої є опосередкування значень сусідніх точок. Ця 20 процедура відбувається на всьому проміжку числового ряду і тому її часто називають ковзна середня. Для більш простих випадків застосовують лінійну згладжуючу функцію, яка усереднює значення часового ряду, що знаходяться в інтервалі двох найближчих значень. Існують також нелінійні функції усереднення, але принцип їх дії складніше і вони усереднюють значення часового ряду на інтервалі, що включає набагато більшу кількість точок [24]. Принцип дії згладжування у тому, що з допомогою многочленів перебувають найменші квадрати із групи дослідних точок. Найкраще згладжування отримується для точок у середині групи, тому кількість точок групи зазвичай вибирається непарним [26]. Процедура згладжування, навіть у її лінійному варіанті є дуже ефективним способом відокремлення лінії тренду від випадкових величин та змінних в даних. Є можливість проводити процедуру згладжування кілька разів. Це особливо ефективно для числових рядів, у яких є відхилення від лінії тренду зі значною амплітудою. Кількість послідовних процедур згладжування може бути різною. Вона визначається видом числового ряду, метою, яку необхідно досягти за допомогою згладжування, а також величиною наближення до лінії вихідних даних залежно від досягнення поставленої мети згладжування [5]. Якщо говорити про лінійне згладжування, то необхідно сказати, що це вважається грубою процедурою, яка здатна виявити лише приблизний вид лінії тренду даних. При такій операції ординатам точок, що входять до групи ковзаючих, надають різні ваги залежно від їхньої віддаленості від середини інтервалу згладжування [23]. Відмінність процедури вирівнювання від процедури згладжування полягає в тому, що при згладжуванні виявляється основна лінія тренду даних і відсіваються перешкоди та випадкові відхилення в них, у той час як при вирівнюванні значення вихідних даних залишаються такими ж, але форма їх подання змінюється більш зручною для вирішення конкретних завдань. 21 Найпоширенішими процедурами вирівнювання є процедури логарифмування та заміни змінних. У тому випадку, якщо вихідна формула має три змінні або відомо, що функція трипараметрична, то після проведення певних математичних перетворень часто вдається позбавитися одного з параметрів, а два інших привести до формул вирівнювання. Вирівнювання необхідно розглядати не тільки як подання вихідних даних у найбільш прийнятній формі, але і як спосіб знаходження наближених параметрів функції, що апроксимує даний вихідний числовий ряд. Даний метод часто використовують саме для визначення цих параметрів при прогнозуванні. Взагалі можливість застосування даного методу визначення параметрів апроксимуючої функції вихідних даних визначається характером самих вихідних даних, знань експерта та його здатністю описати заданий процес з використанням такої функції. Найчастіше вид функції, що описує прогнозований процес, невідомий. У цьому випадку слід розглядати операцію вирівнювання як підготовчу частину, що дозволяє зробити вибір, в якому вигляді найзручніше було б уявити її для вирішення завдання прогнозування [6]. До методів вирівнювання можна віднести і дослідження емпіричного числового ряду, для виявлення деяких особливостей функції, що апроксимує його. Не завжди зазначені перетворення можуть призвести до отримання лінійних форм функції. Для завдань прогнозування результати таких перетворень є дуже важливими, оскільки полегшують вибір апроксимуючої функції. Для найпростіших випадків зазвичай використовують такі типи диференціальних функцій [6]: - перша похідна; - логарифмічна похідна; - еластичність функції. Далі детальніше розглянемо статистичні методи прогнозування. 22 Статистичні методи прогнозування - це галузь наукового напрямку, основною метою якого є вивчення, розробка та використання сучасних статистичних методів прогнозування з урахуванням наявних даних. Також до завдань цієї галузі наукового напрямку можна віднести розвиток та практичне застосування методів експертного прогнозування. Вона вивчає також прогнозування в умовах ризику та спільне застосування методів експертної оцінки та математико-статистичних методів прогнозу [8]. Базуються статистичні методи прогнозування на теорії прийняття рішень та прикладної математичної статистики. Необхідним етапом прогнозування є оцінка точності прогнозу. Найчастіше це роблять за допомогою довірчих інтервалів. Також для цих цілей будують найкращий прогноз методом максимальної правдоподібності, що у свою чергу можна віднести до ймовірнісно-статистичних моделей відновлення залежностей. Існують також параметричні та непараметричні методи оцінки прогнозування. До параметричних методів можна віднести метод нормальних помилок, а до непараметричних методів на основі центральної граничної теореми теорії ймовірності. Також знайшли своє застосування евристичні прийоми, про які було викладекно раніше, але які не ґрунтуються на ймовірності статистичної теорії. Це метод ковзних середніх та метод експоненційного згладжування [10]. Зараз можна стверджувати, що основним статистичним апаратом прогнозування є багатовимірна регресія, яка використовує непараметричні оцінки щільності розподілу [6]. Варто сказати про те, що можна не використовувати припущення про нормальність похибки вимірювань і відхилень від лінії регресії, однак для того, щоб це зробити, необхідно взяти в якості основи інший математичний апарат, такий як багатовимірна центральна гранична теорема теорії ймовірності, операції лінеаризації та спадкування збіжності . Це дозволяє будувати довірчі оцінки прогнозування, а також проводити точкове та інтервальне оцінювання параметрів та перевіряти значущість їхньої відмінності від 0. 23 Дуже важливою проблемою під час прогнозування часових рядів є проблема адекватності моделі, і навіть проблема відбору чинників, які впливають на результати прогнозуванням [6]. Найчастіше список таких чинників дуже широкий і першочерговим завданням є скорочення наскільки це можливо. Тому сучасні дослідження в галузі прогнозування спрямовані саме на те, щоб виявити саме ті ознаки, які мають найбільший інформативний вплив на побудову та точність прогнозної моделі. На даний момент дослідники шукають найкращі способи вирішення цієї проблеми. Можна говорити про те, що найперспективнішими непараметричними методами є методи оцінювання густини ймовірності, а також їх застосування для відновлення регресійної залежності. Найкращих результатів у вирішенні цієї проблеми вдалося досягти завдяки застосуванню підходів статистики нечислових даних [23]. Якщо говорити про інші перспективні напрямки дослідження в галузі статистичних методів прогнозування, то слід зазначити, що на даний момент до таких напрямків можна віднести авторегресійний аналіз, а також системи економетричних рівнянь, заснованих як на параметричних так і непараметричних підходах [24]. Для успішної побудови прогнозних моделей зараз неможливо обійтися без використання сучасних інформаційних технологій, що дозволяють застосовувати комп'ютерні статистичні методи прогнозування [14, 15, 16]. Тенденція на даний момент така, що комп'ютерні технології дозволяють об'єднувати різні методи прогнозування на одному робочому місці прогнозиста, що дає йому свободу вибору найбільш ефективної моделі, а також скорочує час складання прогнозу. Складання прогнозу якісних ознак, що мають нечислову природу, ґрунтується на статистичному аналізі нечислових даних. Перспективними для такого прогнозування є прогноз, складений на основі регресійного аналізу інтервальних даних, що включає в себе розрахунок та визначення раціонального обсягу вибірки, а також регресійний аналіз нечітких даних. 24 Необхідно відмітити те, що корисним є застосування дисперсійного аналізу та дискримінантного аналізу для реалізації на програмному рівні статистичних методів прогнозування. Дані види аналізу є окремими випадками регресійного аналізу нечислових даних. 1.3 Методи прогнозування, засновані на використанні штучних нейронних мереж На сьогоднішній день особливий інтерес виявляється до методів, що ґрунтуються на нелінійних моделях. Більшість таких методів належить до класу технологій штучного інтелекту [13]. Останнім часом нейронні мережі дедалі більше використовують та вдосконалюються в усіх галузях людської діяльності, недарма популярність нейронних мереж набирає дедалі більших обертів. Щоб зрозуміти принцип дії штучних нейронів, необхідно для початку розібратися із чого складаються і як діють нейрони людського мозку. Необхідно почати з поняття розвитку нейронів і тут не можна обійти без поняття пластичності (plasticity). Це така здатність мозку, яка дозволяє йому вибудовувати нервову систему відповідно до навколишніх умов. Саме ця здатність відіграє найважливішу роль при обробці інформації нейронами людського мозку. У штучних нейронних мережах робота нейронів відбувається аналогічно. Штучна нейронна мережа (neural network) у загальному випадку є апаратом, що дозволяє моделювати різні способи обробки інформації людським. Подібні мережі зазвичай реалізуються на рівні електронних компонентів або на базі моделей, які створюються у спеціалізованих комп'ютерних програмах [15]. У цьому підрозділі магістерської кваліфікаційної роботи проводиться опис та порівняння принципів роботи експертних і статистичних методів прогнозування з методами прогнозування, що базуються на роботі штучних 25 нейронних мереж, які здійснюють складання прогнозу в ході процесу навчання (learning) та здатні домагатися високих результатів продуктивності завдяки великій кількості нейронів у мережі та величезній кількості зв'язків між нейронами мережі. Враховуючи все вищесказане, можна дати таке визначення штучної нейронної мережі: Штучна нейронна мережа – це великий паралельний розподільний процесор, що складається з найпростіших частинок (моделей нейронів) обробки інформації, який здатний накопичувати знання отримані в ході навчання та застосовувати їх для вирішення завдань, схожих за принципом з учнями, але не входять до їх числа [13]. Можна виділити такі властивості, які притаманні людському мозку та ШНМ: - процес навчання полягає в отриманні знань з навколишнього середовища та подальшій їх обробці за допомогою нейронів; - нагромадження знань відбувається за допомогою створення особливих зв'язків між нейронами, званими синаптичними вагами. На даний момент застосування штучних нейронних мереж досягає все більших масштабів, так як часто використання звичайних алгоритмічних або статистичних методів виявляється неефективним або неможливим. До областей, у яких широко застосовуються штучні нейронні мережі можна віднести розпізнавання текстів, контекстна реклама в інтернеті, прогнозування погодних умов, прогнозування котирувань валют тощо [13, 15, 16]. Стосовно теми моєї кваліфікаційної роботи слід зазначити, що короткострокове прогнозування електроспоживання є перспективною областю використання штучних нейронних мереж. Дедалі більше виробників програмного забезпечення виходять ринку з програмними продуктами, здатними складати подібні прогнози. З самого початку комп'ютерної ери існували два принципово різні підходи до обробки інформації, а саме: послідовна обробка символів та паралельне розпізнавання образів. Відмінність символів і образів полягає 26 лише у розмірності, проте принципи їх обробки комп'ютером залишаються тими самими. Варто зауважити, що розміри образів можуть бути на багато порядків більшими, ніж розміри символів. На перший погляд може здатися, що відмінності в розмірності призводять лише до того, що збільшується час обробки такої інформації комп'ютером, проте насправді виявляється, що зі зростанням розмірності інформаційного блоку зростає і складність його обробки комп'ютером. Причому зростання складності обробки відбувається нелінійно [24]. Простота обробки коротких символів відбувається через те, що можливо створити такий процесор, який передбачуваним чином обробляв би всі вхідні символи, які можна назвати даними або сигналами і здійснював над ними всі можливі операції. У випадку ж з образами зробити такий процесор неможливо, оскільки різних образів може бути величезна кількість і для того, щоб їх всі запам'ятати необхідно процесор високої степені інтеграції. Звідси слідує висновок про те, що необхідно замість збільшення потужності процесора, змінити спосіб обробки інформації цим процесором. Отже, процесор, призначений для обробки образів повинен мати лише мінімальний набір прикладів образів, який у той же час дозволяв йому самостійно розробляти стратегію поведінки та прийняття рішень і водночас ці рішення повинні бути аналогічними тим, які були отримані ним під час навчання, а також мають бути адекватними поставленому завданню. З усього вищесказаного можна дійти невтішного висновку у тому, що різниця між послідовними і паралельними обчисленнями полягає у принципово різному підході до обробки вхідної інформації. Комп'ютери, які реалізовані за принципами послідовної обробки символів обмеженої довжини, працюють на архітектурі фон Неймана, що є традиційним підходом такого типу машин [18]. На сьогоднішній день нейрокомп'ютери працюють за принципами паралельного обчислення та розпізнавання образів, що робить їхню роботу схожою з роботою мозку людини. Для того щоб ще раз показати відмінності у способах обробки 27 інформації комп'ютерами із послідовним принципом роботи та людським мозком, що працює за принципом розпізнавання образів можна сказати, що такі комп'ютери мають велику потужність при знаходженні чисельного розв’язку задачі та витрачають на це долі секунди на відміну від людини, якій для цього знадобиться багато часу. Однак, наприклад, дізнатися обличчя знайомого для людини не складно і це відбувається практично миттєво, у той час як для комп'ютера із послідовним принципом обчислень це стає практично непосильним завданням. З усього вищесказаного випливає, що завдання нейрокомп'ютерів це обробка образів. У таких комп'ютерів немає поділу на активний процесор і пасивну пам'ять і всі обчислення та навчання розподілені по всіх нейронах мережі, цим вони схожі за будовою з мозком людини. Ці фактори дозволяють нейрокомп'ютерам досягати дуже високої продуктивності, яка може перевищувати продуктивність комп'ютерів із послідовними обчисленнями на багато порядків [8]. Переваги нейромережевої архітектури над паралельними обчисленнями [20]: - здатність до паралельної обробки інформації; - єдиний принцип навчання для всіх одиниць обробки інформації (нейронів); - при виході з ладу будь якої частини нейронів, комп'ютер продовжує функціонувати, що значно підвищує його надійність; - такі комп'ютери здатні вирішувати нестандартні завдання. Різницю у розвитку людини та комп'ютера можна описати так: людина з народження вчиться на початку розпізнавати образи, а потім пізніше починає вчитися мислити логічно. У розвитку комп'ютерної техніки відбувається все навпаки. З самого початку в комп'ютери закладався принцип послідовних обчислень, а тільки потім за допомогою застосування спеціальних програм, що дозволяють емулювати нейромережну архітектуру на процесорах із послідовним принципом обчислень, машини стають 28 здатними до розпізнавання образів. Також існують апаратні методи побудови архітектури паралельних обчислень, але вони значно складніші у реалізації ніж створення спеціалізованого програмного забезпечення [17]. Поява обчислювальної техніки досконалого нового класу (нейрокомп'ютерів) зумовлено з однієї сторони прискореним розвитком елементної бази, а з іншої – необхідністю прискорення вирішення конкретних математичних завдань. Розвиток нейрокомп'ютерів обумовлено розвитком цифрової логіки. Назву ж свою вони отримали завдяки умовній назві логічного елемента з фіксованими або вагами, що налаштовуються та реалізують найпростішу передатну функцію за принципом нейронів людського мозку. Значний стрибок у розвитку нейронних ЕОМ відбувся в 1980-х роках, завдяки появі можливості емуляції декількох елементів-нейронів і безлічі зв'язків між ними в одному або декількох кристалах, що раніше було неможливо [7]. Це дозволило створити електронні та оптичні методи реалізації обчислювальних систем. Основним принципом роботи нейрокомп'ютерів є аналогово-цифрова побудова ЕОМ. При такій побудові ЕОМ швидка аналогова частина виконує необхідні обчислення в пороговому елементі. У свою чергу алгоритми налаштування ваг нейронних мереж реалізуються в спеціалізованих цифрових системах [13 - 16]. Логічною основою обчислювальної системи є група операцій, що становить основну частину і вона реалізується на основних елементах операційного пристрою. Якщо розглядати нейрокомп'ютери, логічний базис обчислювальної системи унеможливлює накладення складної системи програмування на нього. Найчастіше зустрічається найпростішому базисі обчислювальної системи, який максимально відповідає базису розв'язуваних завдань. При такому підході, розв'язання задач із логічним базисом, про який йде мова, відбуватиметься в системі з таким же базисом. Це дозволяє 29 уникнути штучних зрушень [15]. Цей факт повинен забезпечувати максимальну продуктивність під час вирішення завдання. Також однією з особливостей нейронних ЕОМ є те, що її структура може бути розрахована аналітично, тоді як структура звичайних машин виходить емпіричним шляхом, виходячи з суб'єктивних уявлень про задачу, що розв'язується. Типи розв'язуваних задач, які опрацьовуються на подібних системах, можна розділити на 3 класи [13]: - формалізовані; - тяжко формалізуються; - не формалізовані. До задач, що формалізуються, відносяться задачі, алгоритм вирішення яких ясно окреслений. До важко формалізованих зазвичай відносять такі задачі, які мають безліч шляхів рішення, або рішення які неможливо оцінити з точки зору їх якості або досяжності цього рішення в принципі. Особливий клас завдань є так звані задачі, що не формалізуються [14]. Вони названі в такий спосіб, оскільки у алгоритмі їх вирішення присутні функції чи дані, задані неявно, тобто у вигляді вхідних сигналів чи образів. Перерахуємо основні види таких завдань : - кластеризація; - розпізнавання образів; - самонавчання; - прогнозування. Подібність штучних нейронних мереж і людського мозку не викликає сумнівів, оскільки обидва процесори мають схожу структуру, що складається з багатьох дрібних процесорів, які функціонують паралельно і мають безліч зв'язків один з одним. Не дивно, що при такій схожій структурі цих мереж вони демонструють і схожість своїх здібностей, таких як навчання на основі досвіду вирішення навчальних прикладів, узагальнення, відокремлення 30 значущих даних від сторонніх шумів і перешкод у всьому потоці інформації. І це незважаючи на те, що при створенні штучних нейронних мереж робиться ряд значних припущень [15]. Нейронні мережі також володіють здатністю перебудовуватися у разі зміни зовнішніх умов навколишнього середовища при незначних відхиленннях вхідного сигналу від норми це дозволяє їй продовжувати бачити потрібний образ не дивлячись на рандомність потоку вхідних даних. Щоб побудувати нейромережну модель, здатну адекватно та з заданою точністю вирішувати поставлене перед нею завдання необхідно [14]: 1. Описати об'єкт, який виступає як вхідний сигнал нейронної мережі – це може бути вихідні значення змінних, початкові значення визначених величин. У нашому випадку у ролі вхідного сигналу будуть виступати дані про електроспоживання за попередній аналогічний період. 2. Визначити об'єкт, який виступатиме як вихідний сигнал – це можуть бути значення змінних. У разі короткострокового прогнозування електроспоживання – це графік споживання на добу вперед із погодинною розбивкою. 3. Визначити цільовий вихідний сигнал нейромережі, тобто таку величину електроспоживання до якої нейронна мережа повинна намагатися наблизити свій прогноз. 4. Визначити архітектуру штучної нейронної мережі: а) кількість шарів; б) спосіб зв'язку між шарами; в) вагові коефіцієнти. 5. Визначити функцію з допомогою якої нейронна мережа «виправляла» відхилення реального вихідного сигналу від бажаного. 6. Визначити критерії оцінки якості роботи мережі та способи її оптимізації. 7. Визначити значення синаптичних вагів для нейронів мережі. Для цього існують різні методи, такі як: 31 а) аналітичний метод за безпосередньої постановки завдання; б) чисельний метод; в) процедура налаштування коефіцієнтів штучної нейронної мережі. Розв'язання задачі за допомогою штучної нейронної мережі передбачає роботу цієї мережі у певному режимі та обробку конкретних числових даних. Процедура розв'язання задачі включає [14]: 1. Розробку структури нейронної мережі, яка б відповідала поставленій задачі. 2. Обчислення вагових коефіцієнтів нейронної мережі або вибір їх із пам'яті, якщо вони були обчислені раніше. Остання властивість буде у послідуючому використана у моїй роботі під час прогнозування електроспоживання. 3. При необхідності генерацію початкових або вихідних параметрів. 4. Завантаження всіх чисельних значень в ШНМ та запуск розрахунку; 5. Робота мережі відповідно до режиму навчання: а) за фіксоване число кроків; б) за змінне число кроків, у яких відбувається мінімізація помилки мережі, тобто таким чином мережа налаштовує вагові коефіцієнти таким чином, щоб відмінність вихідного сигналу від бажаного була мінімальною. 6. Генерація рішення. У разі багаторазового використання мережі кроки 1 і 2 повторювати не обов'язково. Найбільш поширеним підходом до проектування штучних нейронних мереж є аналіз та вибір структури мережі з вже наявних шаблонів (мережі Хопфілда, Гросберга, Кохонена), виходячи з класу поставленого завдання [13]. За великим рахунком, у кожній конкретній задачі структура нейронної мережі незначно змінюється порівняно з типовою структурою. Можлива лише зміна синаптичних вагів, способів навчання, способів подання вхідних та вихідних даних. 32 Вихідною точкою вважатимуться формулювання завдання. Виходячи з неї, вибирається структура мережі, яка адекватна цьому завданню. Вибір робиться з існуючих структур, розроблених під конкретний тип завдань. Однак, не можна говорити, що типова структура буде використовуватися до конкретного завдання, тому обов'язково потрібно налаштування мережі для отримання адекватного і точного рішення. 1.4. Розімкнені штучні нейронні мережі Зазвичай при аналізі розімкнених штучних нейронних мереж використовується метод імовірнісного аналізу багатовимірних нелінійних систем [13, 15]. Результати такого аналізу можуть залежати тільки від характеристик простору ознак та простору рішень. Функціонал вторинної оптимізації нейронної мережі – це функціонал, який виражений через параметри розподілів поточних сигналів та мінімізований у багатошарових системах. У цьому етапі розглядаються дві проблеми синтезу [15]. Перша проблема полягає в тому, що необхідно дослідити відповідність функціоналу вторинної оптимізації та критеріїв первинної оптимізації. І як приклад тут можна розглядати відомі адаптивні структури, такі як матриця Штайнбуха або тришаровий персептрон Розенблатта. Основним недоліком такого підходу є те, що не визначається умова критерію первинної оптимізації, якій відповідає функціонал вторинної оптимізації. Це призводить до того, що деякі системи стають непрацездатними внаслідок багатомодальності даних, що надходять. Другою та основною проблемою на даному етапі синтезу є проблема формування функціоналу вторинної оптимізації таким чином, щоб він відповідав конкретному критерію первинної оптимізації. Під відповідністю 33 слід розуміти збіжність параметрів штучної нейронної мережі за умови мінімуму функціоналів вторинної та первинної оптимізації. На сьогоднішній день розроблено велику кількість структурних форм нейронних мереж і кожна з них орієнтована на вирішення конкретного завдання. Для наочності розглянемо тришарову повно пов'язану нейронну мережу прямого поширення вхідного сигналу (рисунок 1.1), основною функцією якої є розпізнавання та класифікація образів. Термін «повно» означає, що всі нейрони шару зв'язані з усіма нейронами шару i+1, а в разі першого шару – з усіма входами нейронної мережі. Пряме поширення даних означає, що в мережі відсутні зворотні петлі, за якими дані, пройшовши, наприклад, через перший шар мережі знову надходили б на відповідні входи. Особливістю такої мережі є те, що вона має обмежені можливості реалізації різноманітних конфігурацій розділяючої поверхні. Це відбувається внаслідок того, що нейрон не здатний реалізувати логічну функцію від N > 2 змінних. Якщо кількість нейронів у другому (прихованому) шарі не обмежена, то для створення шматково-лінійної поверхні достатньо мати 3 шари штучної нейронної мережі [14]. Рис. 1.1. Логічна схема нейронної мережі з трьома виходами 34 У загальному випадку, постановкою завдання навчання є процес, у якому функція задана вчителем, апроксимується автоматом із заданими властивостями. У свою чергу, завдання самонавчання можна розглядати як виділення мод функції розподілу та розпізнавання образів на вході. Об'єднати ці два визначення можна, говорячи про навчання штучної нейронної мережі вчителем, параметри якого також задано [13, 14]. Зараз зростає популярність структурних методів дослідження нейронних мереж у порівнянні із символічними методами. Так як штучні нейронні мережі мають властивості багатовимірності, багатошаровості та багатоконтурності, то такий метод дослідження стає особливо актуальним. Ці властивості притаманні переважно сучасним нейронним мережам. У цьому розділі магістерської кваліфікаційної роботи докладніше розглядаються питання структурної оптимізації, тобто підвищення ефективності роботи нейронної мережі за рахунок застосування різних структурних рішень, а не за рахунок збільшення обсягу навчальних даних. Внаслідок цього виникає необхідність структурного опису перетворень розімкнених мереж, а не лише в символічному описі цих перетворень. Далі представлено опис основних типів нейронних мереж у вигляді рівнянь та граф-схем. 1.5. Багатошарові нейронні мережі з перехресними зв'язками Багатошарові нейронні мережі з повнозв'язною структурою мають багато ознак j-го шару (j= 1,…,W), які складається з вихідних сигналів від 1 до (j – 1) та з ознак вихідного простору [15] H1 H1 H1 H1 у(n) = F ∑ah ⋅ yh (n) = F 1 1 ∑ah2 ⋅ gh (n) = F 1 ∑ah ⋅F ∑ai ⋅ xi (n). (1.2) 1 h1=0 h1=0 h1=0 h1=0 35 При порівнянні мереж з повними перехресними зв'язками і повними послідовними зв'язками з'ясовується, що перші значно простіше, внаслідок меншого числа нейронів. Але це справедливо лише за умови, що обидві мережі реалізують одну й ту саму структуру поверхонь, що розділяються. Для двошарової штучної нейронної мережі з перехресними зв'язками справедливий вираз [14] H1 N N у(n) F ∑a = h ⋅F ∑aih1 ⋅ xi (n) +∑aih1 ⋅ xi (n). (1.3) 1 h1=0 i=0 j=0 Граф-схема даної нейронної мережі представлена рисунку 1.2. Рис. 1.2. Граф-схема нейрона із зворотним зв'язком Для випадку двошарової нейронної мережі із зворотними зв'язками (рис. 1.3) [14] у(n) = F [g(n)]; g(n) =∑ah ⋅ yh (n) + ak ⋅ yh (n −1), (1.4) 1 1 1 N у(n) = F [gk1(n)]; gk1(n) =∑aik ⋅ x1(n) + a ⋅ y(n) + ah1 ⋅ yh1(n −1). (1.5) 1 i=0 36 Рис. 1.3. Граф-схема двошарової нейронної мережі із зворотними зв'язками Справжній рівень розвитку технології здатний забезпечити ефективну роботу нейронної мережі [14], представленої на рисунку 1.4. Рис. 1.4. Структура багатошарової нейронної мережі 1.6. Переваги нейронних мереж Очевидним є той факт, що нейронні мережі мають значні переваги перед іншими методами обчислень, а саме, це можливість паралельних обчислень, що у рази збільшує їх потужність, і навіть можливість самонавчання, тобто створення узагальнень. Термін узагальнення 37 (generalization) означає, що нейронна мережа здатна видавати адекватне рішення завдання, використовуючи свої дані, які зустрічалися під час навчання. Всі ці характеристики роблять нейронні мережі дуже сильним засобом обчислення, які можна застосувати для вирішення великомасштабних завдань. Практичне використання нейронних мереж показує, що вони не здатні давати готові рішення за наявності складного багатоскладового завдання. Для того щоб успішно вирішувати подібні завдання, необхідно їх розділяти на кілька простих і для кожного з цих завдань підбирати відповідну структуру мережі. За рахунок використання нейронних мереж можна досягти наступних позитивних властивостей системи [13, 14, 15]: 1. Нелінійність (nonlinerity). Ця властивість залежить від того, якими є самі штучні нейрони, лінійними чи нелінійними. Якщо всі нейрони мережі нелінійні, то і вся мережа вважається нелінійною розподіленою по всій мережі. Це уможливлює розпізнавання нелінійних вхідних сигналів, таких як наприклад, людська мова. 2. Перетворення вхідної інформації у вихідну (input-output mapping). Однією з найефективніших парадигм навчання з учителем (supervised learning). Це формулювання означає, що за допомогою навчальних прикладів (training sample) змінюються синаптичні ваги нейронів і мережа перебудовується відповідно до навчальних прикладів. Кожен навчальний приклад складається з вихідного та вхідного сигналу, а також бажаного відгуку (desired response). Із безлічі навчальних прикладів випадково вибирається один і штучна нейронна мережа вибудовує вагові коефіцієнти нейронів таким чином, щоб відхилення вихідного сигналу від бажаного було мінімальним. Цей процес можна назвати модифікацією вільних параметрів мережі. Однак, варто сказати про те, що можуть використовуватися знову і вже наявні вагові коефіцієнти, якщо мережа досягає необхідних результатів точності або обчислення доводиться повторювати кілька разів поспіль. 38 Навчання нейронної мережі або вибудовування необхідним чином вагових коефіцієнтів нейронів відбувається до тих пір, поки відмінність вихідного сигналу від необхідного не буде мінімальною. У ході навчання таким чином нейронна мережа створює таблицю в якій кожному вхідному сигналу відповідає вихідний конкретний сигнал. Цей фактор робить навчання нейронної мережі схожим на непараметричне статистичне навчання (nonparametric statistic a inference). Такий тип навчання працює з оцінками, які не співвідносяться з конкретними моделями або з навчанням з нуля. Термін «непараметричний» вживається тому, що спочатку немає зумовленості у зв'язку із вхідних та вихідних значень. Наприклад, розглянемо завдання класифікації образів (pattern classification). У цьому потрібно співвіднести вхідний сигнал, що представляє собою фізичний об'єкт або подію з деякою зумовленою категорією (класом). При непараметричному підході до цього завдання потрібно «оцінити» рамки рішення простору вхідного сигналу із урахуванням набору прикладів. При цьому не використовується жодна ймовірнісна модель розподілу. Аналогічний підхід застосовується й у парадигмі навчання з учителем. Це ще раз підкреслює паралель між відображенням вхідних сигналів у вихідні, що здійснюється нейронною мережею та непараметричним статистичним навчанням. 3. Адаптивність (adaptivity). Штучні нейронні мережі здатні адаптуватися під час зміни зовнішніх умов середовища. Навіть той факт, що нейронна мережа навчена в одних умовах навколишнього середовища, а реальні умови зазнали змін, це говорить про те, що мережа працюватиме помилково. Вона легко може бути перенавчена для роботи в нових умовах. Існують також нестаціонарні середовища, тобто середовища у яких зовнішні умови середовищо змінюються у реальному часі. Також існують і нейронні мережі, вагові коефіцієнти яких змінюються в реальному часі. Типова архітектура мереж, призначених для розпізнавання образів, завдань керування та обробки сигналів може бути поєднана зі здатністю нейронних мереж до адаптації. У цьому випадку можна отримати адаптивні мережі 39 управління, адаптивні мережі розпізнавання образів і обробки сигналів. Очевидно, що чим вище адаптивні здібності нейронної мережі тим стійкіше вона може працювати в змінному середовищі. У зв'язку з цим необхідно відмітити, що здатність до адаптації не завжди працює в позитивну сторону. Занадто чутлива до змін середовища нейронна мережа здатна сприйняти перешкоди даних як вагому частину вхідного сигналу. Це може призвести до хибного формування вихідного сигналу. Ідеальним варіантом поєднання здатності до адаптації та стабільності може бути мережа, в якій основні параметри, що найбільше впливають на вихідний сигнал є стабільними але в той же час досить пластичними, щоб мати можливість реагувати на сильні зміни зовнішнього середовища. Це завдання зазвичай називається дилемою стабільності-пластичності (stability-plasticity dilemma). 4. Очевидність відповіді (evidential response). Нейронну мережу, яка призначена для розпізнавання образів можна навчити визначати достовірність прийнятого рішення. Таку мережу можна використовувати в синтезі з мережами інших типів, що дозволить підвищити їх продуктивність. 5. Контекстна інформація (contextual information). Нейронна мережа здатна накопичувати будь-які знання про середовище лише зі стану її активації, тобто параметрів активації граничних елементів мережі. Від цих параметрів залежить стан активації, тому можна говорити, що робота нейронної мережі безпосередньо пов'язана з контекстною інформацією. 6. Відмовостійкість (fault tolerance). Термін відмовостійкість означає, що продуктивність нейронних мереж падає незначно за несприятливих умов зовнішнього середовища. Особливо це стосується мереж, які на рівні електроніки побудовані за принципом нейронних мереж. Це відбувається внаслідок того, що запам’ятована інформація рівномірно розподілена по мережі і хоча при пошкодженні одного нейрона або його зв'язків зчитування інформації з нього ускладнюється, зниження продуктивності всієї мережі в цілому відбувається повільно. Тому зниження якості і точності роботи нейронної мережі відбувається повільно, а незначні пошкодження мережі 40 спричиняють незначні відхилення у роботі. Це безумовна перевага обчислень, що виробляються за принципами нечіткої логіки. Також у штучні нейронні мережі закладають при проектуванні поправки, які дозволяють гарантувати стійкість до відмови. 7. Масштабованість (VLSI Implementability). Паралелізм обчислень у нейронних мережах забезпечує прискорення вирішення завдань та масштабованість нейронних мереж у рамках технології VLSI (very-large- scale-integrated). Під терміном масштабованість розуміється розширення структури мережі для вирішення складніших завдань, шляхом додавання до неї нейронів. Це дозволяє за допомогою технологій VLSI створювати моделі складних процесів за допомогою ієрархічних структур. 8. Одноманітність аналізу та проектування (Uniformity of analysis and design). Нейронні мережі – це універсальна структура, що дозволяє вирішувати завдання в різних галузях. Причому одна й та сама будова мережі може бути використана при вирішенні різних завдань. Ця властивість проявляється декількома способами: – складовими частинами будь-якої нейронної мережі є нейрони, які однакові за своєю структурою; – однаковість дозволяє використовувати різні алгоритми навчання на тих самих структурах; – можливість побудови модульних мереж, тобто тих що складаються з декількох підмереж, які є схожими за структурою модуля. 9. Аналогія з нейробіологією (Neurobiological analogy). Нейронні мережі побудовані за принципом та подідністю з людським мозком, який є гігантською нейронною мережею, що має високу швидкість обчислень і велику потужність. До того ж мозок здатний зберігати свою працездатність при некоректній роботі деяких областей, наприклад, внаслідок отримання травм. Всі ці властивості скопіювали в себе і штучні нейронні мережі. Нейробіологи розглядають штучні нейронні мережі для моделювання фізичних явищ. З іншого боку, інженери постійно намагаються отримати у 41 нейробіологів нові ідеї, що виходять за межі традиційних електросхем. Ці дві точки зору можна продемонструвати на таких прикладах [14]: - у роботі моделі лінійних систем вестибуло-окулярного рефлексу порівнювалися з моделями рекурентних нейронних мереж. Вестибуло- окулярний рефлекс, або рефлекс VOR (vestibulo-ocular reflex) є складовою окорухової системи. Його завданням є забезпечення стабільності візуального образу при поворотах голови за допомогою обертання очей. Процес VOR реалізується премоторними нейронами у вестибулярному центрі, які отримують та обробляють сигнали повороту голови від вестибулярних сенсорних нейронів та передають результат на моторні нейрони м'язів очей. Механізм VOR добре підходить для моделювання, оскільки вхідний (поворот голови) та вихідний (поворот очей) сигнали можна точно описати. До того ж це досить простий рефлекс, а нейрофізичні властивості нейронів, що його реалізують досить добре описані. Серед трьох задіяних у ньому типів нейронів премоторні нейрони, що входять до складу вестибулярного центру є найскладнішими, а отже найцікавішими. Раніше механізм VOR розглядали за допомогою зосереджених лінійних систем та теорії управління. Ці моделі були придатні для опису деяких загальних властивостей VOR, але не давали чіткого уявлення про властивості самих нейронів. З появою нейромережевих моделей ситуація докорінно змінилася. Рекурентні моделі VOR (програми, що використовують алгоритм рекурентного навчання в реальному часі) дозволили відтворити та описати багато статичних, динамічних, нелінійних та розподілених аспектів обробки сигналів при реалізації рефлексу VOR і, зокрема вестибулярного центру; - сітківка (retina), більш ніж якась інша частина мозку, виконує функції взаємозв'язку навколишнього світу, представленого візуальним рядом або фізичним зображенням (physical image), що проектується на матрицю рецепторів, з першим нейронним зображенням (neural image). Сітківка - це матриця мікроскопічних рецепторів на зовнішній лицьовій стороні очного яблука. У її завдання входить перетворення оптичного сигналу в нейронне 42 зображення, що передається оптичними нервами в різні центри для аналізу. Беручи до уваги синаптичну організацію сітківки це складне завдання. У будь-якій сітківці перетворення зображення з оптичного в нейронне проходить три стадії [24]: I – зняття фотокопії шаром нейронів-рецепторів; II - передача сформованого сигналу (реакція світ) хімічними синапсами на шар біполярних клітин (bipolar cell); III – передача цих сигналів (також за допомогою хімічних синапсів) на вихідні нейрони. На двох останніх стадіях (при передачі інформації від рецепторів на біполярні рецептори та від останніх - на вихідні нейрони) в операції беруть участь спеціальні нейрони з латеральним гальмуванням, зокрема так звані горизонтальні клітини (horizontal cell). Їхнім завданням є перетворення сигналу між різними синаптичними шарами. Також є відцентрові елементи, що забезпечують передачу сигналу із внутрішнього синаптичного шару на зовнішній. Деякі дослідники створювали електронні мікросхеми, що імітують структуру сітківки. Ці електронні чіпи називалися нейроморфними контурами (neuromorphic integrated circuit). Нейроморфні сенсори є матрицею фоторецепторів, пов'язаних з відповідними елементами малюнка (пікселями). Вони імітують сітківку тому, що можуть адаптуватися до зміни освітленості, ідентифікувати контури і рух. Нейробіологічна модель, втілена в нейроморфні контури, забезпечила ще одну перевагу: фізичне розуміння нейробіологічних структур, що може істотно вплинути на область електроніки та технологію VLSI [23]. 43 1.7. Аналіз та порівняння принципів роботи людського мозку та штучних нейронних мереж Нервова система людського організму є триступеневою системою (рисунок 1.5). Головним центром системи є мозок (brain). Його функція полягає у отриманні інформації від усіх органів чуття, аналізу цієї інформації та прийнятті рішень шо до дії виходячи з цієї інформації. На рисунку 1.5 стрілки спрямовані у різні боки. Спрямовані зліва направо позначають вхідну інформацію, що надходить через органи почуттів, а направлені справа на ліво, відповідну реакцію на інформацію, що надійшла. Рецептори (receptor) перетворюють інформацію, що надходить з навколишнього середовища, електричні сигнали, що передаються в нейронну мережу. Функція ефекторів (effectors) полягає у перетворенні електричних імпульсів, згенерованих мозком у вихідні сигнали [16]. Рис. 1.5. Блочна діаграма нервової системи Вивчення людського мозку почалося з ідеї дослідження будови та роботи людського мозку на основі нейронів. Як правило, реакція нейронів на 5-6 порядків повільніша за реакцію кремнієвих логічних елементів. Тривалість подій у кремнієвих елементах вимірюється в наносекундах (10-9 с), а нейронах - в мілісекундах (10-3 с). Однак ця відносна повільність нейронів компенсується їхньою масою та кількістю взаємозв'язків між ними. За існуючими оцінками, у корі головного мозку налічується близько 10 більйонів нейронів та близько 60 трильйонів синапсів або взаємозв'язків між ними. В результаті мозок є надзвичайно ефективною структурою. Зокрема, енергетичні витрати мозку на виконання однієї операції в секунду становлять 44 близько 10-16 Дж. У той же час витрати економного комп'ютера не опускаються нижче 10-6 Дж на операцію в секунду [16]. Синапси (synapses) – це елементарні зв'язки між нейронами, якими передаються електричні сигнали. Найпоширенішим типом синапсів є хімічні (chemical synapse), які працюють у такий спосіб. Передсинаптичний процес формує субстанцію, що передається (transmitter substance), яка методом дифузії передається по синаптичних сполуках між нейронами і впливає на постсинаптичний процес. Таким чином, синапс перетворює передсинаптичний електричний сигнал на хімічний, а після цього – на постсинаптичний електричний. В електротехнічній термінології його можна було б назвати невзаємним чотириполюсником (nonreciprocal two-port device). У традиційних описах нейронної організації синапс є простою сполукою, яка може передавати збудження (excitation) або гальмування (inhibition) (але не те й інше одночасно) між нейронами [14]. Під пластичністю розуміється здатність нервової системи адаптуватися до умов середовища. У людському мозку пластичність досягається двома шляхами: перший – створення нових синаптичних зв'язків між нейронами, а другий – це вдосконалення вже існуючих зв'язків. Аксони (axon) – це лінії, якими передаються електричні сигнали. Дендрити (dendrite) – це зони прийому сигналів у нейроні. Ці функціональні одиниці є два типи елементів клітини, які різняться навіть на морфологічному рівні. Аксони мають більш гладку поверхню, більш тонкі межі та більшу довжину. Дендрити (свою назву вони отримали через подібність до дерева) мають нерівну поверхню з безліччю закінчень. Існує безліч форм і розмірів нейронів, залежно від того, в якій частині мозку вони знаходяться. На рисунку 1.6 показано пірамідальну клітину (pyramidal cell), що є найпоширенішим типом нейронів кори головного мозку. Як і всі нейрони, пірамідальні клітини отримують сигнали від щупалець дендритів. Пірамідальна клітина може отримувати понад 10000 синаптичних сигналів та проектувати їх на тисячі інших клітин [14, 15]. 45 Рис. 1.6. Реконструкція пірамідальної клітки (сома та дендрити позначені червоним, гілки аксонів – синім): 1 – сома, 2 – базальний дендрит, 3– апікальний дендрит, 4 – аксон, 5 – колатеральний аксон. Вихідні сигнали більшості нейронів перетворюються на послідовність коротких електричних імпульсів. Ці імпульси, які називаються потенціалами дії (action potential) або викидами (spike), беруть свій початок у тілі нейрона і передаються через інші нейрони із постійною швидкістю та амплітудою. Причина використання потенціалу дії взаємодії нейронів лежить у самій фізичній природі аксона. Аксон нейрона має велику довжину і маленьку товщину, що виражається у його великому електричному опорі та ємності. Обидві ці характеристики розподілені за аксоном. Таким чином, його можна змоделювати як лінію електропередачі з допомогою рівняння кабелю (cable equation). Аналіз цього рівняння показує, що напруга, яка подається на один 46 кінець аксона, експоненційно зменшується з відстанню, досягаючи на іншому його кінці невеликих значень [14]. Потенціали дії дозволяють оминути цю проблему. У людському мозку існують великі дрібномасштабні анатомічні структури. Це верхній та нижній рівні, що відповідають за виконання різних функцій. На рисунку 1.7 показано ієрархію рівнів організації мозку, складена на основі аналізу окремих областей мозку. Рис. 1.7. Структурна організація рівнів мозку 47 Синапси (synapse) є найнижчим у рівні молекул та іонів. На наступномих рівнях розміщені нейронні мікроконтури, дендритні дерева, а також нейронами. Нейронним мікроконтуром (neural micro circuit) називається набір синапсів, що організований в шаблони взаємозв'язків, які виконують певну операцію. Нейронний мікроконтур можна порівняти з електронним чіпом, який складається із набору транзисторів. Мінімальний розмір мікроконтурів вимірюється у мікронах, а швидкість операцій – у мілісекундах. Нейронні мікроконтури групуються в дендритні субблоки (dendritic subunit), що сворюють дендритні дерева (dendritic tree) окремих нейронів. Весь нейрон (neuron) має розміри близько 100 мікронів і містить кілька дендритних субблоків. На наступному рівні складності знаходяться локальні ланцюжки (local circuit) (розміром близько 1 мм), що складаються з нейронів із однаковими або подібними характеристиками. Ці набори нейронів виконують функції, характерні окремим областям мозку. За ними в ієрархії розміщуються міжрегіональні ланцюжки (interregional circuit), що складаються із траєкторій, стовпців та топографічних карт і об'єднують кілька областей у різних частинах мозку [15]. Топографічні карти (topographic map) призначені для відповіді на інформацію, що надходить від сенсорів. Ці карти часто організуються як таблиці, причому візуальні, звукові і соматосенсорні карти зберігаються у стеку, що зберігає просторову конфігурацію конкретних точок збудження [15]. На заключному рівні складності топографічні карти та інші міжрегіональні ланцюжки зв'язуються один з одним, утворюючи центральну нервову систему (central nervous system). 48 1.8. Моделі нейронів Одиницею обробки інформації у штучній нейронній мережі є нейрон. Модель такого нейрона представлена на рисунку 1.8. Виділяють три основні складові такої моделі [14]: 1. Набір синаптичних зв'язків у мережі, кожен з яких характеризується своєю вагою та силою. Іншими словами, сигнал хj на вході синапсу j, пов'язаного з нейроном k, множиться на вагу wkj. Велике значення має порядок індексів при позначенні ваги wkj. Перший індекс позначає досліджуваний нейрон, а другий - вхідне закінчення синапсу, з яким пов'язаний нейрон, що розглядається. Кардинальною відмінністю штучного нейрона від нейрона людського мозку є те, що знак синаптичної ваги штучного нейрона може бути як позитивним та і негативним. 2. Наступним елементом у штучному нейроні є суматор (adder). Його функція полягає в тому, щоб складати сигнали, порівняні щодо відповідних синапс нейрона. Таку операцію часто називають лінійною комбінацією. Рис. 1.8. Нелінійна модель нейрона 3. Наступним елементом нейрона є активація (activation function). Її завдання у тому, щоб обмежувати амплітуду вихідного сигналу. Іншою 49 назвою цієї функції є функція стиснення (squashing function). Для штучних нейронних мереж звичайним діапазоном, де лежить вихідний сигнал є діапазон [0,1] або [-1,1]. У ході подальшої роботи це стало причиною того, що для прогнозування погодинного електроспоживання всі значення електроспоживання необхідно було привести у відповідність із зазначеними інтервалами. Інакше робота мережі була б некоректною і помилка прогнозування становила б значну величину. На рисунку1.8 можна побачити пороговий елемент, який позначений символом bk. Ця величина показує, наскільки збільшився або зменшився вхідний сигнал, що надходить на функцію активації. Функціонування нейрона k в математичному вигляді можна представити рівняннями: m uk =∑wkj ⋅ x j ; yk =ϕ(uk + bk ), (1.6) j=1 де х1, х2, ..., хm – вхідні сигнали; wк1, wк2, ..., wкm – синаптичні ваги нейрона k; uк – лінійна комбінація вхідних впливів (linear combiner output); bk – поріг; φ(·) – функція активації (activation function); уk – вихідний сигнал нейрона. Ефект афінного перетворення виходу лінійного суматора k забезпечується шляхом використання порога bk. У моделі, яка зображена на рисунку 1.8, постсинаптичний потенціал обчислюється за виразом vk = uk + bk , 50 В залежності від того, яке значення набуває поріг bk, позитивне або негативне, індуковане локальне поле (induced local field) або потенціал активації (activation potencial) vk нейрона k змінюється так, як показано на рисунку 1.9. Рис. 1.9. Афінне перетворення, яке викликане наявністю порога 1.9. Принципи навчання нейронних мереж Однією з найважливіших властивостей штучних нейронних мереж є їхня здатність навчатися і в результаті цього підвищувати свою продуктивність [14]. Підвищення продуктивності відбувається у результаті виконання мережею встановлених правил навчання. Суть процесу навчання штучної нейронної мережі полягає у зміні синаптичних вагів та порогів відповідно до парадигми навчання. Для ідеальних умов характерним є те, що нейронна мережа отримує інформацію про навколишнє середовище при кожному процесі ітерації [15]. 51 Поняття навчання досить складне у визначенні, оскільки в різних сферах діяльності це поняття включає різні складові та відповідно під одним і тим же словом можуть розуміти зовсім різні процеси. Так, наприклад, процес навчання з погляду шкільного вчителя розглядатиметься зовсім інакше, ніж з позиції проектування штучної нейронної мережі. З позицій нейронної мережі можна використовувати таке визначення [15]: Навчання – це процес налаштування вагових коефіцієнтів та порогів таким чином, при якому забезпечується найкраще вбудовування мережі в навколишнє середовище. Тип навчання визначається способом налаштування цих параметрів. Виходячи з такого визначення, можна записати таку послідовність дій: 1. надходження зовнішніх даних на вхід нейронної мережі; 2. як наслідок, зміна вільних параметрів штучної нейронної мережі; 3. зміна реакції (відповіді) нейронної мережі на дані, що надходять на вхід. Ця послідовність дій називається алгоритмом навчання штучної нейронної мережі. Необхідно відзначити, що неможливо створити універсальний алгоритм навчання, який би підходив для будь-якої архітектури нейронної мережі. Існують лише стратегії навчання, кожна з яких має свої переваги та недоліки. Відмінною особливістю кожного алгоритму є унікальний спосіб налаштування синаптичних ваг нейронів. Також одним із суттєвих параметрів навчання нейронної мережі є спосіб її зв'язку із зовнішнім світом. Іншими словами, можна сказати, що алгоритми навчання нейромереж розрізняють спосіб представлення моделі зовнішніх даних, що надходять на вхід мережі [14]. На даний момент виділяють 5 основних моделей навчання [14]: - на основі корекції помилок; - з використанням пам'яті; - Хеббівське навчання; - конкурентне навчання; 52 – метод Больцмана. Навчання, що базується на корекції помилок, передбачає фільтрацію результатів навчання з деякою встановленою точністю. Навчання на основі пам'яті іншими словами можна назвати, як навчання на основі навчальних даних. Метод Хебба та конкурентний підхід до навчання засновані на принципах нейробіології. В основу методу Больцмана покладено ідеї статистичної механіки [13]. 1.9.1. Навчання нейронних мереж, засноване на корекції помилок Розглянемо найпростіший випадок нейрона k, що є єдиним обчислювальним вузлом вихідного шару нейронної мережі прямого поширення (рисунок 1.10) [13]. Нейрон k функціонує під управлінням вектора сигналу (signal vector) x(n), який виробляється прихованими шарами нейронів, які у своєю чергу отримують дані із вхідного вектора (збудження), який передається через вхідний шар нейронної мережі. Під п розуміють дискретний час або номер кроку ітерації визначення синаптичних вагів нейрона k, що конкретніше і найчастіше використовується. Вихідний сигнал (output signal) нейрона k позначається уk(п). Цей сигнал є єдиним виходом нейронної мережі. Варто відзначити, що при рекурентній архітектурі мережі вихідні дані можуть знову подаватися в прихований шар нейронної мережі. У випадку із одним виходом сигнал порівнюватиметься із бажаним виходом (desired response), позначеним dk(п). В результаті отримуємо сигнал помилки (error signal) еk(п), що визначається формулою еk(п) = dk(п) – уk(п). Сигнал помилки запускає послідовні процеси коригування синаптичних вагів нейрона k. Ці коригування направлені на поступове 53 наближення вихідного сигналу уk(п) до бажаного dk(п). Ця мета досягається за рахунок мінімізації функції вартості (cost function) або індексу продуктивності (performance index) E(n), яка визначається в термінах сигналу помилки наступним чином E(n) 1 = e2 k (n), 2 де E(n) – поточне значення помилки. Покрокове коригування синаптичних вагів нейрона k триває до того часу, поки нейронна мережа досягне стійкого стану (steady state) (тобто. такого, у якому синаптичні ваги мало змінюються). На цьому процес навчання закінчується. Рис. 1.10. Блокова діаграма нейронної мережі Процес, описаний вище називається навчанням, заснованим на корекції помилок. Зниження значень функції вартості E(n) проводиться у разі так званого дельта-правила або правила Відроу-Хоффа. Позначимо wkj(n) поточне значення синаптичної ваги нейрона k, який відповідає елементу хj(п) вектора x(n) на кроці ітерації п. Відповідно до дельта-правила зміна Δwkj(n), що застосовується до синаптичної ваги wkj на цьому кроці дискретизації , задається виразом: ∆wkj (n) =ηek (n)x j (n), 54 де η – деяка додатна константа, що визначає швидкість навчання (rate of learning) і використовується при переході від одного кроку процесу до іншого. Цю константу зазвичай називають параметром швидкості навчання (learning rate parameter). Дельта-правилу можна дати таке визначення – коригування, що застосовується до синаптичної ваги нейрона, пропорційна добутку сигналу помилки на збурюючий вхідний сигнал [14]. З цього визначення випливає, що є можливість прямого вимірювання величини сигналу помилки. Таке вимірювання можливе лише при надходженні сигналу від зовнішнього джерела безпосередньо доступного для нейрона k. Іншими словами, нейрон k має бути «видимим» для зовнішнього сережовища (рисунок 1.10). На рисунку 1.10 можна побачити, що навчання, яке базується на корекції помилки є локальним. Це означає, що коригування синаптичних вагів за дельта-правилом може бути здійснено в окремому нейроні k [13]. Обчисливши величину зміни синаптичного ваги Δwkj(n), можна визначити його нове значення для наступного кроку ітерації wkj (n +1) = ∆wkj (n) + wkj (n). Таким чином, wkj(п) та wkj(п+1) можна розглядати як початкове та нове значення, яке відноситься до синаптичної ваги wk. У математичних термінах можна представити виразом w (n) = z−1 kj wkj (n +1) , де z-1 – оператор одиничної затримки (unit delay operator). Інакше кажучи, оператор z-1є елементом пам'яті (storage element). На рисунку 1.11 представлений граф проходження вхідного сигналу в процесі навчання, що базується на корекції помилок, для одиничного 55 нейрона k [15]. Вхідний сигнал хk та індуковане локальне поле vk нейрона k представлені у вигляді передсинаптичного (presynaptic) та постсинаптичного (postsynaptic) сигналів j-го синапсу нейрона k. На рисунку 1.11 видно, що навчання на основі корекції помилок – це приклад замкнутої системи із зворотним зв'язком (closed-loop feedback). Параметри зворотного зв'язку визначають стійкість даної системи. У даному випадку є лише один зворотний зв'язок, і єдиним значним її параметром є коефіцієнт швидкості навчання η. Для забезпечення стійкості чи збіжності ітеративного процесу навчання потрібна висока точність під час вибору цього параметра. Вибір цього параметра навчання впливає на швидкість навчання, і навіть на його точність. Іншими словами, параметр швидкості навчання – це основний параметр, що визначає ефективність і продуктивність процесу навчання. Рис. 1.11. Граф передачі сигналу вхідного вхідного сигналу нейрона в процесі навчання 56 1.9.2. Навчання на основі пам'яті Навчання на основі пам'яті передбачає зберігання правильно класифікованих прикладів вхід-вихід, що у свою чергу можна назвати N пам'яттю нейронної мережі: (хі , dі ) , де хі – вхідний вектор, а d i=1 і – відповідний необхідний вихідний сигнал [24]. Не обмежуючи загальності, можна припустити, що вихідний сигнал є скалярним. Наприклад, розглянемо завдання бінарного розпізнавання образів чи класифікації на два класи (гіпотези) С1 та С2. У цьому прикладі бажаний відгук системи di набуває значення 0 (або -1) для класу С1 і +1 для класу С2. Якщо потрібно розпізнати, якого класу відноситься деякий невідомий вектор хtest, з бази даних вибирається вихід, відповідний вхідному сигналу, приблизно рівному хtest. Всі алгоритми навчання на основі пам'яті включають дві основні складові [24]: – параметр, який використовує визначення біля вектора хtest; – правило навчання, яке використовується при розпізнаванні тестового вектора. Кожен алгоритм відрізняється один від одного саме цими параметрами. У стандартному алгоритмі навчання нейронної мережі на основі пам'яті, який отримав назву правила найближчого сусіда (nearest neighbor rule), у границю включається приклад, найближчий до тестового[24]. Наприклад, вектор x′N ∈(x1, x2 ,, xn ). вважається найближчим сусіднім вектором хtest; якщо виконується умова min d (xi , xtest ) = d (x′N , xtest ), i 57 де d (x′N , xtest ) – Євклідова відстань між векторами xi та xtest . Клас до якого належить найближчий сусідній вектор, вважається також класом тестового вектора xtest . Це правило залежить від розподілу, яке використовується при генеруванні прикладів навчання. При формальному дослідженні правило найближчого сусіда, що застосовується для вирішення задачі класифікації образів, аналіз ґрунтується на двох наступних припущеннях [5]: - класифіковані приклади xi ,dі незалежні та рівномірно розподілені (independently and identically distributed) відповідно до спільного розподілу прикладу (x, d). - розмірність навчальної множини N нескінченно велика. Таким чином, для двох припущень ймовірність помилки класифікації при використанні правила найближчого сусіда вдвічі перевищує ймовірність Байесової помилки (Bayes probability error). (Байєсовська ймовірність помилки — це мінімальна ймовірність помилки на безлічі всіх правил прийняття рішення) [14]. У цьому контексті можна вважати, що половина класифікаційної інформації для навчальної множини нескінченного розміру міститься в даних про найближчого сусіда. Варіацією класифікатора із урахуванням найближчого сусіда є класифікатор k-найближчих сусідів (k-nearest neighbor classifier). Він описується так [14]. Знаходимо до класифікованих сусідів, найближчих до вектору xtest де k - деяке ціле число. Вектор xtest відносимо до того класу (гіпотезі), який найчастіше зустрічається серед k-найближчих сусідів тестованого вектора. Таким чином, класифікатор на основі k-найближчих сусідів працює подібно до пристрою усереднення. Наприклад, він може не врахувати одиничний «викид». Викид (outlier) - це спостереження, яке відрізняється від номінальної моделі. 58 Варто відмітити, що описані вище моделі навчання є найбільш прийнятними для вирішення завдань прогнозування, тому зупинимося на розгляді цих моделей як основні для навчання ШНМ для потреб енергозбутової компанії. 1.9.3. Парадигми навчання нейронних мереж 1) Навчання з учителем [14]. Перейдемо до розгляду різних парадигм навчання нейронних мереж. Першим розглянемо парадигму навчання з учителем. На рисунку 1.12 представлена діаграма, що описує цю форму навчання. У загальному випадку наявність вчителя можна розглядати як наявність знань про навколишнє середовище у вигляді пар вхід-вихід. Це за умови, що зовнішнє середовище для нейронної мережі незнайоме. На початковому етапі вчителю та нейронній мережі, що навчається, подається вхідний навчальний вектор із зовнішнього середовища. Ґрунтуючись на знаннях, вчитель передає нейронній мережі бажаний відгук на даний вхідний навчальний вектор. Такий відгук передбачає здійснення нейронною мережею оптимальних дій щодо досягнення бажаного виходу. Іншими словами, параметри мережі коригуються в залежності від вхідного навчального вектора та сигналу помилки. Сигналом помилки називають різницю між бажаним відгуком та дійсним вихідним значенням сигналу нейронної мережі. Імітуючи поведінку вчителя, штучна нейронна мережа виконує покрокове коригування всіх параметрів. Такий процес називається емуляцією. Цей процес має бути оптимальним для отримання найбільшої схожості дій нейронної мережі з діями вчителя. Можна сміливо сказати, що навчання нейронної мережі – це процес передачі знань вчителя нейронної мережі. Після проведення тестування мережі та отримання задовільних результатів, необхідно відключити вчителі та дати можливість мережі працювати самостійно. 59 Рис. 1.12. Блокова діаграма навчання з учителем Таке навчання можна назвати навчанням, що базується на корекції помилок. Дана система є системою зі зворотним зв'язком, що не включає навколишнє середовище. Ефективність роботи таких систем зазвичай оцінюють за допомогою середньоквадратичної помилки або суми квадратів помилок. Ці значення найчастіше представляють у вигляді функцій від вільних параметрів системи. Відповідно за наявності такої функції існує можливість побудови багатовимірної поверхні помилки в координатних площинах вільних параметрів системи. Поверхня помилки усереднюється за всіма можливими прикладами, поданими у вигляді пар «вхід-вихід». Будь- яку дію системи з учителем можна у вигляді конкретної точки на поверхні помилок. Ознакою підвищення продуктивності системи є усунення точки помилки на поверхні помилок у бік мінімуму. Цей мінімум може бути як локальним, так і глобальним. Досягнення цих мінімумів можливе, якщо система має інформацію про градієнт поверхні помилок при поточному стані системи. Градієнт поверхні помилок - це вектор, що визначає напрямок, при якому зміна висоти поверхні відбувається якнайшвидше. Розмір цього 60 вектора визначає швидкість зміни висоти поверхні. Під час навчання з учителем з допомогою прикладів обчислюється миттєва оцінка вектора градієнта, у якій вхідний вектор вважається функцією часу. При використанні результатів такої оцінки переміщення точки поверхнею помилок зазвичай має вигляд «випадкового блукання». Однак у разі наявності адекватних прикладів вхід-вихід, достатнього часу для навчання мережі, а також при використанні відповідного алгоритму мінімізації функції вартості система здатна успішно вирішувати завдання розпізнавання образів, апроксимації функцій і прогнозування часових рядів. 2) Навчання без вчителя [14]. Описаний вище навчання відбувається під керівництвом вчителя. Іншою парадигмою навчання є навчання без керівника, тобто мережа самостійно здійснює налаштування вагових коефіцієнтів. При такому підході відсутні приклади, за допомогою яких мережа змогла б досягти необхідних для успішного результату дій. У такій парадигмі навчання виділяють два методи: 1) Навчання з підкріпленням або нейродинамічне програмування. У навчанні з підкріпленням (reinforcement learning) формування відображення вхідних сигналів у вихідні виконується у процесі взаємодії із зовнішнім середовищем з метою мінімізації скалярного індексу продуктивності. На рисунку 1.13 представлено блокову діаграму однієї з форм системи навчання з підкріпленням, що включає блок «критики», який перетворює первинний сигнал підкріплення (primary reinforcement signal), отриманий із зовнішнього середовища, сигнал більш високої якості, званий евристичним сигналом підкріплення (heuristic reinforcement signal). Обидва ці сигнали є скалярними. 61 Рис. 1.13. Блокова діаграма навчання із підкріпленням Така система передбачає навчання з відкладеним підкріпленням (delayed reinforcement). Це означає, що система отримує із зовнішнього середовища послідовність сигналів збудження (тобто векторів стану), що призводять до генерації евристичного сигналу підкріплення. Метою навчання є мінімізація функції вартості переходу, визначеної як математичне очікування кумулятивної вартості дій, вжитих протягом кількох кроків, а не простої поточної вартості. Може виявитися, що деякі вжиті раніше в цій послідовності дії були визначальними у формуванні загальної поведінки всієї системи. Функція машини, що навчається (learning machine) і становить другий компонент системи, визначає ці дії та формує на їх основі сигнал зворотного зв'язку, що спрямовується у зовнішнє середовище. Практична реалізація навчання з відкладеним підкріпленням ускладнена з двох причин [15]: - не існує вчителя, який формує бажаний відгук на кожному кроці процесу навчання; - наявність затримки при формуванні первинного сигналу підкріплення вимагає вирішення тимчасового завдання присвоєння коефіцієнтів довіри 62 (temporal credit assignment). Це означає, що машина, що навчається, повинна бути здатна присвоювати коефіцієнти довіри і недовіри діям, виконаним на всіх кроках, що призводять до кінцевого результату, в той час як первинний сигнал підкріплення формується тільки на основі кінцевого результату. Незважаючи на ці складнощі, системи навчання із відкладеним підкріпленням є дуже привабливими. Вони становлять базис систем, що взаємодіють із зовнішнім середовищем, розвиваючи таким чином здатність самостійного вирішення завдань на основі лише власних результатів взаємодії з середовищем [14]. Навчання із підкріпленням тісно пов'язане з динамічним програмуванням (dynamic programming) — методологією, створеною Веллманом у 1957 році в контексті оптимального теорії [27]. Динамічне програмування реалізує математичний формалізм послідовного ухвалення рішень. Переміщуючи навчання з підкріпленням у предметну область динамічного програмування, можна використовувати всі результати останнього. Навчання без вчителя не передбачає втручання зовнішнього коректора в процес навчання і може називатися самоорганізацією штучної нейронної мережі (рисунок 1.14). Для мережі існує лише допустимий рівень помилки, якого вона має досягти за допомогою оптимізації своїх вільних параметрів [14]. Навчена мережа здатна виявляти статистичні закономірності вхідних даних та формувати внутрішнє подання таким чином, щоб при надходженні нових вхідних даних відбувалося автоматичне формування нових класів вільних параметрів мережі. Рис. 1.14. Блокова діаграма навчання без вчителя 63 Для такого виду навчання користуються правилом конкурентного навчання. Штучна нейронна мережа складається з двох шарів – вхідного та вихідного. На вхід мережі надходять дані із зовнішнього середовища. На виході мережі нейрони конкурують між собою можливістю виведення даних. За такої стратегії дані здатні вивести тільки той нейрон, який отримує найбільший відгук від вхідного сигналу. Таким чином, при виведенні даних бере участь лише один нейрон, а всі інші відключені. 1.9.4. Завдання навчання нейронних мереж Вибір конкретного алгоритму навчання залежить від завдань, вирішення яких слід навчити нейронну мережу [14]. У цьому контексті можна виділити шість основних завдань, для вирішення яких у тому чи іншому вигляді застосовуються нейронні мережі: - асоціативна пам'ять; - розпізнавання образів; - апроксимація функцій; - управління; - фільтрація; - формування діаграми спрямованості. Завдання створення моделі короткострокового прогнозування електроспоживання енергозбутової компанії можна порівняти із завданням управління, оскільки принцип вирішення обох однаковий, а саме необхідно побудувати таку модель штучної нейронної мережі та з такими ваговими коефіцієнтами, щоб вихідний сигнал ШНМ мінімально відрізнявся від еталонного сигналу [13, 14]. Це призводить до високої точності як у випадку управління системами так і у випадку прогнозування часових рядів. Управління підприємством є ще одним завданням навчання, яке можна вирішувати з використанням нейронної мережі. Тут під терміном 64 «підприємство» вважають процес або критичну частину системи, що підлягають управлінню. Асоціація між управлінням та навчанням є закономірним, оскільки людський мозок є комп'ютером, виходами якого є дії системи. У контексті завдань управління сам мозок є доказом можливості створення узагальненої системи управління, яка використовує переваги паралельних розподілених обчислень та водночас керує тисячами функціональних механізмів [16]. Така система є нелінійною, може обробляти шуми та оптимізувати свою роботу у ракурсі довгострокового планування. Розглянемо систему управління із зворотним зв'язком (feedback control system), яка представлена на рисунку 1.15. У цій системі є лише один зворотний зв'язок, який охоплює весь об'єкт (тобто вихід об'єкта зв'язаний з його входом). Таким чином, вихід об'єкта управління у віднімається з бажаного сигналу d, який подається із зовнішнього джерела. Внаслідок цього сигнал помилки e подається на нейроконтроллер (neurocontroller) для наступного налаштування вільних параметрів системи. Основним завданням нейроконтролера є підтримка такого вхідного сигналу для якого вихідний сигнал y максимально був наближений до бажаного значення d. Інакше висловлюючись, завдання нейроконтролера полягає у інвертуванні відображення сигналів вхід-вихід об'єкта управління. Рис. 1.15. Блокова діаграма системи управління із зворотним зв'язком На рисунку 1.15 сигнал помилки е поширюється через нейроконтролер, який досягне об'єкта управління. Отже, для налаштування вільних параметрів об'єкта управління відповідно до алгоритму навчання на основі корекції помилок необхідно знати матрицю Якобіана 65 ∂y J = k , ∂u j де уk – елемент вихідного сигналу об'єкта управління; u j – елемент вектора входів об'єкта J . Частинні похідні ∂yk ∂u j для різних k і j залежать від робочої точки об'єкта управління j є невідомими. Для їх оцінки можна використовувати два наступні підходи [14]: - непряме навчання (indirect learning). З використанням поточних вимірювань входу та виходу об'єкта управління будується модель нейронної мережі, яка відтворює цю залежність. Ця модель, у свою чергу, використовується для оцінки матриці Якобіана J. Частинні похідні, що становлять цю матрицю, згодом використовуються в алгоритмі навчання на основі корекції помилки для налаштування вільних параметрів нейроконтролера; - пряме навчання (direct learning). Знаки частинних похідних ∂yk ∂u j у загальному випадку відомі та зазвичай залишаються постійними в певному динамічному діапазоні значень об'єкта керування. Це наводить на думку, що частинні похідні можна апроксимувати за їхніми знаками. Абсолютні значення частинних похідних задаються розподіленим уявленням у вільних параметрах нейроконтролера. Таким чином, вільні параметри нейроконтролера можна налаштувати за допомогою об'єкта управління. 1.9.5. Навчальні дані для нейронної мережі Навчання нейронної мережі найчастіше передбачає наявність навчальних даних. По можливості дані повинні відповідати вимогам представництва, випадковості чи послідовності. Все залежить від типу 66 розв'язуваної задачі. У нашому випадку для прогнозування навчальні дані є тимчасовим рядом із зазначенням величин, які бажано було б отримати на виході нейронної мережі. І тут навчання можна назвати контрольованим: вихідні дані подаються вчителем на вхід нейронної мережі, а отримані вихідні дані порівнюються з еталонними [15]. Такий вид навчання можна як рішення завдання оптимізації, метою якого є мінімізація функції помилок при даному безлічі прикладів. Це досягається шляхом налаштування вагових коефіцієнтів мережі. Досягнення мінімуму функції помилки називається збіжністю процесу навчання. Можливість такої збіжності довів Розенблат [14]. Оскільки залежність помилки від вагових коефіцієнтів мережі є нелінійною, неможливо отримати функцію даної залежності і для пошуку мінімальної функції помилки доводиться вдаватися до ітераційний процес. Іншими словами, необхідно повторювати навчальний алгоритм на конкретних прикладах вхідних даних. На даний момент існує безліч навчальних алгоритмів, які відрізняються між собою способами оптимізації та критеріями оцінки помилки навчання [5]. Зазвичай як захід похибки навчання приймається середня квадратична помилка (СКП) М ∑(di − yi ) Е = і=1 , M де М – число прикладів у навчальній множині. Зменшення величини Е проводиться за допомогою пошуку градієнта поверхні помилки. Зміна ваги відбувається у напрямку зворотному до напрямку найбільшої крутизни градієнта для функції W (t +1) =W (t) + ε ∂E , ∂W 67 де ε – коефіцієнт навчання, який визначається дослідником. Способи забезпечення процесу збіжності та його прискорення [14]: 1. Вибір початкових вагових коефіцієнтів. Для прискорення процесу збіжності та підвищення його ефективності можливе застосування заздалегідь розрахованих вагових коефіцієнтів, виходячи із характеру даних та завдання навчання. Найчастіше при проектуванні штучних нейронних мереж використовується підхід до вирішення даної проблеми, при якому всім ваговим коефіцієнтам надається мінімальне та приблизно рівне значення. Але такий спосіб підготовки вагових коефіцієнтів не може забезпечити зменшення часу збіжності та досягнення глобального мінімуму функції помилки. 2. Упорядкування даних. При вирішенні завдань апроксимації функцій та розпізнавання образів необхідно перемішувати вхідні дані, що надходять у нейронну мережу випадковим чином. Це обов'язково робити у зв'язку з тим, що при розв'язанні задачі навчання, мережа може «запам'ятати» послідовність даних і приймати це як справжнє розв'язання задачі. Це неприпустимо, оскільки в такому випадку мережа навчатиметься невірно і згодом не зможе правильно працювати з тестовою вибіркою даних. Варто також зазначити, що перемішування даних у випадковому порядку неприпустимо у разі вирішення завдання прогнозування часових рядів. 3. Імпульс усунення. При зміні вагових коефіцієнтів іноді вдаються до підсумовування змін вагів на поточному етапі ітерації та на попередньому етапі. Це дозволяє враховувати дані, отримані при попередньому навчанні, що теоретично має підвищувати швидкість і ефективність процесу збіжності. У цьому випадку вираз зміни ваги синаптичного зв'язку буде мати вигляд Wij (t +1) = µ*∆Wij (t) − (1− µ)ε ∂E , ∂Wij 68 де μ – число на інтервалі (0,1), яке задається дослідником. 4. Управління величиною кроку мережі. ε – величина кроку мережі або критерій точності навчання мережі. Чим більша його величина, тим більшим буде коригування вагового коефіцієнта на наступному етапі ітерації. У разі його малої величини коригування відповідно буде менше і як наслідок збільшиться час навчання мережі. Однак у такому разі зростають шанси на потрапляння в границю мінімуму помилки. Тому цей параметр є дуже важливим у процесі навчання нейронної мережі. У сучасних У програмних комплексах існує можливість самостійного вибору користувачем величини кроку мережі. Також найчастіше застосовується лінійна чи експоненційна залежність величини кроку мережі кількості ітерацій. 5. Оптимізація архітектури мережі. Складною проблемою при проектуванні нейронних мереж є вибір початкової кількості прихованих шарів мережі та числа нейронів у них. Якщо нейронів буде недостатньо, то мережа постійно втрачатиме дані, внаслідок буде оброблятися менший обсяг інформації, який необхідний вирішення поставленого завдання. Якщо нейронів буде занадто багато, то мережа «вивчить» наявні навчальні приклади і це призведе до того, що вона не навчиться розпізнавати образи і закономірності даних і діятиме суто за вивченим шаблоном. Для вирішення цієї проблеми застосовується 2 основні підходи [5]: - деструктивний підхід - проєктується мережа наперед більшого розміру, ніж потрібно та в процесі навчання з неї видаляються зайві зв'язки та нейрони; - конструктивний підхід – до невеликої мережі залежно від результатів тестування додаються необхідні елементи. З теореми про відображення практично будь-якої функції за допомогою багатошарової нейромережі випливає, що нейронна мережа, що навчається, здатна сама підлаштуватися під будь-які дані з метою мінімізації сумарної квадратичної помилки. Щоб цього не відбувалося, під час навчання нейромереж використовують наступний спосіб перевірки мережі. Для цього 69 робиться розбивка вхідних даних на навчальну та тестову вибірки. Навчальну використовують для навчання мережі та зміни її вагових коефіцієнтів. Тестову у свою чергу використовують лише для перевірки результатів навчання. Вагові коефіцієнти мережі при цьому не змінюються. Навчання відбувається у правильному напрямку, якщо зменшення середньоквадратичного відхилення вихідних даних від бажаних відбувається як на навчальній так і на тестовій вибірці. Інакше може знижуватися помилка на навчальній вибірці, але відбувається її збільшення на тестовій. Останнє означає, що мережа «перенавчилася» і вже не може бути використана для прогнозування чи класифікації. У цьому випадку дещо змінюються ваги нейронів, щоб вивести мережу з границі локального мінімуму помилки. Провівши аналіз двох різних методів прогнозування планового погодинного електроспоживання, можна зробити висновок про те, що застосування для прогнозу штучних нейронних мереж дозволяє усунути недоліки статистичного методу та досягти високих показників у точності прогнозу, підвищити автоматизацію процесу прогнозування, скоротити час складання прогнозу та виключити суб'єктивну оцінку експерта. До проблем використання нейронних мереж при прогнозуванні електроспоживання можна віднести велику трудомісткість процесу підготовки бази даних погодних та інших зовнішніх умов, що впливають на кінцеву величину споживання електроенергії, а також складність процесу навчання нейронної мережі та її перевірки на тестовій вибірці даних. Однак, незважаючи на всі можливі труднощі при створенні нейромережі, переваги перед статистичним методом прогнозування очевидні, що робить її створення доцільним і прибутковим для компанії, що бере участь у торгівлі на ОРЕП. Також можливе поєднання роботи експерта та штучної нейромережі, оскільки не рідко складаються нестандартні ситуації, в яких для прийняття правильного рішення недостатньо статистичних даних, а необхідний досвід та практика володіє лише експерт-аналітик. 70 1.10. Висновки до розділу 1 Проведено аналіз існуючих методик прогнозування, розглянуто перспективні напрями розвитку цієї галузі наукового напрямку. Аналіз показав, що на даний момент найбільш поширеною методикою прогнозування електроспоживання на підприємствах є методика, заснована на використанні знань та досвіду експерта-аналітика, який складає прогноз на добу вперед, використовуючи дані про електроспоживання за аналогічні періоди часу. В якості альтернативи даної методики прогнозування було розглянуто перспективну методику прогнозування на основі використання штучних нейронних мереж. У роботі описана передісторія створення даного методу, наведені теоретичні відомості, що дозволяють зрозуміти принцип роботи подібних моделей, їх використання, а також перспективи розвитку даної галузі науки. Встановлено, що застосування для прогнозування електроспоживання з використанням штучних нейронних мереж, дозволяє усунути недоліки статистичного методу та досягти високих показників у точності прогнозування, підвищити автоматизацію процесу прогнозування, скоротити час складання прогнозу та виключити суб'єктивну оцінку експерта. Виявлено недоліки, що пов’язані з використанням нейронних мереж при прогнозуванні електроспоживання – це велика трудомісткість процесу підготовки бази даних погодних та інших зовнішніх умов, що впливають на кінцеву величину споживання електроенергії, а також складність процесу навчання нейронної мережі та її перевірки на тестовій вибірці даних. Встановлено, що найбільш перспективним та доцільним для енергозбутових компаній є статистичний метод прогнозування електроспоживання, що ґрунтуються на роботі штучних нейронних мереж з можливістю поєднання з роботою експерта-аналітика. 71 РОЗДІЛ 2 РОЗРОБКА МОДЕЛІ ПРОГНОЗУВАННЯ ЕЛЕКТРОСПОЖИВАННЯ НА БАЗІ ШТУЧНОЇ НЕЙРОННОЇ МЕРЕЖІ Для реалізації обраної методики прогнозування, необхідно вирішити такі основні завдання: вибір програмного продукту, на основі якого буде побудована ШНМ, вибір архітектури нейронної мережі виходячи із існуючих типів мереж необхідну для вирішення задачі прогнозування, вибір методу навчання нейронної мережі, а також адекватного поставленого завдання. Кожен із цих пунктів може мати кілька можливих варіантів рішень. Розглянемо найкращі з можливих методів побудови ШНМ та оберемо оптимальний для прогнозування електроспоживання енергозбутової компанії. 2.1. Вибір програмного середовища для реалізації моделі прогнозування із врахуванням штучної нейронної мережі Для вирішення завдань прогнозування електроспоживання в електроенергетиці широко застосовуються різні пакети прикладних програм, які засновані на статистичних та нейромережевих методах прогнозування часових рядів. Існує велика кількість програмних комплексів, що дозволяють складати прогнозні моделі на базі штучних нейронних мереж (ШНМ). Одним із таких програмних продуктів є STATISTICA [28]. STATISTICA Automated Neural Networks – програмний комплекс, розроблений компанією StatSoft для вирішення різноманітних завдань, у тому числі прогнозування часових рядів з використанням штучних нейронних мереж з різною архітектурою та алгоритмами навчання. До переваг даного програмного пакета можна віднести: – повністю україномовний інтерфейс користувача; 72 – високий рівень візуалізації інтерфейсу, а також простота та зрозумілість процесу створення, навчання та тестування ШНМ, що не вимагає від дослідника серйозних знань теорії ШНМ; – наявність функції «Автоматизована нейронна мережа» (АНМ) дозволяє обрати оптимальний варіант мережі, виходячи з конкретної поставленої задачі, уникаючи при цьому тривалого пошуку найкращої моделі шляхом «проб і помилок»; – можливість створення ансамблів нейронних мереж (з'єднання кількох ШНМ) необмеженого розміру; – можливість генерації вихідного коду мовами C, C++, C#, Java, Predictive Model Markup Language (PMML), який може бути легко інтегрований у зовнішнє середовище для створення власних програм. Проте за всіх вище перелічених перевагах, даний програмний комплекс має істотний недолік, а саме високу вартість як самого програмного забезпечення так і навчання роботі з цим комплексом. У зв'язку з цим було розглянуто наступний програмний комплекс, розроблений компанією MathWorks, а саме пакет прикладних програм MATLAB [18, 19]. До складу MATLAB входить модуль Neural Network Toolbox для створення та навчання ШНМ. До переваг даного програмного пакета можна віднести: - широкий вибір різних видів архітектур ШНМ, а також алгоритмів навчання, що дозволяє створити найбільш адекватну нейронну мережу, виходячи з поставлених практичних завдань; - можливість з'єднання різних нейронних мереж між собою, що дозволяє створювати ШНМ із врахуванням впливу кількох факторів на кінцевий вихідний параметр; - можливість генерації вихідного коду штучної нейронної мережі; - доступність програмного комплексу для широкого кола користувачів. Також для вирішення завдання побудови ШНМ було розглянуто програмний комплекс FANN (Fast Artificial Neural Network) – відкрите 73 програмне забезпечення для побудови штучних нейронних мереж. Для роботи в даному програмному середовищі можна використовувати до 20 мов програмування, включаючи C#, Java, C++, PHP. Головною перевагою комплексу є його доступність, однак для створення різних моделей ШНМ від користувача програми потрібне володіння мовами програмування на досить високому рівні, що значно ускладнює процес побудови, навчання та тестування ШНМ. Для складання моделі прогнозування на базі ШНМ було обрано програмний продукт MATLAB. Такий вибір обумовлений наявністю досвіду роботи в MATLAB та його доступністю, а також великими обчислювальними можливостями програмного комплексу. 2.2. Складання бази даних погодинного електроспоживання Необхідною умовою адекватної роботи ШНМ є наявність якомога глибшої ретроспективної бази даних про погодинне електроспоживання. Це необхідно для виявлення закономірностей зміни графіка електроспоживання як у короткостроковій так і у довгостроковій перспективі, оскільки форма графіків електроспоживання у різних місяцях значно відрізняється одна від одної. Також це пояснюється ще й тим, що особливістю електроспоживання енергозбутової компанії є значна частина населення у всьому обсязі споживання (50% і більше). Внаслідок цього зростає залежність електроспоживання від погодних умов (температури, освітленості, наявності чи відсутності опадів) та тривалості світлового дня. Мінімальною вимогою до розмірів ретроспективної бази є наявність даних про електроспоживання за останні 3 роки. Однак наявність ширшої бази даних буде лише сприяти збільшенню точності прогнозу. Також необхідно зазначити, що опис погодних умов має бути якомога детальнішим за кожну годину доби, інформація про яку міститься в базі. При складанні моделі ШНМ була доступна база даних погодинного електроспоживання з 2018 до 2021 року 74 включно. Такий обсяг даних є достатнім для навчання та подальшої адекватної роботи мережі на тестових вибірках даних. 2.3. Адаптація вхідних даних для навчання штучної нейронної мережі Особливістю роботи ШНМ, створених у середовищі MATLAB, є те, що матриця вхідних значень для навчання мережі повинна мати не менше 100 значень в одному рядку. У зв'язку з цим було проведено адаптацію навчальних даних до вимог програми. Завдання створення ШНМ для короткострокового прогнозування могла бути вирішена лише за умови розбиття годинних значень електроспоживання на півгодини, тому що при використанні годинних значень прогноз міг бути складений мінімум для чотирьох діб, що не завжди є зручним та необхідним. Тому було використано базу даних АСКОЕ, яка містила всі необхідні дані за період з 2018 по 2021 рік у форматі, необхідному для вирішення поставленого завдання. Пробні випробування ШНМ з різною архітектурою та інформацією, отриманою з посібника користувача MATLAB Neural Network Toolbox, показали, що для найбільш точної роботи нейронної мережі необхідно всі наявні дані про півгодинне електроспоживання привести до вигляду: P=[0;1], де P – значення півгодинного електроспоживання [18, 19, 25]. 2.4. Вибір алгоритму навчання та архітектури ШНМ Для навчання ШНМ було обрано два алгоритми, які найчастіше використовуються під час прогнозування часових рядів [9, 15]. Першим використовувався алгоритм Левенберга-Марквардта, який ґрунтується на досягненні найменшої середньоквадратичної помилки. Навчання мережі переривається у той час, коли перестає відбуватися її 75 зменшення. До переваг даного алгоритму навчання ШНМ можна віднести швидкість навчання та досить низьку середньоквадратичну помилку, яка становить близько 3,35E-05. Однак, при використанні цього алгоритму було виявлено, що помилка на тестовій вибірці була вищою, ніж на тренувальній. Тому даний алгоритм навчання ШНМ не був обраний для вирішення поставленого завдання. Другий алгоритм навчання ШНМ – алгоритм заснований на регуляризації Байєса. Суть цього алгоритму полягає в тому, що зміна вагів синаптичних функцій припиняється при досягненні найменшої середньоквадратичної помилки. Навчання за цим алгоритмом займає більше часу в порівнянні з алгоритмом Левенберга-Марквардта, але при цьому досягається мінімальна середньоквадратична помилка (порядку 2,02 Е-05). Також при прогнозуванні часових рядів, помилка на тестовій вибірці стає меншою ніж на навчальній. Ці факти зумовлюють вибір даного методу для подальшої побудови моделі ШНМ. На початковому етапі дослідження для прогнозування електроспоживання використовувалася мережа прямого розповсюдження даних та зворотного розповсюдження помилки (Feed-forward backprop). На рисунку 2.1 представлено схему даної мережі. За такої архітектури мережі для її навчання необхідно задати цільові значення часового ряду, які є еталоном при складанні прогнозу та вхідні дані, що підлягають обробці. Після навчання ШНМ підбирає вагові коефіцієнти таким чином, щоб середньоквадратичне відхилення вихідних значень від еталона було мінімальним [9]. До переваг такої архітектури можна віднести швидкість роботи мережі. 76 Рис. 2.1. Схема ШНМ прямого поширення даних та зворотного поширення помилки (Feed-forward backprop) Недоліками такої мережі є низька точність та неможливість використання для повторного навчання вагових коефіцієнтів, отриманих під час первинного навчання мережі. Іншими словами, мережа навчається щоразу «з нуля», що не сприяє збільшенню точності, а навпаки, призводить до різних рішень при тому самому наборі даних. На рисунку 2.2 представлено архітектуру узагальненої рекурентної мережі, побудованої на базі багатошарового персептрона. Ця модель має єдиний вхід, який застосовується до пам'яті на лініях затримки, що складається з q елементів. Вона має єдиний вихід, замкнутий на вхід через пам'ять на лініях затримки, яка також складається з q елементів. Вміст цих двох блоків пам'яті використовується для живлення вхідного шару персептрона. Вхід моделі позначається u(n), а відповідний вихід - у(п+1). Це означає, що вихід моделі попереджає її вхід на одну одиницю часу. Таким чином, вектор сигналу, що подається на вхід персептрона складається з вікна даних, що складається з наступних елементів [9]: - поточне та попереднє значення вхідного сигналу: u(n), u(n –1), …, u(n– q+1), які представляють мережі та мають зовнішнє походження; - значення вихідного сигналу y(n), y(n–1) ,…, y(n–q+1) попередні моменти часу, яких залежить вихід моделі y(n+1). 77 Таким чином, рекурентну мережу, що представлена на рисунку 2.2, можна розглядати як модель нелінійної авторегресії із зовнішніми входами (nonlinear autoregressive with exogenous inputs model - NARX). Рис. 2.2. Модель нелінійної авторегресії із зовнішніми входами (NARX) 78 Динаміка моделі NARX описується [5] y(n +1) = F (y(n),, y(n − q +1),u(n),, u(n − q +1), де F – деяка нелінійна функція своїх аргументів. Слід звернути увагу, що на рис. 2.2 передбачається, що обидві пам'яті на дискретній лінії затримки мають розмір q. Загалом ці розміри можуть відрізнятися. Загальний вигляд штучної нейронної мережі нелінійної авторегресії представлений рисунку 2.3. При такій архітектурі мережі необхідно задавати як вхідні значення функції так і цільові. Дані на вході, проходячи через мережу, обробляються відповідно до вагових коефіцієнтів, а потім знову потрапляють на вхід мережі, тим самим замінюючи собою зворотне поширення помилки. Це дає можливість застосування отриманих після первинного навчання вагових коефіцієнтів при повторному навчанні мережі, що підвищує точність її роботи. Також при такій архітектурі помилка в тестовій вибірці нижча, ніж у навчальній, що говорить про правильне навчання мережі. Рис. 2.3. Схема ШНМ нелінійної авторегресії із зовнішніми входами (NARX) 79 2.5 Порівняння результатів прогнозування за різних моделей побудови ШНМ На першому етапі дослідження для моделювання процесу електроспоживання була обрана мережа, навчена за алгоритмом Левенберга- Марквардта, що має архітектуру прямого поширення даних та зворотного поширення помилки (Feed-forward backprop). Прогноз складався на 23-25 лютого 2021 року. Дані на навчання мережі були взяті з аналогічних періодів попередніх років. Для наочності при випробуванні нової моделі ШНМ використовувався один і той же набір даних, щоб можна було порівняти показники якості прогнозування кожної з моделей. На рисунку 2.4 представлений графік отриманий з використанням алгоритму навчання Левенберга-Марквардта та мережі з прямим поширенням даних та зворотним поширенням помилки. Рис. 2.4. Фактичний та прогнозний графіки електроспоживання енергозбутової компанії на 23-25 лютого 2021 р. (Алгоритм Левенберга- Марквардта, архітектура Feed-forward backprop) 80 Як видно з графіків, прогноз на 23 лютого складено менш точно, ніж на 25 лютого. Це пов’язано з тим, що розкидання даних за аналогічний період був більше, ніж у другому, тобто у базі даних електроспоживання графіки, що використовуються для складання прогнозу на 25 лютого, значно відрізнялися один від одного. Це пояснюється різницею погодних умов на добу, що використовується для прогнозу. Однак варто відзначити, що не дивлячись на це, штучна нейронна мережа в цілому правильно розпізнала закономірності побудови графіка і результатом цього стала побудова схожого графіка, хоча і точність його побудови виявилася невисокою – 6,32% відхилень по модулю від сумарного обсягу за добу, що у кількісному вираженні становило 170 006 кВт·год. На перший погляд може здатися, що при обсязі добового електроспоживання в зимовий період, що дорівнює приблизно 2700000 кВт·год, таке відхилення є незначним, проте враховуючи те, що будь-яке відхилення прогнозного графіка від фактичного оплачується на ринку, що балансує таке відхилення не є прийнятним. В цьому випадку, компанія понесе занадто великі витрати на перепродаж електроенергії на балансуючому ринку. Розглянемо результати прогнозування на 25 лютого. Вибрана модель нейронної мережі показала досить добрі результати прогнозування. Помилка склала 2,33% загального обсягу електроспоживання (купівля 0,15%, продаж 2,18%). В абсолютному вираженні вона дорівнює 65161 кВт·год відхилень по модулю за операційну добу. Такий результат є прийнятним для успішної роботи компанії на ОРЕП. На наступному етапі дослідження було випробувано модель нейронної мережі, в якій використовувалася та ж архітектура, але інший принцип навчання – регуляризація Байєса. На рисунку 2.5 представлений отриманий з допомогою цієї мережі прогнозний графік споживання. 81 Рис. 2.5. Фактичний та прогнозний графіки електроспоживання енергозбутової компанії на 24-25 лютого 2021 р. (регуляризація Байєса, архітектура Feed-forward backprop) Графіки схожі з попередніми, однак, слід зазначити, що точність складання прогнозу в даному випадку дещо нижча, ніж у попередньому – вона складає для 25 лютого 2,36% за модулем за операційну добу. В абсолютному вираженні це 66083 кВт год. Далі розглянемо нейронну мережу з іншою архітектурою і також дослідимо на ній самі методи навчання. Штучна нейронна мережа нелінійної авторегресії із зовнішніми входами (nonlinear autoregressive with exogenous inputs model - NARX) має таку особливість: за такої архітектури, навчання відбувається у 2 етапи. У першому етапі відбувається первинне визначення вагових коефіцієнтів синаптичних функций. Це робиться до тих пір, поки помилка на тестовій вибірці даних не стане меншою ніж помилка на тренувальній вибірці. Після того, як ця умова виконана, настає другий етап навчання, на якому отримані раніше вагові коефіцієнти уточнюються шляхом повторного навчання мережі але з урахуванням цих коефіцієнтів. У результаті досягається мінімізація відхилення прогнозних значень 82 фактичних. На рисунку 2.6 представлений графік електроспоживання, отриманий за допомогою нейронної мережі з нелінійною авторегресією та навчанням Левенберга-Марквардта. Рис. 2.6. Фактичний та прогнозний графіки електроспоживання енергозбутової компанії на 24-25 лютого 2021 р. (навчання Левенберга- Марквардта, архітектура NARX) Результати прогнозування показали деяке збільшення точності але лише у прогнозі на 24 лютого. Сумарне відхилення за модулем у відсотковому співвідношенні від загального електроспоживання за добу склало 5,88% або 158156 кВт·год. Такий результат не можна визнати задовільним, проте варто зазначити, що особливості архітектури мережі та можливість уточнення вагових коефіцієнтів дозволили досягти зниження помилки. Це можна розглядати як позитивну сторону такого підходу до побудови моделі штучної нейронної мережі. Що ж до 25 лютого, то тут ми спостерігаємо збільшення помилки прогнозування. У відсотковому вираженні вона становила 2,43%, а в абсолютному - 67883 кВт⸱год. Такі результати можна пояснити тим, що завдяки можливості уточнення вагових коефіцієнтів, ШНМ краще працює з 83 набором даних, у яких існує більший розкидання, як у випадку з 24 лютого. В аналогічних періодах, які бралися як вхідні дані для прогнозування на 25 лютого, спостерігаються більш схожі графіки електроспоживання, внаслідок чого нейронна мережа «перенавчилася», надмірно скоригувавши вагові коефіцієнти синаптичних функцій. Це призвело до збільшення помилки прогнозування. Останнім варіантом побудови моделі нейронної мережі є поєднання архітектури NARX та навчання за принципом регуляризації Байєса. Така модель мала стати найперспективнішою для подальшої роботи, тому що та архітектура мережі та принцип навчання спрямовані на пошук вагових коефіцієнтів, що дозволяють із найбільшою точністю здійснювати прогнозування часових рядів. На рисунку 2.7 представлений графік, складений за допомогою цієї моделі штучної нейронної мережі. Також як і в попередніх варіантах прогноз складався на 24-25 лютого 2021 р. Рис. 2.6. Фактичний та прогнозний графіки електроспоживання енергозбутової компанії на 24-25 лютого 2021 р. (регуляризація Байєса, архітектура NARX) 84 Як видно із рисунка 2.7, принципових відмінностей із попередніми прогнозними графіками немає, проте, у разі досягнуто максимальна точність прогнозування за 26 лютого. Помилка склала 2,27% від загальної суми електроспоживання за добу або 63755 кВт·год в абсолютному вираженні. Цей результат є дуже добрим навіть у порівнянні з прогнозуванням за участю в роботі експерта-аналітика. Можна говорити про те, що такий варіант моделі штучної нейронної мережі є оптимальним, тому що подібні результати були отримані на аналогічних вибірках даних. 2.6. Висновки до розділу 2 Для складання моделі прогнозування на основі ШНМ було обрано оптимальний програмно-апаратний комплекс Matlab Neural Network Toolbox. Такий вибір обумовлений наявністю досвіду роботи в MATLAB та його доступністю, а також широкими обчислювальними можливостями програмного комплексу. Виходячи з широких можливостей та пропонованих готових рішень у даному програмному комплексі було проведено аналіз вибору архітектури ШНМ та алгоритм її навчання. На основі розробленої моделі ШНМ виконано тестування різних варіантів. На підставі отриманих результатів обрана оптимальна архітектура мережі з найбільш оптимальним алгоритмом навчання ШНМ виходячи із вимог параметрів і закономірностей. В ході тестування було встановлено, що найбільш наближений варіант прогнозу споживання в енергосистемі до фактичного досягається за рахунок застосування ШНМ виконана на підставі нелінійної авторегресії з алгоритмом навчання Байєса. Отримана модель можна використовувати для подальших досліджень. 85 РОЗДІЛ 3 ДОСЛІДЖЕННЯ МОДЕЛІ ПРОГНОЗУВАННЯ ЕЛЕКТРОСПОЖИВАННЯ НА БАЗІ ШТУЧНОЇ НЕЙРОННОЇ МЕРЕЖІ 3.1. Оцінка ефективності прогнозування розробленої моделі нейронної мережі на різних типах даних Для перевірки правильності побудови мережі необхідно провести випробування на різних типах графіків. Так як у різні пори року, графіки електроспоживання відрізняються значно, то така перевірка покаже, наскільки правильно штучна нейронна мережа розпізнає закономірності в рядах даних і здатна перелаштовуватись відповідно до зміни характеру даних. Для дослідження було взято, на противагу попередньому характерному дню зимового місяця, субота та неділя першого літнього місяця, а саме 17 – 18 червня 2021 року, оскільки характер споживання в ці дні істотно відрізняється за характером споживання в опалювальний період, або як його ще називають осінньо-зимовий період. Необхідно враховувати, що при прогнозуванні споживання потужності в енергосистемах особлива увага приділяється споживанню потужності на годину проходження максимальних навантажень, так звані пікові години. Оскільки в пікові години попит на електричну енергію найвищий, що в свою чергу накладає навантаження на енергосистему та обладнання електромережевого комплексу. 86 Рис. 3.1. Фактичний та прогнозний графіки електроспоживання енергозбутової компанії на 17 та 18 червня 2021 року виконане за алгоритмом навчання регуляризація Байєса на архітектурі NARX Як видно з графіків, вони значно відрізняються за формою та величиною пікових навантажень від графіків, отриманих у зимовий період. Це більшою мірою пов'язано з тим, що значно відрізняються години на які припадає пік навантажень. У зимові місяці це вечірні години, оскільки захід сонця відбувається досить рано, скрізь вимикається освітлення, а також у зв'язку із заходом сонця може значно знижуватися температура. У літні місяці пікові години навантаження припадають на середину дня, тому що свого піку досягає температура навколишнього повітря, внаслідок чого в приміщеннях скрізь починають включатися системи кондиціювання повітря. Подібну залежність електроспоживання від метеофакторів можна пояснити тим, що у випадку для енергозбутової компанії значну частину електроспоживання складає населення та прирівняні до цієї категорії 87 споживачі. У відсотковому співвідношенні ця частка може сягати 50% і більше. Варто також відмітити, що вибір цього місяця для складання прогнозів обумовлений наявністю доступу до даних АСКОЕ за даний період часу, а також за аналогічні періоди попередніх років. Щодо графіків, то відхилення за 29 червня 2021 р. складають у відсотковому співвідношенні до сумарного електроспоживання за добу 5,74% за модулем (4,66% перевищення фактичного графіка над плановим, - 1,08% перевищення планового графіка над фактичним). В абсолютному вираженні відхилення склали 145966 кВт·год за операційну добу. За 30 червня 2021 р. відхилення складали 2,61% у відсотковому відношенні за модулем до сумарного електроспоживання за добу (1,91% перевищення фактичного графіка над плановим, - 0,7% перевищення планового графіка над фактичним) і в абсолютному вираженні відхилення склали 56880 кВт⸱год. Такі результати можна назвати задовільними, якщо говорити про показники 30 червня. Розпізнавання форми графіків відбувається правильно, проте існує проблема прогнозу за першу добу дводенного періоду. Взагалі варто відмітити, що складання прогнозу на дві доби вперед – це вимушений захід, який необхідний внаслідок того, що програмному комплексу Matlab для складання прогнозу потрібно щонайменше 100 значень часового ряду. Якщо розглядати всі графіки, представлені у цій роботі, можна помітити, що зменшення помилки відбувається до кінця часового періоду на який складається прогноз. Це можна пояснити особливістю навчання штучної нейронної мережі. Обчислення вагів синаптичних функцій відбувається послідовно, починаючи з перших значень часового ряду. Отже, до кінця часового періоду ваги синаптичних функцій набувають оптимальних значень ніж на початку процесу навчання. Внаслідок цього до кінця часового періоду відбувається зниження помилки прогнозування. 88 Загалом, ця проблема не є критичною, оскільки складання прогнозу відбувається на добу вперед і прогноз на перший день дводенного періоду можна не враховувати, а використовувати лише прогнозовані значення другого дня. Іншими словами, перша доба прогнозного періоду використовується мережею для навчання та обчислення оптимальних вагових коефіцієнтів синаптичних функцій, а друга – для надання результатів прогнозування. 3.2. Оцінка ефективності запровадження моделі прогнозування електроспоживання на можливості обліку погодних даних Наявність великої кількості споживачів, які належать до категорії населення створюють характер сумарного електроспоживання енергозбутової компанії. Великий вплив на зміну поведінки графіка електроспоживання надають різні погодні та навіть соціально значимі чинники. До метеофакторів, що впливають на електроспоживання можна віднести температурний режим навколишнього середовища, ступінь освітленості, наявність або відсутність опадів, тривалість світлового дня, а також наявність значної зміни погодних умов протягом короткострокового періоду часу. Найсильніший вплив на електроспоживання надає температурний режим навколишнього середовище, оскільки його зміна безпосередньо тягне за собою включення або відключення електроприладів населенням. Відповідно, у літній період це кондиціонери у багатоквартирних будинках та торгових центрах. Взимку це різні опалювальні прилади. Різна ступінь освітленості також значно впливає на електроспоживання, оскільки тривалість роботи освітлювальних приладів безпосередньо залежить від тривалості світлового дня. 89 Опади також значно впливають на графік електроспоживання, оскільки від цього залежить, як багато мешканців міста залишаться вдома цього дня. Форма графіків, наприклад, у ясний та дощовий день значно відрізняється. Різниця в них може сягати 50000 - 60000 кВт⸱год за добу. До соціально значимих факторів, які також впливають на електроспоживання енергозбутової компанії, можна віднести статус дня (робочий, вихідний або святковий день), включення або вимкнення централізованого опалення у багатоквартирних будинках житлових районів міста, а також можливі комунальні аварії, які безпосередньо зачіпають населення. У зв'язку з переліченими вище факторами, доцільним було включення можливості обліку метеофакторів у моделі прогнозування. З всіх факторів були обрані найбільш важливі, які найбільше впливають на електроспоживання. Перерахуємо ці фактори: - температура повітря навколишнього середовища; - природне освітлення; - статус дня. Так, наприклад, для опису освітленості було прийнято такі позначення: 1 – ясно; 2 - 20-30% хмарність; 3 - 40-60% хмарність; 4 - 70-80% хмарність; 5 - 90-100% хмарність. Значення температури вносилися до бази даних з фактичних значень у кожному півгодинному відрізку часу. Статус дня було позначено так: 1 – понеділок; 2 – вівторок, середа, четвер; 3 – п'ятниця; 4 – субота; 5 – неділя. Поділ днів тижня у групи є необхідним, тому що кожна група днів має особливу форму графіка електроспоживання, а не врахування цього фактора при прогнозуванні може призвести до помилкового прогнозу, а у разі використання ШНМ – неправильного її навчання 90 3.3. Оцінка ефективності прогнозування розробленої моделі нейронної мережі з можливістю обліку метеофакторів Для введення можливості обліку метеофакторів у модель прогнозування електроспоживання необхідно використати змінену архітектуру штучної нейронної мережі нелінійної авторегресії. Дана архітектура дозволяє проводити паралельні обчислення одночасно кількох параметрів, чого і вимагає завдання. На рисунку 3.2 представлено загальний вигляд нейронної мережі нелінійної авторегресії з можливістю паралельних обчислень. Рис. 3.2. Штучна нейронна мережа нелінійної авторегресії (NARX) із можливістю паралельних обчислень Результатом прогнозування за допомогою моделі прогнозування електроспоживання є графік на 29-30 червня 2021 року. У відсотковому співвідношенні до сумарного електроспоживання за добу помилка на 29 червня становила 5,39% (4,48% перевищення факту над планом, 0,91% перевищення плану над фактом). В абсолютному вираженні помилка прогнозування склала 136966 кВт·год. Для 30 червня за тими ж параметрами помилка становила 2,09% сумарно за добу (1,47% перевищення факту над планом, 0,62% перевищення плану над фактом). Абсолютне відхилення прогнозного графіка 91 електроспоживання від фактичного сумарно за операційну добу становило 45562 кВт·год. Отримані дані свідчать, що введення можливості обліку метеофакторів у модель прогнозування електроспоживання підвищує ефективність роботи штучної нейронної мережі. Щодо самих результатів кваліфікаційної роботи, то загалом їх можна охарактеризувати як позитивні. Особливо слід відмітити, прогнозний графік на 30 червня 2021 р., який має відхилення від фактичного на величину, що відповідає вимогам ефективної роботи енергозбутової компанії на оптовому ринку електроенергії. Цей критерій, встановлений керівництвом компанії та складає 5%. Також необхідно відмітити, що такі показники точності прогнозування дозволяють моделі конкурувати з показниками точності, отриманими в ході прогнозів експертами-аналітиками. Апріорі вважається, що даний метод є найбільш точним та ефективним при складанні подібних прогнозів. Порівняно з показниками точності, отриманими під час використання інших програмних комплексів, помилка прогнозування в 2,09% – це чудовий результат, враховуючи, що у більшості автоматизовані програмні комплекси дають помилку у 5 - 6%. 3.4 Висновки до розділу 3 У цьому розділі магістерської роботи досліджено впровадження моделі прогнозування з урахуванням штучної нейронної мережі з можливістю обліку метеофакторів, що впливають на електроспоживання енергозбутової компанії. Проведений порівняльний аналіз результатів прогнозування з використанням моделей з врахуванням та без врахування впливу факторів свідчить про те, що підхід щодо обрання архітектури, алгоритму навчання та обліку метеофакторів, задовольняють необхідним вимогам, які були задані на початковому етапі розробки статистично-динамічної моделі прогнозування 92 на базі ШНМ. Таким чином, можна зробити висновок про те, що штучна нейронна мережа побудована правильно, а розроблена модель прогнозування є ефективною та конкурентною і здатна підвищити ефективність роботи енергозбутової компанії на оптовому ринку електроенергії. 93 ВИСНОВКИ 1. Проведено аналіз існуючих методик прогнозування та розглянуто перспективні напрями розвитку цієї галузі наукового напрямку. Аналіз показав, що на даний час найбільш поширеною методикою прогнозування електроспоживання на підприємствах є методика, заснована на використанні знань та досвіду експерта-аналітика, який складає прогноз на добу вперед, використовуючи дані про електроспоживання за аналогічні періоди часу. В якості альтернативи даної методики прогнозування було розглянуто перспективну методику прогнозування на основі використання штучних нейронних мереж. У роботі описана передісторія створення даного методу, наведені теоретичні відомості, що дозволяють зрозуміти принцип роботи подібних моделей, їх використання, а також перспективи розвитку даної галузі науки. 2. Вирішено завдання реалізації штучної нейронної мережі на програмному рівні. Для складання моделі прогнозування на основі ШНМ було обрано оптимальний програмно-апаратний комплекс MATLAB Neural Network Toolbox. Такий вибір обумовлений наявністю досвіду роботи в MATLAB та його доступністю, а також широкими обчислювальними можливостями програмного комплексу. Виходячи з широких можливостей та пропонованих готових рішень у даному програмному комплексі було проведено аналіз вибору архітектури ШНМ та алгоритм її навчання. На основі розробленої моделі ШНМ виконано тестування різних варіантів. На підставі отриманих результатів обрана оптимальна архітектура мережі з найбільш оптимальним алгоритмом навчання ШНМ виходячи із вимог параметрів і закономірностей. В ході тестування було встановлено, що найбільш наближений варіант прогнозу споживання в енергосистемі до фактичного досягається за рахунок застосування ШНМ виконана на підставі нелінійної авторегресії з алгоритмом навчання Байєса. 94 3. Досліджено впровадження моделі прогнозування з урахуванням штучної нейронної мережі з можливістю обліку метеофакторів, що впливають на електроспоживання енергозбутової компанії. Проведений порівняльний аналіз результатів прогнозування з використанням моделей з врахуванням та без врахування впливу факторів свідчить про те, що підхід щодо обрання архітектури, алгоритму навчання та обліку метеофакторів, задовольняють необхідним вимогам, які були задані на початковому етапі розробки статистично-динамічної моделі прогнозування на базі ШНМ. Це дозволяє зробити висновок про те, що штучна нейронна мережа побудована правильно, а розроблена модель прогнозування є ефективною та конкурентною та здатна підвищити ефективність роботи енергозбутової компанії на оптовому ринку електроенергії. 95 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 1. Воронкова А. Е. Підтримка конкурентоспроможного потенціалу підприємства / Воронкова А. Е., Пономарьов В. П., Дібніс Г. І. — К.: Техніка, 2000. — 152 с. 2. ДСТУ EN 50160:2014 (ЕN 50160:2010, IDТ) Національний стандарт України. Характеристики напруги електропостачання в електричних мережах загальної призначеності http://online.budstandart.com/ua/catalog/doc-page?id_doc=51529 3. Закон України «Про енергетичну ефективність» https://zakon.rada.gov.ua/laws/show/1818-20#Text 4. Закон України «Про ринок електричної енергії» від 13.04.2017 № 2019- VIII https://ips.ligazakon.net/document/T172019?an=1 5. Зігунов, О. М. Нейромережеві моделі виявлення і розпізнавання технологічних ситуацій [Текст] / О. М. Зігунов, В. Д. Кишенько, Ю. Б. Бєляєв // Науково-технічна інформація. – 2013. – № 1(55). – С. 72–78. 6. Коваль, А.В. Ідентифікація та моделювання технологічних об’єктів: навч. посібник / А.В. Коваль. − Житомир : ЖДТУ, 2018. − 133 с. 7. Корчемний М.О., Лисенко В.П., Чапний М.В. Нейронні мережі. – К.: НАУ, 2008. – 156 с. 8. Лисенко В.П., Решетюк В.М., Штепа В.М., Заєць Н.А. та ін. Системи штучного інтелекту: нечітка логіка, нейронні мережі, нечіткі нейронні мережі, генетичний алгоритм. – К: НУБІП України, 2014. – 336с. http://irbisnbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe 9. Литвин В.І. Вибір алгоритму навчання нейронної мережі при побудові моделей прогнозування електроспоживання/ В.І. Литвин, С.Ю. Протасов / Збірник тез доповідей студентської науково-практичної конференції ЧДТУ: 18–20 квіт. 2023 р. [Електронний ресурс] / [упоряд.: Єгорова О. В., Захарова О. В., Кисельов В. Б. та ін.] ; М-во освіти і 96 науки України, Черкас. держ. технол. ун-т. – Черкаси : ЧДТУ, 2023.– С. 208. 10. Олійник, А. О. Інтелектуальний аналіз даних : навч. посіб. / А. О. Олійник, С. О. Субботін, О. О. Олійник. – Запоріжжя : ЗНТУ, 2011. – 271 с. 11. Постанова НКРЕКП № 312від 14.03.18 року «Про затвердження Правил роздрібного ринку електричної енергії» https://zakon.rada.gov.ua/rada/show/va047227-97#Text 12. Правила улаштування електроустановок. ПУЕ 5-тє вид., перероб. та доповнене. – Х.: , 2017. – 736 с. 13. Руденко, О. Г. Штучні нейронні мережі / О. Г. Руденко, Є. В. Бодянський. – Харків : Компанія СМІТ, 2006. – 404 с. 14. Субботін, С. О. Неітеративні, еволюційні та мультиагентні методи синтезу нечіткологічних і нейромережних моделей : монографія / С. О. Субботін, А. О. Олійник, О. О. Олійник ; під заг. ред. С. О. Субботіна. – Запоріжжя : ЗНТУ, 2009. – 375 с. 15. Субботін, С. О. Нейронні мережі: теорія та практика: навч. посіб. / С. О. Субботін. – Житомир : Вид. О. О. Євенок, 2020. – 184 с. ISBN 978- 966-995-189-2. 16. Субботін, С. О. Нейронні мережі: навчальний посібник / С. О. Субботін, А. О. Олійник ; під заг. ред. проф. С. О. Субботіна. – Запоріжжя : ЗНТУ, 2014. – 132 с. 17. Bengio, Y. Deep Learning / Y. Bengio, Y. LeCun, G. Hinton // Nature. – 2015. – Vol. 521. – P. 436–444. 18. Demuth Н. Neural Network Toolbox for use with MATLAB: user's guide / Н. Demuth, M. Beale. – Natick: Mathworks Inc, 1997. – 700 p. 19. Demuth, Н. Neural Network Toolbox for use with Matlab: user’s guide / Н. Demuth, M. Beale. – Natick: Mathworks Inc, 2020. – 826 p. 97 20. Generative Adversarial Networks [Electronic resource] / [I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, Sh. Ozair, A. Courville, Aaron, J. Bengio]. – Access mode: https://arxiv.org/pdf/1406.2661.pdf. 21. George A. Steiner. Menedgment Policy and Strategy / George A. Steiner, John B.Miner. --New York: Macmillan, 1977. -- Р. 41—42. 22. George A. Steiner. Strategic Factors in Business Success / George A. Steiner. -- New York: New York Financial Executives Research Foundation, 1969. — 20 р. 23. Gers, F. Learning precise timing with LSTM recurrent networks / F. Gers, N. Schraudolph, J. Schmidhuber // Journal of Machine Learning Research. – 2002. – Vol. 3. – P. 115—143. 24. Hochreiter, S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural Computation. – 1997. – Vol. 9, No. 8. – P. 1735-1780. 25. Mathworks http://www.mathworks.com/products/neural-network.html 26. Poznyak A.S., Sanchez E.N. Dynamic neural networks for nonlinear control: Identification state estimation and trajectory tracking // World Scientifiс. 2001. London. – P.102-120. 27. Schmidhuber, J. Deep Learning in Neural Networks: An Overview // Neural Networks. – 2015. – Vol. 61. – P. 85–117. 28. StatSoft.http://www.statsoft.ru/products/STATISTICA_Neural_Networks.ht ml