Please use this identifier to cite or link to this item:
https://er.chdtu.edu.ua/handle/ChSTU/10260| Title: | Інформаційна система моніторингу, логування та аналізу серверного трафіку |
| Authors: | БОНДАР, Віталій МЕЛЬНИК, Андрій |
| Keywords: | СУЧАСНІ ТЕХНОЛОГІЇ;МОНІТОРИНГ ТА ЛОГУВАННЯ СЕРВЕРНОГО ТРАФІКУ;МОВА ПРОГРАМУВАННЯ GOLANG;ELASTICSEARCH;AWS AURORA;ХМАРНЕ СЕРЕДОВИЩЕ AWS;SDK ДЛЯ ІНТЕГРАЦІЇ СЕРВІСІВ;REST API;ЗАСОБИ АНАЛІЗУ СЕРВЕРНИХ ЛОГІВ |
| Issue Date: | 2026 |
| Abstract: | Метою виконання даної кваліфікаційної роботи на здобуття освітнього ступеня «бакалавр» є розробка інформаційної системи моніторингу, логування та аналізу серверного трафіку для централізованого збору, збереження та аналізу серверних логів у режимі реального часу. Загальний обсяг роботи становить 104 сторінки. У роботі 10 рисунків. Для виконання роботи використано 25 літературних джерел. Головним завданням роботи є створення масштабованої серверної системи з підтримкою інтеграції через API та SDK, використанням ElasticSearch для швидкого пошуку логів та автоматичним масштабуванням інфраструктури у хмарному середовищі AWS. |
| URI: | https://er.chdtu.edu.ua/handle/ChSTU/10260 |
| Appears in Collections: | 123 Комп’ютерна інженерія (Комп'ютерні системи та мережі) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| 1_ТИТУЛКА_Мельник_Друк-merged.pdf Restricted Access | 3 MB | Adobe PDF | View/Open Request a copy |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.
Extracted text
МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ
ЧЕРКАСЬКИЙ ДЕРЖАВНИЙ ТЕХНОЛОГІЧНИЙ УНІВЕРСИТЕТ
ФАКУЛЬТЕТ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ І СИСТЕМ
КАФЕДРА ІНФОРМАЦІЙНОЇ БЕЗПЕКИ ТА КОМП’ЮТЕРНОЇ ІНЖЕНЕРІЇ
ПОЯСНЮВАЛЬНА ЗАПИСКА
до кваліфікаційної роботи бакалавра
на тему: «Інформаційна система моніторингу,
логування та аналізу серверного трафіку»
ЧДТУ.262305.001 ПЗ
Виконав: студент 4 курсу, групи ЗКМН-2205
спеціальності 123 – «Комп’ютерна інженерія»
за освітньою програмою – «Комп’ютерні системи
та мережі»
МЕЛЬНИК Андрій Віталійович
Керівник
асистент
Віталій БОНДАР
Рецензент
доцент кафедри інформаційних систем та
організації заходів цивільного захисту навчально-
наукового інституту цивільного захисту НУЦЗ
України
к.т.н., доцент
Віталій ЗАЖОМА
«ЗАХИСТ ДОЗВОЛЯЮ»
Завідувач кафедри ІБ та КІ
к.т.н., доцент _________ Артем ЛАВДАНСЬКИЙ
Черкаси 2026 року
Форма № Н-9.01
ЧЕРКАСЬКИЙ ДЕРЖАВНИЙ ТЕХНОЛОГІЧНИЙ УНІВЕРСИТЕТ
Факультет: інформаційних технологій і систем
Кафедра: інформаційної безпеки та комп’ютерної інженерії
Освітньо-кваліфікаційний рівень: Бакалавр
Спеціальність 123 – Комп’ютерна інженерія
Освітня програма Комп’ютерні системи та мережі
«ЗАТВЕРДЖУЮ»
Завідувач кафедри ІБ та КІ
к.т.н., доцент ____________ Артем ЛАВДАНСЬКИЙ
«16» березня 2026 року
ЗАВДАННЯ
на кваліфікаційну роботу бакалавра студенту
Мельнику Андрію Віталійовичу
(прізвище, ім‘я, по батькові)
1. Тема роботи: Інформаційна системи моніторингу, логування та аналізу серверного
трафіку
Керівник роботи: асистент Бондар Віталій Володимирович
(прізвище, ім’я, по батькові, науковий ступінь, вчене звання)
затверджені наказом університету від «12» березня 2026 р. № 56/03-03
2. Строк подання студентом роботи:
3. Вихідні дані до роботи:
Сучасні технології моніторингу та логування серверного трафіку,
мова програмування GoLang, ElasticSearch, AWS Aurora, хмарне середовище AWS,
SDK для інтеграції сервісів REST API та засоби аналізу серверних логів.
4. Зміст розрахунково-пояснювальної записки (перелік питань, що їх належить розробити):
Вступ
1. Аналіз предметної області та постановка задачі
2. Вибір технологій та інструментальних засобів
3. Розробка інформаційної системи моніторингу, логування та аналізу серверного трафіку
4. Захист інформаційної системи моніторингу, логування та аналізу серверного трафіку
Висновки
Додатки
Список використаних джерел
5. Перелік графічного матеріалу (з точним зазначенням обов’язкових креслень, плакатів):
Додаток А Специфікація
Додаток Б Текст програм
Додаток В Інструкція користувача
6. Консультанти розділів роботи:
Розділ Прізвище, ініціали Підпис, дата
консультанта завдання видав завдання прийняв
7. Дата видачі завдання: 16 березня 2026 року
КАЛЕНДАРНИЙ ПЛАН
Термін
№ з/п Назва етапів роботи виконання Примітка
етапів роботи
1 Збір матеріалу 01.03 – 14.03 виконано
2 Обробка матеріалу 15.03 – 20.03 виконано
3 Обґрунтування актуальності виконання досліджень 21.03 - 25.03 виконано
4 Оцінка стану проблеми, виокремлення дослідницьких виконано
задач, постановка задачі дослідження 26.03 – 01.04
5 Викладення сутності і результатів дослідження 03.04 - 08.04 виконано
6 Формування висновків до роботи 09.04 - 27.04 виконано
7 Практичне застосування результатів дослідження 28.04 - 02.05 виконано
8 Оформлення результатів в пояснювальну записку 15.05 - 20.05 виконано
9 Оформлення додатків згідно вимог 29.05 - 14.05 виконано
10 Подання роботи на відгук та рецензування 15.05 - 20.05 виконано
Студент ___________________________ Андрій МЕЛЬНИК
(підпис)
Керівник роботи ___________________________ Віталій БОНДАР
(підпис)
АНОТАЦІЯ
Метою виконання даної кваліфікаційної роботи на здобуття освітнього
ступеня «бакалавр» є розробка інформаційної системи моніторингу, логування
та аналізу серверного трафіку для централізованого збору, збереження та
аналізу серверних логів у режимі реального часу.
Загальний обсяг роботи становить 104 сторінки. У роботі 10 рисунків.
Для виконання роботи використано 25 літературних джерел.
Головним завданням роботи є створення масштабованої серверної
системи з підтримкою інтеграції через API та SDK, використанням
ElasticSearch для швидкого пошуку логів та автоматичним масштабуванням
інфраструктури у хмарному середовищі AWS.
Ключові слова: СУЧАСНІ ТЕХНОЛОГІЇ, МОНІТОРИНГ ТА
ЛОГУВАННЯ СЕРВЕРНОГО ТРАФІКУ, МОВА ПРОГРАМУВАННЯ
GOLANG, ELASTICSEARCH, AWS AURORA, ХМАРНЕ СЕРЕДОВИЩЕ
AWS, SDK ДЛЯ ІНТЕГРАЦІЇ СЕРВІСІВ, REST API, ЗАСОБИ АНАЛІЗУ
СЕРВЕРНИХ ЛОГІВ.
ANOTATION
The purpose of this qualification work for the degree of Bachelor is to develop
an information system for monitoring, logging and analyzing server traffic for
centralized collection, storage and analysis of server logs in real time.
The total volume of the work is 104 pages. The work contains 10 figures. 25
literary sources were used to perform the work.
The main task of the work is to create a scalable server system with support
for integration via API and SDK, using ElasticSearch for quick log search and
automatic scaling of the infrastructure in the AWS cloud environment.
Key words: MODERN TECHNOLOGIES, MONITORING AND
LOGGING, SERVER TRAFFIC, GOLANG PROGRAMMING LANGUAGE,
ELASTICSEARCH, AWS AURORA, AWS CLOUD ENVIRONMENT, SDK
FOR SERVICE INTEGRATION, REST API , SERVER LOG ANALYSIS
TOOLS.
ЗМІСТ
ВСТУП……………………………………………………………………………..4
1 АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ ТА ПОСТАНОВКА ЗАДАЧІ…….…..7
1.1 Аналіз існуючих платформ………………………...………….…….....7
1.2 Постановка задачі………...………………………………………...…20
1.3 Висновки до розділу…… ………………………………….…………24
2 ВИБІР ТЕХНОЛОГІЙ ТА ІНСТРУМЕНТАЛЬНИХ ЗАСОБІВ………......26
2.1 Огляд існуючих технологій……………………………….………….26
2.2 Обґрунтування вибору…..………………………………………...….32
2.3 Висновки до розділу ……………………………………….…………40
3 РОЗРОБКА ІНФОРМАЦІЙНОЇ СИСТЕМИ МОНІТОРИНГУ,
ЛОГУВАННЯ ТА АНАЛІЗУ СЕРВЕРНОГО ТРАФІКУ…...........……….41
3.1 Структура системи……………...…………………...………..…........41
3.2 Опис функцій системи...……………………………………………...47
3.3 Технічні вимоги для роботи з системою……………………….........53
3.4 Оцінка ефективності………………………………………………….58
3.5 Висновки до розділу………………………………………………….63
4 ЗАХИСТ ІНФОРМАЦІЙНОЇ СИСТЕМИ МОНІТОРИНГУ, ЛОГУВАННЯ
ТА АНАЛІЗУ СЕРВЕРНОГО ТРАФІКУ …………………...…..…………65
4.1 Огляд існуючих рішень …………………..………….………………65
4.2 Реалізація захисту даних користувачів……………………….….….72
4.3 Висновки до розділу…………..…………………………….…….….77
ВИСНОВКИ……………………………………………………………………..78
ЧДТУ.262305.001 ПЗ
Змн. Арк. № докум. Підпис Дата
РозрКобив Мельник А.В. Інформаційна система Літ. Лист Листів
Керівник Бондар В.В. моніторингу, логування та 2 104
Рецеанзент Зажома В.М. аналізу серверного трафіку Кафедра ІБ та КІ
Н.Контроль Гресько С.О.
ф Пояснювальна записка гр. ЗКМН-2205
Затвердив Лавданський А.О.
е
д
р
а
К
К
-
0
6
ДОДАТКИ:
А – 482.ЧДТУ.62305-01 Інформаційна системи моніторингу, логування
та аналізу серверного трафіку
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ……………………………...……….103
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 3
ВСТУП
Актуальність теми розвиток хмарних технологій, мікросервісної
архітектури призвів до суттєвого ускладнення сучасної серверної
інфраструктури. Більшість веб-застосунків та API-сервісів функціонують у
середовищі, де десятки окремих сервісів постійно взаємодіють між собою та
генерують велику кількість технічних подій. У таких умовах забезпечення
стабільної роботи систем без використання централізованого моніторингу та
логування стає складним завданням
Однією з основних проблем сучасних серверних платформ є швидке
виявлення помилок та аналіз причин збоїв. Логи можуть формуватись
одночасно на різних серверах, контейнерах або мікросервісах, через що процес
пошуку проблем значно ускладнюється. Відсутність єдиної системи збору та
аналізу логів збільшує час реагування на критичні ситуації та ускладнює
підтримку серверної інфраструктури. Актуальність теми також обумовлена
постійним зростанням навантаження на серверні системи. Сучасні застосунки
можуть генерувати тисячі або мільйони логів за короткий проміжок часу, що
потребує використання високопродуктивних платформ для їх обробки,
індексації та пошуку у режимі реального часу. ажливим аспектом є і
забезпечення інформаційної безпеки. Аналіз серверних подій дозволяє
виявляти підозрілу активність, несанкціоновані запити та аномальне
навантаження на сервіси. Таким чином системи логування виконують не лише
функцію технічного моніторингу, а й виступають інструментом контролю
безпеки серверного середовища.
У зв’язку з цим розробка інформаційної системи моніторингу, логування
та аналізу серверного трафіку є актуальним завданням, спрямованим на
створення масштабованої платформи для централізованого збору, збереження
та аналізу серверних логів. Використання сучасних технологій, зокрема
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 4
GoLang, ElasticSearch та AWS, дозволяє реалізувати високопродуктивну
систему, здатну ефективно працювати в умовах великого навантаження та
сучасної хмарної інфраструктури.
Метою кваліфікаційної роботи є розробка інформаційної системи
моніторингу, логування та аналізу серверного трафіку, яка забезпечує
централізований збір, збереження та аналіз логів із різних сервісів і серверних
застосунків. Система повинна підтримувати інтеграцію через API та SDK,
використовувати ElasticSearch для швидкого пошуку даних і забезпечувати
автоматичне масштабування інфраструктури в середовищі AWS.
Для досягнення сформульованої мети необхідно вирішити такі задачі:
– проаналізувати сучасні підходи та технології моніторингу і логування
серверного трафіку;
– спроєктувати архітектуру інформаційної системи моніторингу та
аналізу логів;
– реалізувати серверну частину системи на основі мови програмування
GoLang;
– реалізувати механізм інтеграції із зовнішніми сервісами через API та
SDK;
– забезпечити централізоване збереження та швидкий пошук логів за
допомогою ElasticSearch;
– реалізувати механізми авторизації та захисту користувачів;
– забезпечити підтримку автоматичного масштабування системи у
хмарному середовищі AWS;
– провести аналіз ефективності та функціональних можливостей
розробленої системи.
Книга “Designing Data-Intensive Applications” автора Martin Kleppmann
є однією з найвідоміших технічних книг у сфері побудови
високонавантажених розподілених систем та обробки великих потоків даних.
У книзі детально розглядаються принципи роботи сучасних серверних
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 5
платформ, механізми масштабування, обробка потокових даних, реплікація,
індексація та збереження інформації. Окрема увага приділяється системам
логування, пошуку та аналізу даних, використанню NoSQL-рішень, побудові
fault-tolerant архітектури та забезпеченню стабільної роботи сервісів у
хмарному середовищі. Книга також містить практичні підходи до
проєктування масштабованих backend-систем, що є важливим для розробки
систем моніторингу та аналізу серверного трафіку.
Одержані в кваліфікаційній роботі результати мають практичне
значення та полягають у розробці інформаційної системи моніторингу,
логування та аналізу серверного трафіку, яка забезпечує централізований збір
та обробку логів із різних серверних сервісів і застосунків. Розроблена система
дозволяє інтегрувати зовнішні сервіси через API та SDK, виконувати швидкий
пошук і аналіз логів за допомогою ElasticSearch, а також забезпечує
автоматичне масштабування серверної інфраструктури в хмарному
середовищі AWS. Практична цінність роботи полягає у можливості
використання системи для моніторингу сучасної серверної інфраструктури,
виявлення помилок, аналізу навантаження та підвищення стабільності роботи
програмних сервісів.
Кваліфікаційна робота складається з 4-х розділів, в яких подається
інформація про:
– обрану предметну область дослідження та про постановку проблеми;
– огляд існуючих технологій за допомогою яких можна реалізувати
подібну систему та обґрунтування вибору тієї чи іншої технології;
– реалізацію системи: відображення структури , опис функцій кожної
частини, технічні вимоги, а також практична оцінка ефективності
роботи;
– розробку захисту інформації для системи.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 6
1 АНАЛІЗ ПРЕДМЕТНОЇ ОБЛАСТІ ТА ПОСТАНОВКА ЗАДАЧІ
1.1 Аналіз існуючих платформ
Логи є службовими повідомленнями, які створюються програмними
системами під час виконання певних дій. Вони містять інформацію про роботу
застосунку, обробку мережевих запитів, виникнення помилок, взаємодію між
сервісами та інші технічні події, що відбуваються у серверному середовищі.
У сучасних програмних системах логування використовується як один із
головних механізмів контролю роботи інфраструктури та аналізу стану
серверних компонентів.
Кожен лог зазвичай містить дату і час події, тип повідомлення, джерело
виникнення та додаткову службову інформацію. Залежно від призначення
повідомлення можуть мати різний рівень важливості, наприклад інформаційні
повідомлення, попередження, повідомлення про помилки або технічні дані
для налагодження системи.
У готових серверних системах логування використовується не лише для
збереження інформації про помилки. Сучасні серверні застосунки часто
складаються з великої кількості окремих сервісів, контейнерів та програмних
модулів, які постійно взаємодіють між собою через мережу. У випадку
виникнення збою саме логи дозволяють відновити послідовність подій та
визначити причину проблеми.
Особливого значення логування набуває у розподілених серверних
системах, де одночасно можуть оброблятися тисячі або мільйони запитів. Без
централізованого збору логів аналіз роботи такої інфраструктури стає
складним, оскільки технічна інформація знаходиться на різних серверах та
сервісах.
Логи також використовуються для контролю продуктивності серверної
системи. На основі журналів подій можна аналізувати швидкість обробки
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 7
запитів, навантаження на сервери, кількість помилок та стабільність роботи
окремих компонентів. Це дозволяє своєчасно виявляти проблемні ділянки
інфраструктури та покращувати роботу застосунків. У серверному середовищі
важливим є не лише збереження логів, а й можливість швидкого пошуку
необхідної інформації [1]. Через великі обсяги даних звичайне текстове
зберігання повідомлень стає неефективним. Саме тому сучасні системи
логування використовують спеціалізовані засоби індексації та пошуку даних.
Окрему роль логи виконують у забезпеченні безпеки серверної
інфраструктури. Аналіз журналів подій дозволяє виявляти підозрілу
активність, спроби несанкціонованого доступу, перевищення кількості запитів
або нестандартну поведінку користувачів. У багатьох випадках серверні логи
є основним джерелом інформації під час аналізу інцидентів безпеки.
Логування також використовується для контролю дій користувачів та
адміністраторів системи. Фіксація змін конфігурацій, входів у систему або
адміністративних операцій дозволяє контролювати роботу сервісу та
забезпечує додатковий рівень захисту інфраструктури.
У сучасних серверних системах логування інтегрується із засобами
моніторингу, аналізу та автоматичного масштабування інфраструктури. Це
дозволяє не лише зберігати технічну інформацію, а й використовувати її для
автоматичного реагування на проблеми та оцінки стану серверного
середовища.
Логи є важливою складовою сучасних серверних систем та виконують
функції моніторингу, аналізу продуктивності, діагностики помилок і
забезпечення безпеки. Без ефективної системи логування підтримка та
адміністрування серверної інфраструктури значно ускладнюється, особливо в
умовах великого навантаження та використання розподіленої архітектури
сервісів.
У сучасних серверних системах логування використовується для
фіксації великої кількості технічних подій, що виникають під час роботи
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 8
програмного забезпечення. Залежно від призначення, джерела виникнення та
типу інформації логи поділяються на декілька основних видів. Кожен тип
логів виконує окрему функцію та використовується для контролю роботи
серверної інфраструктури, аналізу помилок, моніторингу продуктивності або
забезпечення безпеки системи. Схема процесу генерації логів у серверній
системі зображено на рисунку 1.1.
Рисунок 1.1 – Схема процесу генерації логів у серверній системі
Інформаційні логи містять повідомлення про звичайну роботу
застосунку та фіксують основні події, які відбуваються під час виконання
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 9
програмного забезпечення. До таких подій можуть належати запуск сервісу,
успішне виконання запиту, підключення до бази даних або завершення певної
операції. Інформаційні повідомлення використовуються для загального
контролю роботи системи та дозволяють відстежувати послідовність
виконання дій у серверному середовищі [2].
Логи попереджень використовуються для фіксації потенційних
проблем, які ще не призвели до критичного збою, але можуть негативно
вплинути на стабільність роботи системи. Наприклад, це може бути
перевищення допустимого часу відповіді сервісу, нестача оперативної пам’яті,
наближення до ліміту кількості запитів або тимчасова недоступність
зовнішнього сервісу. Такі повідомлення дозволяють своєчасно виявляти
нестабільну поведінку системи та реагувати на проблеми до появи критичних
помилок. Логи помилок створюються у випадку виникнення помилок під час
виконання програмного коду або обробки мережевих запитів. Такі
повідомлення можуть містити текст помилки, службову інформацію про
причину збою, параметри запиту та послідовність викликів функцій. Логи
помилок використовуються для діагностики проблем та аналізу причин
нестабільної роботи сервісів.
Критичні логи формуються у випадках, коли помилка призводить до
аварійного завершення роботи сервісу або робить систему частково
недоступною. До таких подій можуть належати помилки підключення до бази
даних, недоступність серверного середовища або аварійне завершення
контейнера. Критичні повідомлення мають найвищий рівень важливості та
потребують негайного реагування. Логи налагодження містять технічну
інформацію про внутрішню роботу застосунку та використовуються
переважно під час розробки програмного забезпечення. Такі повідомлення
можуть містити значення змінних, результати виконання функцій або
детальну інформацію про обробку запитів. У робочому серверному
середовищі рівень налагоджувальних логів зазвичай обмежується через великі
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 10
обсяги технічних даних. Журнали мережевих запитів використовуються для
фіксації інформації про вхідні та вихідні HTTP-запити, взаємодію між
сервісами та роботу програмних інтерфейсів. Такі логи можуть містити адресу
запиту, метод, код відповіді, час виконання та IP-адресу клієнта. Журнали
мережевих запитів є важливими для аналізу навантаження на серверну
інфраструктуру та контролю роботи веб-сервісів [3].
Журнали безпеки призначені для фіксації подій, пов’язаних із доступом
до системи та діями користувачів. До таких подій належать авторизація,
невдалі спроби входу, зміна конфігурацій, створення ключів доступу або
перевищення дозволеної кількості запитів. Журнали безпеки
використовуються для аналізу інцидентів та виявлення потенційно
небезпечної активності.
Системні логи створюються операційною системою або серверним
середовищем та містять інформацію про роботу серверного обладнання,
процесів, файлової системи та мережевих компонентів. Такі повідомлення
використовуються для контролю технічного стану серверів та аналізу проблем
інфраструктури. У контейнеризованих середовищах використовуються
журнали контейнерів, які фіксують запуск, завершення роботи та внутрішню
активність контейнерів. Такі логи є важливими для моніторингу
мікросервісної архітектури та контролю роботи окремих сервісів. Журнали
аудиту використовуються для фіксації дій користувачів та адміністраторів
системи. Основним призначенням таких логів є контроль змін конфігурацій,
керування доступом та перевірка історії адміністративних операцій. У
сучасних високонавантажених системах активно використовуються
структуровані логи [4]. На відміну від звичайних текстових повідомлень,
структуровані логи зберігаються у форматі впорядкованих даних, що дозволяє
автоматизувати індексацію, пошук та аналіз інформації
Залежно від архітектури серверного середовища можуть використовуватись
локальні або централізовані логи. Локальні журнали зберігаються
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 11
безпосередньо на сервері, де була створена подія. Централізоване логування
передбачає передачу всіх повідомлень до єдиного сховища для подальшого
аналізу та моніторингу. Використання різних типів логів дозволяє отримати
повну інформацію про роботу серверної інфраструктури, аналізувати
технічний стан системи, контролювати безпеку та швидко реагувати на
помилки або нестандартну поведінку сервісів.
У сучасній серверній інфраструктурі системи логування
використовуються для централізованого збору, збереження, пошуку та аналізу
технічних подій, які виникають під час роботи програмних сервісів. Такі
системи дозволяють адміністраторам і розробникам контролювати стан
застосунків, виявляти помилки, аналізувати продуктивність, досліджувати
інциденти безпеки та відстежувати поведінку окремих компонентів
інфраструктури. Потреба в таких рішеннях особливо зростає у розподілених
серверних середовищах, де один програмний продукт може складатися з
великої кількості окремих сервісів, контейнерів, баз даних і зовнішніх
інтеграцій.
Однією з відомих систем централізованого логування є Graylog. Ця
платформа призначена для збору, обробки, збереження та аналізу логів із
різних джерел. Graylog підтримує прийом повідомлень від серверів,
застосунків, мережевого обладнання та контейнеризованих середовищ.
Основною перевагою цієї системи є зручний інтерфейс для пошуку подій,
фільтрації логів, побудови потоків даних і налаштування сповіщень [5].
Graylog часто використовується в інфраструктурах, де необхідно
централізовано контролювати велику кількість серверних повідомлень та
швидко знаходити причини технічних проблем, зовнішній інтерфейс Graylog
зображено на рисунку 1.2.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 12
Рисунок 1.2 – Graylog
Важливою особливістю Graylog є можливість створення потоків логів
за певними правилами. Наприклад, повідомлення можна розподіляти за рівнем
критичності, назвою сервісу, джерелом або типом події. Це дозволяє
відокремлювати логи різних систем і спрощує їх подальший аналіз. Graylog
також підтримує механізми сповіщення, завдяки яким адміністратор може
отримувати повідомлення про критичні помилки або нестандартну активність
у системі. Недоліком цього рішення може бути складність налаштування у
великих інфраструктурах та необхідність окремого адміністрування
компонентів збереження й обробки даних.
Ще одним поширеним рішенням є стек Elastic, який часто називають
ELK. До нього входять Elasticsearch, Logstash і Kibana. Elasticsearch
використовується для збереження та швидкого пошуку даних, Logstash
відповідає за прийом, обробку й перетворення логів, а Kibana надає інтерфейс
для візуалізації, пошуку та аналізу інформації [6]. Це рішення є одним із
найпопулярніших у сфері логування, оскільки забезпечує високу швидкість
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 13
пошуку та гнучкі можливості аналітики, зовнішній інтерфейс Elastic
зображено на рисунку 1.3.
Рисунок 1.3 – Стек Elastic
Стек Elastic добре підходить для систем, у яких необхідно обробляти
великі обсяги логів і виконувати складні пошукові запити. Elasticsearch
дозволяє індексувати повідомлення та швидко знаходити потрібні події навіть
серед мільйонів записів. Kibana використовується для створення панелей
моніторингу, графіків, фільтрів і візуального аналізу технічних даних [7].
Недоліком такого підходу є потреба у правильному налаштуванні індексів,
контролі використання дискового простору та оптимізації кластера, оскільки
при великій кількості логів система може вимагати значних обчислювальних
ресурсів.
Splunk є комерційною платформою для збору, пошуку та аналізу
машинних даних. Вона використовується у великих корпоративних
середовищах, де потрібні розвинені можливості аналітики, безпеки, аудиту та
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 14
моніторингу. Splunk підтримує роботу з різними джерелами даних, дозволяє
будувати складні запити, створювати аналітичні панелі та налаштовувати
автоматичне реагування на події, зовнішній інтерфейс зображено на
рисунку 1.4.
Рисунок 1.4 – Splunk
Перевагою Splunk є висока функціональність і зрілість платформи, але
суттєвим обмеженням є висока вартість використання, особливо при великих
обсягах логів.
Grafana Loki є системою логування, яка орієнтована на ефективне
збереження та пошук логів із використанням міток. На відміну від
Elasticsearch, Loki не індексує повний текст кожного повідомлення, а
переважно працює з метаданими [8]. Це дозволяє зменшити витрати на
збереження даних і зробити систему більш економною з погляду ресурсів.
Loki часто використовується разом із Grafana, яка забезпечує зручну
візуалізацію логів і метрик, зовнішній інтерфейс зображено на рисунку 1.5.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 15
Рисунок 1.5 – Grafana Loki
Це рішення добре підходить для контейнеризованих середовищ та
інфраструктур, де вже використовується Grafana для моніторингу.
Amazon CloudWatch є хмарним сервісом від AWS, який
використовується для збору логів, метрик і подій із сервісів Amazon Web
Services та власних застосунків користувача . CloudWatch добре інтегрується
з іншими компонентами AWS, зокрема з обчислювальними сервісами, базами
даних, балансувальниками навантаження та механізмами автоматичного
масштабування, зовнішній інтерфейс зображено на рисунку 1.6.
Рисунок 1.6 – Amazon CloudWatch
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 16
Перевагою CloudWatch є простота використання в хмарній
інфраструктурі AWS, однак для складного пошуку або глибокої аналітики
логів може знадобитися додаткова інтеграція з іншими інструментами.
Datadog є комплексною платформою для моніторингу інфраструктури,
логування, аналізу продуктивності застосунків і спостереження за хмарними
сервісами. Вона дозволяє поєднувати логи, метрики та трасування запитів в
одному середовищі. Datadog є зручним рішенням для команд, які потребують
єдиної платформи для контролю всієї інфраструктури [9]. Його перевагою є
швидке підключення до різних сервісів і велика кількість готових інтеграцій.
Основним недоліком є залежність від зовнішнього комерційного сервісу та
висока вартість при значних обсягах даних.
Fluentd і Fluent Bit також часто використовуються у системах логування,
хоча вони більше виконують роль агентів для збору, обробки та передачі логів,
а не повноцінних платформ аналізу. Вони можуть збирати повідомлення з
файлів, контейнерів, системних журналів і передавати їх до Elasticsearch,
CloudWatch, Loki або інших сховищ. Fluent Bit є легшим за Fluentd і часто
використовується в контейнеризованих середовищах через менше споживання
ресурсів. Такі інструменти є важливими компонентами інфраструктури
логування, але для повного аналізу даних потребують поєднання з окремим
сховищем та інтерфейсом перегляду.
Порівняння існуючих систем показує, що кожне рішення має власну
сферу застосування. Graylog зручний для централізованого перегляду та
фільтрації логів, стек Elastic забезпечує потужний пошук і аналітику, Splunk
орієнтований на корпоративний рівень, Grafana Loki підходить для
економного збереження логів, CloudWatch ефективний у середовищі AWS, а
Datadog надає комплексний підхід до моніторингу [10]. Вибір конкретної
системи залежить від вимог до продуктивності, вартості, складності
розгортання, типу інфраструктури та обсягу даних.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 17
Для розроблюваної інформаційної системи важливим є врахування
переваг таких рішень і усунення частини їх недоліків. Система повинна
забезпечувати просту інтеграцію через програмний інтерфейс та бібліотеки
для різних мов програмування, централізований збір логів, швидкий пошук за
допомогою Elasticsearch і можливість автоматичного масштабування у
хмарному середовищі AWS. Такий підхід дозволяє створити спеціалізовану
платформу, орієнтовану саме на моніторинг серверного трафіку, логування
вхідних запитів і аналіз подій у сучасних серверних застосунках.
Попри активний розвиток сучасних платформ моніторингу та логування,
більшість існуючих систем мають низку технічних, архітектурних та
експлуатаційних обмежень, які ускладнюють їх використання у
високонавантажених серверних середовищах. Основні проблеми пов’язані зі
складністю масштабування, високими вимогами до ресурсів, труднощами
інтеграції та значними витратами на підтримку інфраструктури.
Однією з найпоширеніших проблем є складність роботи з великими
обсягами логів. У сучасних серверних системах кількість технічних
повідомлень може швидко зростати, особливо в умовах мікросервісної
архітектури або великої кількості одночасних користувачів. Частина
платформ починає працювати повільніше при збільшенні навантаження, що
призводить до затримок під час індексації даних, втрати повідомлень або
зниження швидкості пошуку.
Багато систем логування мають високі вимоги до серверних ресурсів.
Наприклад, рішення на основі ElasticSearch можуть споживати значну
кількість оперативної пам’яті, дискового простору та процесорного часуv [11].
При неправильному налаштуванні інфраструктури продуктивність системи
суттєво погіршується, особливо під час роботи з великими індексами або
складними пошуковими запитами.
Окремою проблемою є складність налаштування та адміністрування.
Частина платформ складається з великої кількості компонентів, які необхідно
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 18
окремо конфігурувати та підтримувати. Наприклад, для роботи
централізованого логування можуть використовуватись окремі служби збору
логів, системи індексації, бази даних, механізми візуалізації та засоби
моніторингу. Це значно ускладнює процес розгортання системи та підвищує
вимоги до адміністраторів інфраструктури.
У багатьох випадках існуючі рішення мають обмежені можливості
інтеграції. Частина систем орієнтована лише на окремі середовища або
потребує складного налаштування агентів для збору логів. Інтеграція із
зовнішніми сервісами або власними застосунками може вимагати додаткової
розробки та адаптації форматів повідомлень.
Ще однією проблемою є недостатня гнучкість під час роботи з різними
типами логів. Деякі системи добре працюють лише зі стандартними
текстовими повідомленнями, але мають обмеження при обробці
структурованих даних, HTTP-запитів або нестандартних форматів логування.
У сучасних distributed systems важливим фактором є централізований
контроль логів із великої кількості сервісів. Проте частина існуючих платформ
має труднощі з ефективною обробкою логів у розподіленому середовищі,
особливо при великій кількості контейнерів або мікросервісів.
Окрему проблему становить масштабування систем логування. Багато
рішень потребують ручного збільшення серверних ресурсів або складного
налаштування кластерної архітектури. У випадку різкого збільшення
навантаження система може втрачати продуктивність або потребувати
ручного втручання адміністратора.
Також важливим недоліком є складність забезпечення відмовостійкості.
При виході з ладу окремих компонентів частина платформ може втрачати логи
або тимчасово припиняти обробку повідомлень. Для забезпечення стабільної
роботи необхідно додатково реалізовувати резервування та реплікацію даних.
Проблемою багатьох систем є й обмежені можливості аналізу подій у
режимі реального часу. Частина платформ орієнтована переважно на
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 19
збереження логів, але не забезпечує швидкої обробки потокових даних або
оперативного реагування на критичні події.
У деяких випадках недоліком є складний або перевантажений інтерфейс
користувача. При роботі з великими обсягами логів користувачеві може бути
важко швидко знаходити потрібну інформацію, будувати фільтри або
аналізувати події.
Окремою проблемою залишаються питання безпеки. Частина платформ
не забезпечує достатнього рівня контролю доступу, обмеження прав
користувачів або захисту API [12]. У випадку неправильного налаштування
це може призводити до витоку службових даних або несанкціонованого
доступу до логів.
Комерційні системи логування часто мають високу вартість
використання. При роботі з великими потоками даних вартість ліцензій або
хмарних сервісів може суттєво зростати, що створює додаткові витрати для
компаній.
У зв’язку з наявністю таких обмежень виникає потреба у створенні
систем логування, які поєднують високу продуктивність, простоту інтеграції,
підтримку масштабування та зручний механізм аналізу серверних подій. Саме
на вирішення цих проблем орієнтована розроблювана інформаційна система
моніторингу, логування та аналізу серверного трафіку.
1.2 Постановка задач
У зв’язку з наявністю технічних та експлуатаційних обмежень у
сучасних системах логування виникає потреба у розробці інформаційної
системи, яка буде орієнтована на простий, швидкий та централізований
перегляд серверних логів. Така система повинна надати користувачеві
можливість отримувати доступ до технічних подій із різних серверних
застосунків в одному середовищі, без необхідності окремого підключення до
кожного сервера, контейнера або сервісу. Це є особливо важливим для
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 20
сучасних програмних продуктів, які складаються з декількох
взаємопов’язаних компонентів і генерують значну кількість журналів подій
під час обробки запитів.
Розроблювана система повинна забезпечувати не лише збереження
логів, а й зручний механізм їх перегляду та пошуку. Користувач повинен мати
можливість швидко знайти потрібне повідомлення за часовим проміжком,
рівнем важливості, назвою сервісу, адресою запиту, кодом відповіді, IP-
адресою або текстом повідомлення. Такий підхід дозволить значно скоротити
час пошуку причин помилок і спростити процес технічного аналізу роботи
серверної інфраструктури.
Важливою функцією системи має бути підтримка фільтрації логів за
різними параметрами. У реальному серверному середовищі кількість
повідомлень може бути дуже великою, тому перегляд усіх подій без фільтрів
є неефективним. Користувач повинен мати можливість відокремити критичні
помилки від інформаційних повідомлень, переглянути події конкретного
сервісу або проаналізувати запити за певний період часу. Це дозволить
зосередитись лише на тій інформації, яка має значення для вирішення
конкретної технічної проблеми.
Система також повинна підтримувати збір логів із різних джерел. До
таких джерел можуть належати стандартні текстові журнали, повідомлення
серверних застосунків, дані про вхідні HTTP-запити, інформація про помилки,
службові події та результати взаємодії із зовнішніми сервісами. Підтримка
різних типів логів дозволить використовувати систему не лише для фіксації
помилок, а й для повного аналізу поведінки серверного застосунку.
Окреме значення має інтеграція системи з існуючими програмними
рішеннями. Для цього необхідно передбачити можливість передавання логів
через програмний інтерфейс та спеціальні бібліотеки для популярних мов
програмування. Завдяки такому підходу розробники зможуть підключати
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 21
систему до власних сервісів без складного налаштування та без необхідності
самостійно реалізовувати механізми передачі логів.
Для ефективної роботи з великими обсягами даних система повинна
використовувати спеціалізоване сховище, яке забезпечує швидкий пошук та
індексацію логів. Використання ElasticSearch дозволить зберігати велику
кількість технічних повідомлень і виконувати пошукові запити за короткий
час. Це є важливим для систем моніторингу, оскільки під час виникнення
помилки користувач повинен швидко отримати доступ до потрібної
інформації.
Розроблювана система повинна бути здатною працювати в умовах
зростання навантаження. У разі збільшення кількості сервісів або обсягу логів
вона має автоматично масштабуватись у хмарному середовищі AWS. Це
дозволить підтримувати стабільну роботу платформи навіть у періоди
пікового навантаження, коли кількість серверних подій суттєво зростає.
Важливим результатом розробки має стати система, яка поєднує
централізований збір логів, швидкий пошук, зручну фільтрацію, підтримку
інтеграції з різними сервісами та можливість автоматичного масштабування.
Її використання дозволить спростити процес моніторингу серверної
інфраструктури, підвищити швидкість виявлення помилок, покращити
контроль технічного стану застосунків та забезпечити більш ефективну
підтримку програмних систем у робочому середовищі.
Система повинна мати можливість інтеграції з уже існуючими
програмними продуктами та серверними застосунками. Для цього необхідно
розробити SDK для популярних мов програмування, зокрема Java, C#, Node.js,
Python та PHP. Використання SDK дозволить підключати систему логування
до різних технологічних середовищ без необхідності самостійної реалізації
механізмів передачі логів, авторизації запитів та обробки відповідей сервера.
SDK повинен надавати розробнику простий набір методів для надсилання
логів до серверної частини системи. Наприклад, застосунок зможе передавати
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 22
інформаційні повідомлення, попередження, помилки, дані про HTTP-запити,
час виконання операцій та додаткові службові параметри. Це дозволить
інтегрувати систему як у нові, так і в уже розроблені сервіси без значної зміни
їхньої внутрішньої архітектури.
Важливою вимогою до SDK є підтримка єдиного формату логів
незалежно від мови програмування. Це означає, що повідомлення, надіслані із
Java, C#, Node.js, Python або PHP, повинні надходити до серверної частини у
стандартизованій структурі. Такий підхід спрощує подальшу обробку,
індексацію та пошук логів у системі.
Кожен SDK повинен підтримувати авторизацію за допомогою API-
ключа, який буде передаватися разом із запитом до серверної частини. Це
дозволить системі визначати, з якого проєкту або сервісу надійшло
повідомлення, а також контролювати права доступу та обмеження для
конкретної інтеграції.
Розробка SDK для різних мов програмування забезпечить
універсальність системи та дозволить використовувати її в різних типах
серверних застосунків. Завдяки цьому платформа зможе інтегруватися з
корпоративними системами, веб-сервісами, мікросервісною архітектурою та
хмарними застосунками, незалежно від технологічного стеку конкретного
проєкту.
Система повинна забезпечувати можливість створення автоматичних
сповіщень на основі серверних логів та технічних подій. Такий механізм
дозволить користувачам оперативно отримувати інформацію про помилки,
нестандартну поведінку сервісів або критичні зміни у роботі серверної
інфраструктури без необхідності постійного ручного перегляду журналів
подій.
Механізм alert-сповіщень повинен працювати на основі заданих правил
та умов. Користувач повинен мати можливість створювати власні сценарії
сповіщень, наприклад при виникненні певного тексту помилки, перевищенні
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 23
кількості помилок за визначений проміжок часу, збільшенні часу відповіді
сервісу або появі критичних повідомлень певного рівня.
Система повинна підтримувати фільтрацію подій для alert-механізму за
різними параметрами, зокрема назвою сервісу, рівнем логування, адресою
запиту, кодом відповіді або окремими значеннями метаданих. Це дозволить
створювати точкові сповіщення лише для тих подій, які є важливими для
конкретного проєкту або сервісу.
Після спрацювання правила система повинна автоматично генерувати
повідомлення та передавати його користувачеві через визначений канал
сповіщення. У майбутньому система може підтримувати інтеграцію з Email,
Telegram, Slack або іншими сервісами обміну повідомленнями.
Реалізація механізму автоматичних alert-сповіщень дозволить значно
скоротити час реагування на помилки, підвищити стабільність роботи
серверної інфраструктури та забезпечити більш ефективний контроль за
технічним станом програмних сервісів.
1.3 Висновки до розділу
У першому розділі було проведено аналіз предметної області систем
моніторингу та логування серверного трафіку. Розглянуто призначення логів,
їх роль у сучасних серверних системах та основні види журналів подій, які
використовуються для контролю роботи інфраструктури, аналізу помилок,
моніторингу продуктивності та забезпечення безпеки серверного середовища.
Було досліджено існуючі системи логування, зокрема Graylog, Elastic Stack,
Splunk, Grafana Loki, Amazon CloudWatch та Datadog. У результаті аналізу
визначено їх основні функціональні можливості, переваги та недоліки.
Встановлено, що сучасні платформи логування забезпечують централізований
збір та аналіз логів, проте мають низку обмежень, пов’язаних зі складністю
масштабування, високими вимогами до ресурсів, труднощами інтеграції та
складністю адміністрування.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 24
На основі проведеного аналізу сформовано основні задачі
розроблюваної інформаційної системи. Визначено необхідність створення
централізованої платформи для збору, збереження, пошуку та аналізу
серверних логів із підтримкою інтеграції через API та SDK для популярних
мов програмування. Також визначено потребу у реалізації механізму
автоматичних сповіщень на основі серверних подій та підтримці
автоматичного масштабування інфраструктури у хмарному середовищі AWS.
Результати проведеного аналізу підтверджують актуальність розробки
інформаційної системи моніторингу, логування та аналізу серверного трафіку,
яка забезпечить ефективний контроль серверної інфраструктури, спростить
процес аналізу технічних подій та підвищить стабільність роботи сучасних
програмних сервісів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 25
2 ВИБІР ТЕХНОЛОГІЇ ТА ІНСТРУМЕНТАЛЬНИХ ЗАСОБІВ
2.1 Огляд існуючих технологій
ElasticSearch є розподіленою системою збереження та пошуку даних,
яка призначена для швидкої обробки великих обсягів інформації у режимі
реального часу. Основою ElasticSearch є механізм індексації даних, що
дозволяє виконувати пошук по мільйонах записів за короткий проміжок часу.
Система побудована на базі пошукового рушія Apache Lucene та широко
використовується у сучасних серверних інфраструктурах для роботи з логами,
аналітичними даними, моніторингом і повнотекстовим пошуком.
Однією з головних особливостей ElasticSearch є його орієнтація на роботу з
неструктурованими або частково структурованими даними. На відміну від
класичних реляційних баз даних, де інформація зберігається у жорстко
визначених таблицях, ElasticSearch дозволяє працювати з документами у
форматі JSON. Такий підхід добре підходить для серверних логів, оскільки
повідомлення можуть містити різний набір полів залежно від типу події або
сервісу.
У системах логування ElasticSearch використовується як централізоване
сховище серверних подій. Кожен лог після надходження до серверної частини
системи перетворюється у структурований документ та зберігається в
окремому індексі. Документ може містити дату та час події, рівень логування,
назву сервісу, IP-адресу, HTTP-метод, текст повідомлення, код відповіді
сервера та інші службові параметри.
Однією з головних переваг ElasticSearch є висока швидкість пошуку.
Під час збереження логів система автоматично виконує індексацію полів
документа, що дозволяє швидко знаходити необхідні записи навіть серед
мільйонів повідомлень. Наприклад, користувач може за декілька секунд
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 26
знайти всі помилки певного сервісу за конкретний часовий період або
відфільтрувати логи за кодом відповіді HTTP.
ElasticSearch також підтримує повнотекстовий пошук, що є важливим
для аналізу серверних помилок. Система дозволяє виконувати пошук не лише
за точними значеннями полів, а й за словами або фразами всередині
повідомлень логів. Це значно спрощує процес аналізу технічних проблем у
серверному середовищіх [13].
Важливою перевагою є можливість горизонтального масштабування.
ElasticSearch підтримує кластерну архітектуру, у якій дані можуть
розподілятися між декількома серверами. У випадку збільшення
навантаження або кількості логів до системи можна додавати нові вузли без
необхідності повної зупинки інфраструктури. Це особливо важливо для
високонавантажених систем, де обсяг серверних повідомлень постійно
зростає.
ElasticSearch підтримує механізм реплікації даних, що забезпечує
відмовостійкість системи. Копії індексів можуть зберігатися на різних
серверах кластера, тому навіть у випадку виходу з ладу окремого вузла
система продовжує працювати без втрати даних.
Ще однією перевагою ElasticSearch є підтримка аналітичних запитів та
агрегацій. Система дозволяє не лише шукати окремі повідомлення, а й
аналізувати великі обсяги даних. Наприклад, можна визначати кількість
помилок за певний період часу, середній час відповіді сервісу, найбільш
навантажені endpoint-и або частоту виникнення конкретних типів подій.
ElasticSearch добре інтегрується із системами візуалізації та моніторингу,
зокрема Kibana. Використання Kibana дозволяє будувати графіки, панелі
моніторингу, статистичні звіти та інтерфейси для аналізу логів у режимі
реального часу. Це спрощує роботу адміністраторів і дозволяє швидко
оцінювати технічний стан серверної інфраструктури.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 27
У розроблюваній інформаційній системі ElasticSearch використовується
як основне сховище логів. Після надходження повідомлення від SDK або API
серверна частина системи виконує нормалізацію даних, додає службові поля
та передає лог до ElasticSearch для індексації. Архітектуру ElasticSearch
зображено на рисунку 2.1.
Рисунок 2.1 – Архітектура ElasticSearch
Для оптимізації роботи система може використовувати окремі індекси
для різних часових періодів або сервісів [14]. Наприклад, логи можуть
зберігатися в окремих індексах за днями або місяцями. Такий підхід дозволяє
зменшити навантаження на пошуковий механізм та спрощує керування
великими обсягами даних.
ElasticSearch також дозволяє реалізувати швидку фільтрацію логів за
різними параметрами. Користувач системи може виконувати пошук за рівнем
логування, назвою сервісу, IP-адресою, кодом відповіді, HTTP-методом або
текстом повідомлення. Це значно спрощує процес діагностики помилок та
аналізу роботи серверної інфраструктури.
Важливим фактором є підтримка роботи у режимі реального часу. Нові
логи стають доступними для пошуку майже одразу після збереження, що
дозволяє оперативно реагувати на помилки або нестандартну поведінку
сервісів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 28
Попри велику кількість переваг, ElasticSearch має певні особливості, які
необхідно враховувати під час проєктування системи. При великих обсягах
логів система може потребувати значної кількості оперативної пам’яті та
дискового простору. Також важливим є правильне налаштування індексів,
реплікації та політик збереження даних.
Проте завдяки високій швидкості пошуку, підтримці масштабування,
можливостям аналітики та ефективній роботі з великими потоками даних
ElasticSearch є одним із найкращих рішень для побудови сучасних систем
моніторингу та логування серверного трафіку.
Для розробки серверної частини системи необхідно використовувати
мову програмування, яка забезпечує високу швидкість обробки запитів,
ефективну роботу з паралельними процесами та стабільне функціонування під
великим навантаженням [15]. Система моніторингу та логування повинна
обробляти значну кількість серверних подій у режимі реального часу, тому
продуктивність серверної частини є одним із ключових факторів під час
вибору технології розробки.
У сучасних високонавантажених системах сервер може одночасно
приймати тисячі HTTP-запитів, обробляти потоки логів із різних сервісів,
виконувати пошук даних та взаємодіяти із зовнішніми компонентами
інфраструктури. У таких умовах використання повільних або ресурсоємних
технологій може призводити до збільшення часу відповіді сервісу,
перевантаження серверів та нестабільної роботи системи.
Для вирішення цих задач серверна частина розроблюваної системи повинна
бути реалізована мовою програмування GoLang. Основною перевагою GoLang
є висока швидкість виконання програм та ефективна робота з
багатопотоковими операціями. Мова підтримує механізм goroutine, який
дозволяє обробляти велику кількість одночасних запитів із мінімальним
використанням системних ресурсів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 29
GoLang також має невелике споживання оперативної пам’яті та
забезпечує високу стабільність роботи серверних застосунків. Це особливо
важливо для систем логування, які повинні безперервно обробляти великі
потоки технічних повідомлень та працювати в режимі 24/7.
Додатковою перевагою є висока швидкість роботи мережевих компонентів та
вбудовані засоби створення HTTP-серверів і API. Завдяки цьому GoLang добре
підходить для реалізації серверної частини систем моніторингу,
мікросервісної архітектури та хмарних платформ [16].
Використання GoLang дозволить створити продуктивну серверну
систему, здатну ефективно працювати з великими обсягами логів,
підтримувати масштабування у середовищі AWS та забезпечувати стабільну
обробку серверного трафіку в умовах високого навантаження.
Вибір мови програмування для реалізації серверної частини
інформаційної системи є одним із ключових етапів проєктування програмного
забезпечення. Від обраної технології залежить швидкість обробки запитів,
ефективність використання ресурсів серверної інфраструктури, можливість
масштабування системи та стабільність роботи під високим навантаженням.
Для створення сучасних серверних застосунків найбільш поширеними є мови
програмування Go, Python та JavaScript у середовищі Node.js [17].
Go є сучасною компільованою мовою програмування, орієнтованою на
створення високопродуктивних мережевих сервісів та серверних платформ.
Однією з основних особливостей Go є підтримка ефективної паралельної
обробки даних за допомогою механізму goroutine. Це дозволяє виконувати
велику кількість одночасних операцій без суттєвого навантаження на серверні
ресурси. Такий підхід є особливо важливим для систем моніторингу та
логування, у яких необхідно одночасно приймати, обробляти та зберігати
великі потоки технічних повідомлень.
Мова Go характеризується високою швидкістю виконання програм,
оскільки після компіляції застосунок працює без використання додаткового
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 30
середовища виконання. Завдяки цьому серверні сервіси, створені на Go, мають
низький час відповіді та стабільну роботу навіть при значній кількості
одночасних мережевих запитів. Додатковою перевагою є простий механізм
розгортання застосунків, оскільки результатом компіляції є окремий
виконуваний файл із мінімальною кількістю зовнішніх залежностей [18].
Python належить до інтерпретованих мов програмування та широко
використовується у веб-розробці, автоматизації процесів, аналізі даних і
побудові систем штучного інтелекту. Основною перевагою Python є простота
синтаксису та наявність великої кількості бібліотек, які дозволяють швидко
реалізовувати серверні сервіси та інтеграції із зовнішніми системами.
Для створення веб-застосунків та API у Python використовуються такі
програмні платформи, як Django, Flask або FastAPI. Мова також активно
застосовується для обробки статистичних даних, побудови аналітичних
сервісів та автоматизації серверних процесів.
Разом із цим Python має певні обмеження у високонавантажених
системах. Через інтерпретований механізм виконання та особливості роботи
з потоками продуктивність Python є нижчою порівняно з компільованими
мовами програмування. При обробці великої кількості одночасних запитів
система може потребувати більшої кількості серверних ресурсів або
додаткового горизонтального масштабування.
Node.js є серверним середовищем виконання JavaScript, яке
використовується для реалізації веб-сервісів, прикладних програмних
інтерфейсів та мікросервісних систем [19]. Основою Node.js є асинхронна
модель виконання операцій, яка дозволяє ефективно працювати з великою
кількістю одночасних мережевих з’єднань.
Середовище Node.js часто використовується для побудови веб-
застосунків реального часу, систем обміну повідомленнями та API-сервісів.
Значною перевагою цієї технології є велика кількість готових бібліотек і
модулів, доступних через менеджер пакетів npm. Це дозволяє швидко
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 31
реалізовувати інтеграцію із зовнішніми сервісами та створювати серверні
компоненти різного рівня складності.
Попри високу ефективність роботи з мережевими запитами, Node.js має
певні обмеження під час виконання складних обчислювальних задач або
обробки великих потоків даних [20]. Через однопотокову модель виконання
частина операцій може блокувати обробку інших запитів, що потребує
додаткової оптимізації архітектури застосунку.
Порівняльний аналіз показує, що кожна з розглянутих технологій має
власну сферу застосування. Python забезпечує швидкість розробки та
ефективну роботу з аналітичними даними, Node.js добре підходить для
реалізації веб-сервісів і систем реального часу, а Go орієнтований на створення
високопродуктивних серверних платформ із підтримкою великої кількості
одночасних операцій.
Для реалізації системи моніторингу, логування та аналізу серверного
трафіку найбільш доцільним є використання мови програмування Go. Це
обумовлено високою швидкістю виконання програм, ефективною роботою з
паралельними процесами, низьким споживанням ресурсів та можливістю
стабільної роботи у високонавантаженому серверному середовищі.
2.2 Обґрунтування вибору
Під час розробки інформаційної системи моніторингу, логування та
аналізу серверного трафіку особливу увагу необхідно приділити вибору
технологій, які забезпечать стабільну роботу сервісу при великому
навантаженні, можливість горизонтального масштабування, швидкий пошук
по великих об’ємах даних та просту інтеграцію з існуючими програмними
рішеннями. Оскільки система орієнтована на роботу із серверними логами,
HTTP-запитами та подіями в реальному часі, використані технології повинні
забезпечувати високу продуктивність, мінімальні затримки обробки
інформації та відмовостійкість.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 32
Однією з основних вимог до системи є здатність працювати з великими
потоками даних. Логи серверів можуть генеруватись у значних об’ємах навіть
протягом короткого проміжку часу, особливо якщо система інтегрується з
мікросервісною архітектурою або обслуговує велику кількість користувачів.
У такому випадку критично важливими стають ефективне використання
ресурсів процесора та пам’яті, оптимальна робота з мережевими запитами та
можливість швидкої паралельної обробки подій. Саме тому для реалізації
серверної частини системи було обрано мову програмування GoLang.
GoLang є сучасною компільованою мовою програмування, створеною
компанією Google для розробки високонавантажених мережевих сервісів та
розподілених систем. Основною перевагою Go є висока швидкість виконання
програм та ефективна модель конкурентності. На відміну від багатьох інших
мов програмування, Go дозволяє легко створювати багатопотокові програми
за допомогою механізму goroutine. Це дає можливість одночасно обробляти
велику кількість вхідних HTTP-запитів без значного навантаження на систему.
Для системи логування це має критичне значення, оскільки сервер
повинен приймати запити від великої кількості клієнтів одночасно. Кожен
запит може містити лог, технічну інформацію про помилки, HTTP-заголовки,
метадані користувача або іншу службову інформацію. Використання Go
дозволяє обробляти ці дані асинхронно та швидко передавати їх до системи
збереження без виникнення вузьких місць у продуктивності
Ще однією перевагою Go є низьке споживання оперативної пам’яті
порівняно з іншими популярними серверними технологіями. Це особливо
важливо в хмарному середовищі AWS, де обсяг використаних ресурсів
безпосередньо впливає на вартість інфраструктури. Менше споживання
пам’яті дозволяє запускати більшу кількість екземплярів сервісу або
обробляти більше запитів без необхідності збільшення обчислювальних
потужностей.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 33
Важливим фактором вибору GoLang є також простота розгортання
сервісів. Програма компілюється у єдиний виконуваний файл, який не
потребує встановлення додаткових залежностей або віртуальних середовищ.
Це значно спрощує контейнеризацію сервісу та його запуск у Docker-
контейнерах. Оскільки система буде працювати в AWS із використанням
автоматичного масштабування, швидкість запуску нових інстансів є
важливою характеристикою. Go-сервіси стартують значно швидше, ніж
рішення на базі JVM або інтерпретованих мов, що позитивно впливає на
роботу autoscaling механізмів
Для збереження логів у системі було обрано ElasticSearch. Дане рішення
є однією з найпопулярніших технологій для роботи з логами, аналітикою та
повнотекстовим пошуком. Основною причиною вибору ElasticSearch є його
оптимізація для швидкого пошуку та аналізу великих обсягів
неструктурованих даних.
Звичайні реляційні бази даних не підходять для ефективного збереження
та аналізу логів через особливості структури таких даних. Логи можуть мати
різний формат, містити різну кількість полів та змінюватись залежно від типу
сервісу. ElasticSearch працює на основі документно-орієнтованої моделі, що
дозволяє гнучко зберігати інформацію без жорстко визначеної структури
таблиць.
ElasticSearch забезпечує високу швидкість індексації даних. Це означає,
що нові логи можуть практично миттєво ставати доступними для пошуку та
аналізу. Для систем моніторингу це особливо важливо, оскільки
адміністратори повинні отримувати інформацію про помилки та аномалії в
режимі реального часу.
Ще однією важливою перевагою ElasticSearch є можливість
горизонтального масштабування. Система підтримує кластерну архітектуру,
де дані можуть автоматично розподілятись між декількома вузлами. Це
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 34
дозволяє збільшувати продуктивність системи шляхом додавання нових
серверів без необхідності зміни архітектури застосунку.
ElasticSearch також підтримує потужні механізми агрегації даних.
Завдяки цьому система може виконувати аналітичні запити, будувати
статистику, визначати найбільш часті помилки, аналізувати навантаження на
сервери та відстежувати аномальну активність користувачів. Такі можливості
є важливою складовою сучасних систем моніторингу.
Для збереження конфігурацій системи, інформації про інтеграції,
налаштувань користувачів та службових параметрів було обрано AWS Aurora.
На відміну від логів, конфігураційні дані мають чітку структуру та потребують
підтримки транзакційності. Саме тому для таких задач доцільніше
використовувати реляційну базу даних.
AWS Aurora є керованою реляційною базою даних від Amazon Web
Services, яка сумісна з MySQL та PostgreSQL. Основною причиною вибору
Aurora є її висока продуктивність, автоматичне резервне копіювання,
відмовостійкість та глибока інтеграція з інфраструктурою AWS.
Aurora забезпечує автоматичну реплікацію даних між декількома зонами
доступності AWS. Це дозволяє уникнути втрати інформації у випадку збою
окремого сервера або дата-центру. Для системи моніторингу стабільність
роботи є критично важливою, оскільки втрата конфігурацій або налаштувань
інтеграцій може призвести до припинення збору логів.
Ще однією важливою перевагою Aurora є автоматичне масштабування
ресурсів бази даних. У разі збільшення навантаження система може
автоматично збільшувати обчислювальні ресурси без необхідності ручного
втручання адміністратора. Це добре поєднується із загальною концепцією
хмарної інфраструктури та автоматичного масштабування сервісу.
Використання AWS як основного хмарного середовища також має низку
переваг. Система логування повинна працювати безперервно та бути
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 35
доступною незалежно від навантаження. AWS надає набір інструментів для
побудови відмовостійких та масштабованих систем.
Однією з головних причин вибору AWS є підтримка autoscaling.
Автоматичне масштабування дозволяє системі динамічно змінювати кількість
серверів залежно від поточного навантаження. Наприклад, у періоди високої
активності кількість інстансів сервісу може автоматично збільшуватись для
забезпечення стабільної роботи. Після зменшення навантаження зайві ресурси
автоматично вимикаються, що дозволяє оптимізувати витрати на
інфраструктуру.
Autoscaling є особливо важливим для систем логування, оскільки
навантаження може різко змінюватись. Наприклад, під час аварій або збоїв
сервери можуть генерувати значно більшу кількість логів, ніж у звичайному
режимі роботи. У такій ситуації система повинна мати можливість швидко
адаптуватись до нового навантаження без втрати даних.
Для розгортання сервісу можуть використовуватись AWS ECS або
Kubernetes. Контейнеризація дозволяє стандартизувати процес запуску
сервісів та спростити їх масштабування. Docker-контейнери забезпечують
однакове середовище виконання незалежно від конкретного сервера, що
значно зменшує ризик помилок під час розгортання.
Окрему увагу необхідно приділити SDK, які будуть використовуватись
для інтеграції сторонніх сервісів із системою логування. Основна мета SDK
полягає у спрощенні процесу підключення до системи для розробників.
Замість самостійної реалізації HTTP-запитів та механізмів авторизації
розробник зможе використовувати готову бібліотеку.
SDK планується реалізувати для найбільш популярних мов
програмування, зокрема JavaScript, Python, PHP, Java, Go та C#. Такий підхід
дозволить інтегрувати систему з більшістю сучасних веб-сервісів та серверних
застосунків.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 36
Використання SDK також дозволяє стандартизувати формат передачі
логів. Усі бібліотеки можуть використовувати єдину структуру повідомлень,
однакові механізми авторизації та спільний формат обробки помилок. Це
спрощує підтримку системи та зменшує кількість проблем при інтеграції.
Ще однією перевагою SDK є можливість автоматичного логування
HTTP-запитів. Наприклад, бібліотека може перехоплювати помилки
застосунку, інформацію про запити користувачів, час виконання операцій та
автоматично передавати ці дані до сервісу моніторингу. Це значно зменшує
обсяг коду, який необхідно писати розробнику для інтеграції.
Для взаємодії між SDK та серверною частиною системи доцільно
використовувати REST API. Такий підхід забезпечує універсальність та
простоту інтеграції. REST підтримується практично всіма мовами
програмування та не потребує складної конфігурації.
Також важливим аспектом є забезпечення безпеки передачі даних.
Оскільки система працює з технічною інформацією та логами серверів, усі
запити повинні передаватись через HTTPS із використанням TLS-
шифрування. Для авторизації можуть використовуватись API-ключі або JWT-
токени.
Важливою складовою системи є механізми моніторингу та
спостереження за роботою самої платформи. Для цього можуть
використовуватись сервіси AWS CloudWatch, які дозволяють збирати метрики
використання процесора, пам’яті, кількості запитів та інших параметрів
інфраструктури. Це дозволяє оперативно реагувати на проблеми та
аналізувати продуктивність системи.
Таким чином, вибір технологій для реалізації інформаційної системи
моніторингу, логування та аналізу серверного трафіку базується на вимогах
до продуктивності, масштабованості, відмовостійкості та швидкості обробки
даних. Використання GoLang дозволяє створити високопродуктивну серверну
частину з ефективною підтримкою конкурентних запитів. ElasticSearch
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 37
забезпечує швидке збереження та пошук логів, а AWS Aurora
використовується для надійного збереження конфігураційних даних. Хмарна
інфраструктура AWS та механізми autoscaling дозволяють системі
автоматично адаптуватись до зміни навантаження. Використання SDK для
популярних мов програмування значно спрощує інтеграцію сервісу із
зовнішніми системами та робить платформу універсальним рішенням для
моніторингу серверного трафіку та аналізу логів.
Для забезпечення безпечної взаємодії між клієнтськими застосунками
та серверною частиною системи необхідно реалізувати механізми авторизації
та автентифікації SDK-клієнтів. Оскільки система використовується для
передачі серверних логів, технічної інформації та службових даних, питання
безпеки API є важливою складовою всієї архітектури сервісу.
Для авторизації SDK доцільно використовувати API Key механізм. Після
створення нового проєкту або інтеграції система генерує унікальний ключ
доступу, який використовується SDK під час відправлення HTTP-запитів до
серверної частини системи. API-ключ передається у заголовках запиту та
перевіряється сервером перед обробкою даних.
Основною перевагою API Key є простота реалізації та універсальність.
Оскільки SDK буде реалізовано для декількох популярних мов
програмування, зокрема JavaScript, Python, PHP, Java, Go та C#, важливо
використовувати механізм авторизації, який легко інтегрується незалежно від
технології. API-ключі не потребують складної логіки підтримки сесій та
забезпечують швидку перевірку запитів навіть при високому навантаженні.
Для підвищення рівня безпеки ключі доступу повинні зберігатись у
зашифрованому вигляді. Навіть у випадку компрометації бази даних система
не повинна дозволяти отримання оригінальних ключів. Додатково для
кожного ключа можуть задаватися обмеження на кількість запитів, список
дозволених IP-адрес або набір доступних endpoint-ів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 38
Для авторизації користувачів веб-інтерфейсу системи доцільно
використовувати JWT-токени. JSON Web Token дозволяє передавати
інформацію про користувача та його права доступу у зашифрованому вигляді
без необхідності збереження серверних сесій. Такий підхід добре підходить
для масштабованих хмарних систем, які працюють із використанням
autoscaling у AWS.
Використання JWT забезпечує швидку перевірку авторизації на будь-
якому серверному інстансі без синхронізації сесій між серверами. Це особливо
важливо при автоматичному масштабуванні інфраструктури, коли система
може динамічно запускати нові екземпляри сервісу залежно від навантаження.
Усі запити між SDK, клієнтськими застосунками та серверною частиною
системи повинні передаватись виключно через HTTPS із використанням TLS-
шифрування. Це забезпечує захист даних від перехоплення під час передачі
мережею та підвищує загальний рівень безпеки сервісу.
Для централізованого керування правами доступу також доцільно
використовувати Role-Based Access Control. Даний механізм дозволяє
створювати різні ролі користувачів із окремими наборами дозволів.
Наприклад, звичайний користувач може мати доступ лише до перегляду логів,
тоді як адміністратор отримує можливість створювати інтеграції, генерувати
API-ключі та змінювати конфігурацію системи.
Для зберігання конфіденційних даних та секретів в AWS може
використовуватись AWS Secrets Manager. Даний сервіс дозволяє безпечно
керувати ключами доступу, токенами та іншими службовими даними без
необхідності зберігати їх у конфігураційних файлах або вихідному коді
застосунку.
Таким чином, використання API Key для SDK-клієнтів, JWT для
користувацької авторизації та TLS-шифрування забезпечує високий рівень
безпеки системи, спрощує інтеграцію сторонніх сервісів та дозволяє
підтримувати стабільну роботу платформи в умовах великого навантаження.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 39
2.3 Висновки до розділу
У розділі було проведено аналіз технологій та інструментальних засобів
для розробки системи моніторингу, логування та аналізу серверного трафіку.
Розглянуто особливості ElasticSearch, GoLang, AWS Aurora та хмарної
інфраструктури AWS.
У результаті аналізу визначено, що ElasticSearch є ефективним рішенням
для збереження, індексації та швидкого пошуку логів у великих обсягах даних.
Для реалізації серверної частини системи було обрано GoLang через високу
продуктивність, підтримку паралельної обробки запитів та ефективне
використання ресурсів.
Також обґрунтовано використання AWS Aurora для збереження
конфігураційних даних та AWS autoscaling для автоматичного масштабування
системи при зміні навантаження. Додатково визначено необхідність реалізації
SDK для популярних мов програмування та використання механізмів захисту
API на основі API Key і JWT.
Обрані технології дозволяють реалізувати масштабовану, продуктивну
та відмовостійку систему логування, здатну ефективно працювати у
сучасному серверному середовищі.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 40
3 РОЗРОБКА ІНФОРМАЦІЙНОЇ СИСТЕМИМОНІТОРИНГУ,
ЛОГУВАННЯ ТА АНАЛІЗУ СЕРВЕРНОГО ТРАФІКУ
3.1 Структура системи
Інформаційна система моніторингу, логування та аналізу серверного
трафіку побудована за модульним принципом. Такий підхід дозволив
розділити систему на окремі функціональні компоненти, кожен із яких
відповідає за виконання конкретного набору задач. Використання модульної
архітектури спрощує масштабування системи, підвищує її відмовостійкість та
дозволяє незалежно модернізувати окремі частини сервісу без впливу на інші
компоненти.
Серверна частина системи реалізована у вигляді набору
взаємопов’язаних модулів, які працюють як єдина платформа для прийому,
обробки, збереження та аналізу логів. Основою архітектури є принцип
асинхронної обробки даних, що дозволяє системі стабільно працювати навіть
при значних навантаженнях та великій кількості одночасних підключень.
Архітектура системи включає модуль комунікацій із SDK, модуль
авторизації, модуль прийому логів, модуль обробки повідомлень, модуль
маршрутизації даних, модуль індексації логів, модуль аналітики, модуль
конфігурації системи, модуль моніторингу інфраструктури та модуль
керування масштабуванням.
Центральним елементом системи є модуль комунікацій із SDK. Саме
цей компонент відповідає за взаємодію із зовнішніми сервісами та
клієнтськими застосунками, які інтегруються із платформою. Модуль приймає
HTTP-запити від SDK, перевіряє коректність структури повідомлень та
передає дані для подальшої обробки.
SDK-клієнти реалізовані для різних мов програмування, зокрема
JavaScript, Python, PHP, Java, Go та C#. Незалежно від конкретної технології,
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 41
усі SDK використовують єдиний REST API для передачі логів до серверної
частини системи. Це забезпечує стандартизований формат взаємодії та
спрощує підтримку інтеграцій. Структура розробленої системи зображено на
рисунку 31.
Рисунок 3.1 – Структура розробленої системи
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 42
Модуль комунікацій працює як точка входу в систему. Він приймає
текстові логи, інформацію про HTTP-запити, службові події, повідомлення
про помилки та технічні метрики застосунків. Після отримання запиту модуль
виконує первинну валідацію структури даних та перевіряє наявність
необхідних службових параметрів.
Одразу після прийому повідомлення дані передаються до модуля
авторизації. Основним завданням цього компонента є перевірка автентичності
клієнта та визначення прав доступу. Для SDK використовується механізм API
Key, який дозволяє ідентифікувати конкретний застосунок або інтеграцію.
Модуль авторизації перевіряє валідність ключа доступу, статус клієнта,
доступні обмеження та правила використання API. Додатково виконується
перевірка лімітів запитів, що дозволяє захищати систему від перевантаження
або несанкціонованого використання сервісу.
Після успішної авторизації запит передається до модуля прийому логів.
Даний модуль відповідає за буферизацію та тимчасове збереження отриманих
повідомлень перед їх подальшою обробкою. Використання окремого шару
прийому дозволяє розділити процес отримання даних та їх індексації.
Основною задачею модуля прийому логів є забезпечення стабільності
системи при високому навантаженні. Навіть якщо ElasticSearch тимчасово
працює повільніше або виконується масштабування інфраструктури, серверна
частина продовжує приймати нові повідомлення без втрати даних.
Після буферизації повідомлення передаються до модуля обробки логів.
Даний компонент виконує нормалізацію даних та підготовку інформації до
індексації. Оскільки різні сервіси можуть використовувати власні формати
логів, система повинна привести всі повідомлення до єдиного внутрішнього
формату.
Під час обробки логів система виділяє ключові параметри повідомлення.
До них належать час створення події, тип повідомлення, рівень помилки, IP-
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 43
адреса клієнта, HTTP-метод, endpoint, тривалість виконання запиту та інші
службові характеристики.
Модуль обробки також виконує фільтрацію службових даних та
перевірку коректності вмісту повідомлень. Наприклад, система може
автоматично видаляти небезпечні символи, обмежувати розмір повідомлень
або приховувати конфіденційну інформацію.
Після завершення нормалізації інформація передається до модуля
маршрутизації даних. Даний компонент визначає, до якого індексу
ElasticSearch необхідно записати конкретний лог. Розділення логів за
індексами дозволяє ефективніше виконувати пошук та масштабувати систему.
Маршрутизація може виконуватись за різними критеріями. Наприклад,
система може створювати окремі індекси для різних проєктів, середовищ або
типів сервісів. Додатково може використовуватись розділення за часовими
періодами, що дозволяє оптимізувати продуктивність ElasticSearch та спрощує
архівацію старих даних.
Після визначення маршруту лог передається до модуля індексації. Саме
цей компонент відповідає за взаємодію з ElasticSearch та збереження
інформації в індексах системи.
Модуль індексації працює асинхронно та використовує batch-обробку
даних. Замість індексації кожного повідомлення окремо система формує
пакети логів та передає їх до ElasticSearch групами. Такий підхід значно
підвищує продуктивність та зменшує навантаження на кластер.
ElasticSearch використовується як основне сховище логів та аналітичних
даних. Завдяки документно-орієнтованій структурі система може працювати
з повідомленнями різного формату без жорстко визначеної схеми даних.
Для забезпечення високої доступності ElasticSearch розгорнуто у вигляді
кластерної архітектури. Дані автоматично реплікуються між вузлами, що
дозволяє уникнути втрати інформації у випадку збою окремого сервера.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 44
Окремим компонентом системи є модуль аналітики. Даний модуль
відповідає за виконання пошукових запитів, агрегацію даних та формування
статистичної інформації.
Модуль аналітики дозволяє визначати найбільш поширені помилки,
аналізувати навантаження на сервери, відстежувати нестандартну активність
та формувати звіти про роботу сервісів.
Для виконання аналітичних операцій модуль використовує можливості
ElasticSearch Aggregation Framework. Завдяки цьому система може швидко
обробляти великі об’єми даних та будувати статистику практично в режимі
реального часу.
Важливою частиною архітектури є модуль конфігурації системи. Даний
компонент відповідає за збереження налаштувань інтеграцій, інформації про
користувачів, API-ключів, правил маршрутизації та параметрів роботи
системи.
Для збереження конфігурацій використовується AWS Aurora. На відміну
від логів, конфігураційні дані мають чітку структуру та потребують підтримки
транзакційності. Aurora забезпечує високу доступність, автоматичне резервне
копіювання та підтримку реплікації між дата-центрами AWS.
Модуль конфігурації використовується практично всіма компонентами
системи. Наприклад, модуль авторизації отримує з нього інформацію про API-
ключі, а модуль маршрутизації - правила індексації логів.
Окрему роль у системі виконує модуль моніторингу інфраструктури.
Його основною задачею є збір технічних метрик серверної частини
платформи. Модуль контролює використання процесора, оперативної пам’яті,
мережеве навантаження, кількість активних запитів та швидкість індексації
даних.
Для збору та аналізу інфраструктурних метрик використовується AWS
CloudWatch. Отримані дані використовуються для автоматичного
масштабування сервісу та виявлення потенційних проблем у роботі системи.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 45
Модуль моніторингу постійно взаємодіє з модулем керування
масштабуванням. Даний компонент відповідає за автоматичне збільшення або
зменшення кількості серверних інстансів залежно від навантаження.
Система використовує AWS Auto Scaling для динамічного
масштабування серверної частини. Наприклад, при різкому збільшенні
кількості логів або зростанні навантаження на API автоматично створюються
нові серверні інстанси. Після стабілізації навантаження зайві ресурси
вимикаються.
Autoscaling дозволяє системі ефективно використовувати ресурси
інфраструктури та підтримувати стабільну роботу навіть під час пікових
навантажень. Особливо важливим це є для систем логування, де кількість
повідомлень може різко збільшуватись під час аварій або помилок у зовнішніх
сервісах.
Для розгортання серверної частини використовується контейнеризація
на базі Docker. Кожен модуль системи запускається в окремому контейнері,
що дозволяє ізолювати компоненти між собою та спростити процес оновлення
сервісу.
Контейнери розгортаються в AWS ECS або Kubernetes-кластері. Такий
підхід забезпечує централізоване керування сервісами, автоматичний
перезапуск контейнерів у випадку помилок та підтримку горизонтального
масштабування.
Взаємодія між внутрішніми модулями системи реалізована через
внутрішні HTTP API та асинхронну передачу повідомлень. Це дозволяє
зменшити залежність між компонентами та забезпечити більш стабільну
роботу системи.
Важливою особливістю архітектури є відсутність прямої залежності між
прийомом логів та їх індексацією. Навіть якщо ElasticSearch тимчасово
недоступний або перевантажений, система продовжує приймати
повідомлення та обробляти їх після відновлення роботи кластера.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 46
Для забезпечення безпеки всі внутрішні та зовнішні з’єднання
використовують TLS-шифрування. Доступ до внутрішніх сервісів
обмежується через IAM-політики AWS та внутрішні мережеві правила.
Система підтримує централізоване логування власної інфраструктури.
Кожен модуль генерує службові логи, які також передаються до ElasticSearch.
Це дозволяє аналізувати роботу самої платформи та швидко виявляти
проблеми в окремих компонентах.
Таким чином, серверна частина системи побудована за принципами
модульної та масштабованої архітектури. Кожен компонент виконує окрему
функцію та взаємодіє з іншими модулями через стандартизовані механізми
обміну даними. Використання ElasticSearch, AWS Aurora, Docker, autoscaling
та асинхронної обробки повідомлень дозволило створити високопродуктивну
платформу для збору, збереження та аналізу серверних логів у режимі
реального часу.
3.2 Опис функцій системи
Інформаційна система моніторингу, логування та аналізу серверного
трафіку розроблена для централізованого збору, збереження, аналізу та
обробки логів із різних програмних сервісів та серверних застосунків.
Основною метою системи є забезпечення стабільного механізму контролю
роботи серверної інфраструктури, виявлення помилок, аналізу навантаження
та оперативного реагування на критичні події.
Система підтримує роботу з великою кількістю одночасних підключень
та здатна обробляти значні потоки даних у режимі реального часу.
Архітектура платформи побудована таким чином, щоб забезпечити
безперервний прийом повідомлень навіть під час пікових навантажень або
масштабування інфраструктури.
Однією з основних функцій системи є централізований збір логів.
Платформа дозволяє отримувати інформацію від різних зовнішніх сервісів
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 47
незалежно від мови програмування або внутрішньої архітектури застосунку.
Для цього використовуються SDK-клієнти та REST API.
Система підтримує прийом текстових логів, інформації про HTTP-
запити, технічних повідомлень, винятків застосунків, повідомлень про
помилки баз даних, інформації про навантаження серверів та службових подій.
Кожне повідомлення може містити додаткові метадані, зокрема час створення
події, IP-адресу клієнта, тип середовища, назву сервісу та рівень помилки
Функція збору логів реалізована таким чином, щоб забезпечити
мінімальні затримки при передачі даних. SDK-клієнти можуть працювати
асинхронно та надсилати інформацію пакетами, що дозволяє зменшити
навантаження на зовнішній сервіс і покращити продуктивність інтеграції.
Окремою функцією системи є автоматичне логування HTTP-запитів.
SDK може інтегруватися у серверний застосунок та автоматично
перехоплювати інформацію про вхідні та вихідні запити. Система фіксує
endpoint, HTTP-метод, статус відповіді, тривалість виконання запиту та
технічну інформацію про клієнта.
Дана функція дозволяє аналізувати поведінку застосунків у реальному
часі та швидко визначати проблемні ділянки інфраструктури. Наприклад,
адміністратор може виявити endpoint, який генерує найбільшу кількість
помилок або створює надмірне навантаження на сервер.
Система також підтримує функцію логування винятків та критичних
помилок застосунку. У випадку виникнення помилки SDK автоматично
формує структуроване повідомлення та передає його до серверної частини
системи. Повідомлення може містити текст помилки, стек викликів,
інформацію про середовище виконання та службові параметри застосунку.
Важливою функцією є нормалізація логів. Оскільки різні сервіси можуть
генерувати повідомлення у власному форматі, система виконує автоматичне
приведення даних до єдиної внутрішньої структури. Це дозволяє виконувати
централізований пошук та аналіз незалежно від джерела інформації.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 48
Під час нормалізації система виділяє ключові параметри повідомлення
та перетворює їх у стандартизований формат. Наприклад, час події
автоматично конвертується до єдиного часового поясу, а рівні помилок
приводяться до стандартизованих значень.
Окремою функцією системи є маршрутизація логів. Після отримання
повідомлення серверна частина визначає, до якого індексу ElasticSearch
необхідно записати конкретний лог. Маршрутизація може виконуватись за
типом сервісу, середовищем розгортання, проєктом або часовим періодом.
Дана функція дозволяє ефективно розподіляти дані між індексами та
забезпечує високу швидкість пошуку. Наприклад, логи production-середовища
можуть зберігатися окремо від development або testing середовищ.
Система підтримує функцію повнотекстового пошуку по логах.
Користувач може виконувати пошук за текстом повідомлення, рівнем
помилки, назвою сервісу, IP-адресою, endpoint або іншими параметрами. Для
цього використовується ElasticSearch, який забезпечує високу швидкість
обробки запитів навіть при роботі з великими обсягами інформації. Функція
перегляду та пошуку логів зображено на рисунку 3.2.
Рисунок 3.2 – Функція перегляду та пошуку логів
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 49
Пошук може виконуватись у режимі реального часу. Нові логи стають
доступними для аналізу практично одразу після індексації. Це дозволяє
адміністраторам швидко реагувати на помилки та відстежувати стан системи.
Окремо реалізована функція фільтрації логів. Користувач може
обмежувати результати пошуку за часовим періодом, типом сервісу, рівнем
помилки або іншими параметрами. Такий підхід значно спрощує аналіз
великих потоків даних.
Система також підтримує агрегацію даних та формування статистики.
На основі отриманих логів платформа може визначати кількість помилок за
певний період часу, аналізувати навантаження на окремі сервіси та формувати
аналітичні звіти.
Функція аналітики дозволяє визначати аномальну активність у роботі
серверної інфраструктури. Наприклад, система може виявити різке
збільшення кількості помилок або нестандартне навантаження на окремий
сервіс. Функція виявлення аномалій зображено на рисунку 3.3.
Рисунок 3.3 – Функція виявлення аномалій
Важливою функцією є підтримка багатопроєктної архітектури. Система
дозволяє ізолювати логи різних проєктів та інтеграцій між собою. Кожен
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 50
проєкт має власні API-ключі, налаштування маршрутизації та правила
доступу.
Для керування інтеграціями реалізована функція генерації API-ключів.
Адміністратор може створювати нові ключі доступу, задавати для них
обмеження та контролювати активність використання API.
Система підтримує механізми контролю доступу та авторизації
користувачів. Для веб-інтерфейсу використовується JWT-автентифікація, а
для SDK-клієнтів - API Key авторизація. Додатково реалізовано підтримку
ролей користувачів та розмежування прав доступу.
Наприклад, окремі користувачі можуть мати доступ лише до перегляду
логів, тоді як адміністратори можуть створювати інтеграції, змінювати
конфігурації та керувати користувачами системи.
Окремою функцією платформи є контроль навантаження та обмеження
кількості запитів. Система автоматично виконує rate limiting для SDK-клієнтів
та запобігає перевантаженню серверної частини.
Дана функція особливо важлива у випадку виникнення помилок у
зовнішніх сервісах, коли застосунок може почати генерувати надмірну
кількість логів за короткий проміжок часу.
Система підтримує функцію буферизації повідомлень. Отримані логи
тимчасово зберігаються у внутрішній черзі перед передачею до ElasticSearch.
Це дозволяє уникнути втрати даних у випадку короткочасної недоступності
окремих компонентів інфраструктури.
Буферизація також дозволяє стабілізувати навантаження на ElasticSearch
та оптимізувати процес індексації. Замість запису кожного повідомлення
окремо система формує пакети логів та виконує batch-індексацію.
Важливою функцією є автоматичне масштабування серверної частини
системи. Платформа працює в AWS та використовує механізми Auto Scaling
для динамічного збільшення або зменшення кількості серверних інстансів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 51
При збільшенні навантаження система автоматично створює нові
сервери для обробки запитів та індексації логів. Після зменшення
навантаження зайві ресурси вимикаються, що дозволяє оптимізувати
використання інфраструктури.
Система також підтримує функцію моніторингу власного стану. Кожен
модуль серверної частини генерує технічні метрики, які використовуються
для аналізу продуктивності платформи.
До основних метрик належать використання процесора, обсяг
оперативної пам’яті, кількість активних підключень, швидкість індексації
логів та середній час обробки запитів.
Для збору інфраструктурних метрик використовується AWS
CloudWatch. Отримані дані дозволяють автоматично виявляти проблеми у
роботі системи та своєчасно реагувати на нестандартні ситуації.
Окремою функцією є централізоване логування самої платформи.
Серверна частина системи також генерує службові логи, які зберігаються в
ElasticSearch. Це дозволяє аналізувати роботу внутрішніх компонентів та
швидко знаходити причини можливих помилок.
Система підтримує резервування конфігураційних даних та автоматичне
відновлення після збоїв. Для цього використовується AWS Aurora, яка
забезпечує реплікацію даних між зонами доступності AWS та автоматичне
створення резервних копій.
Важливою функцією є підтримка контейнеризованого розгортання. Усі
серверні модулі працюють у Docker-контейнерах, що забезпечує однакове
середовище виконання незалежно від конкретного сервера.
Контейнеризація дозволяє швидко оновлювати окремі компоненти
системи, масштабувати інфраструктуру та автоматично відновлювати сервіси
після помилок.
Система також підтримує функцію централізованого керування
конфігураціями. Усі параметри інтеграцій, правила маршрутизації, API-ключі
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 52
та налаштування користувачів зберігаються в єдиному конфігураційному
сховищі.
Завдяки цьому адміністратор може централізовано змінювати параметри
роботи системи без необхідності модифікації окремих серверних компонентів.
Окрему увагу приділено безпеці передачі даних. Усі з’єднання між SDK,
клієнтськими сервісами та серверною частиною системи використовують
HTTPS та TLS-шифрування.
Для захисту від несанкціонованого доступу система підтримує
механізми перевірки API-ключів, JWT-автентифікацію, обмеження доступу за
IP-адресами та внутрішні правила авторизації.
Таким чином, інформаційна система моніторингу, логування та аналізу
серверного трафіку реалізує повний набір функцій для централізованого
збору, обробки, збереження та аналізу логів. Система забезпечує високу
продуктивність, масштабованість, відмовостійкість та можливість інтеграції з
різними програмними платформами, що дозволяє ефективно використовувати
її у сучасній серверній інфраструктурі.
3.3 Технічні вимоги для роботи з системою
Інформаційна система моніторингу, логування та аналізу серверного
трафіку розроблена для роботи у хмарному середовищі та орієнтована на
обробку великої кількості серверних подій у режимі реального часу. Для
забезпечення стабільної роботи системи необхідно дотримуватись визначених
технічних вимог до серверної інфраструктури, програмного забезпечення,
мережевого середовища та клієнтських інтеграцій.
Система побудована за принципами мікросервісної архітектури та
використовує контейнеризоване розгортання. Основною платформою для
роботи сервісу є AWS. Використання хмарної інфраструктури дозволяє
реалізувати автоматичне масштабування серверних компонентів,
балансування навантаження та резервування ресурсів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 53
Для запуску серверної частини системи необхідна операційна система
Linux. Найкращу сумісність забезпечують Ubuntu Server 22.04 LTS або
Amazon Linux 2023. Саме ці операційні системи використовуються для
розгортання контейнерів та серверних компонентів у середовищі AWS.
Мінімальні апаратні вимоги до серверного середовища залежать від
кількості оброблюваних логів та інтенсивності навантаження. Для тестового
середовища достатньо 2 vCPU, 4 GB оперативної пам’яті та 20 GB SSD-
сховища. Для production-середовища рекомендується використовувати
сервери з не менше ніж 8 vCPU, 16 GB RAM та NVMe SSD-дисками.
Особливу увагу необхідно приділити дисковій підсистемі. Оскільки
система активно працює із записом та індексацією логів, швидкість операцій
введення-виведення безпосередньо впливає на продуктивність ElasticSearch.
Використання HDD-дисків не рекомендується через високі затримки при
індексації великих обсягів даних.
Для забезпечення стабільної роботи ElasticSearch необхідно резервувати
щонайменше 50% оперативної пам’яті для JVM heap space. Наприклад, при
використанні вузла з 16 GB RAM рекомендується виділяти 8 GB для роботи
ElasticSearch. Недостатній обсяг пам’яті може призводити до зниження
швидкості пошуку та затримок під час індексації.
Система використовує Docker-контейнери для запуску серверних
компонентів. Тому на сервері повинна бути встановлена Docker Engine версії
не нижче 24.0. Для оркестрації контейнерів можуть використовуватись AWS
ECS або Kubernetes.
Контейнеризація дозволяє стандартизувати процес розгортання та
забезпечує однакове середовище виконання незалежно від конфігурації
сервера. Кожен модуль системи запускається у власному контейнері, що
спрощує масштабування та оновлення компонентів.
Для роботи системи необхідне стабільне мережеве підключення.
Серверна частина постійно обробляє HTTP-запити від SDK-клієнтів та
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 54
взаємодіє з внутрішніми сервісами AWS. Рекомендована пропускна здатність
мережі для production-середовища становить не менше 1 Gbps.
Усі зовнішні з’єднання повинні використовувати HTTPS із TLS-
шифруванням. Сервер повинен підтримувати TLS версії не нижче 1.2.
Використання незахищених HTTP-з’єднань не допускається через ризик
перехоплення службових даних та API-ключів.
Для роботи API необхідно відкрити порт 443 для HTTPS-запитів.
Внутрішні сервіси можуть використовувати окремі порти для взаємодії між
контейнерами, однак доступ до них повинен бути обмежений внутрішньою
мережею AWS VPC.
Система використовує ElasticSearch як основне сховище логів. Для
роботи ElasticSearch рекомендується використовувати кластер із щонайменше
трьох вузлів. Це забезпечує реплікацію даних та дозволяє уникнути втрати
інформації у випадку збою одного із серверів.
Кожен вузол ElasticSearch повинен мати достатній обсяг дискового
простору для збереження індексів. Рекомендований мінімальний обсяг
становить 100 GB SSD-сховища для production-середовища. Обсяг сховища
залежить від кількості логів та політики збереження даних.
Система підтримує автоматичне створення індексів та ротацію логів.
Старі індекси можуть автоматично архівуватись або видалятись відповідно до
налаштувань retention policy. Це дозволяє контролювати використання
дискового простору та підтримувати стабільну продуктивність ElasticSearch.
Для збереження конфігураційних даних використовується AWS Aurora.
Система підтримує Aurora PostgreSQL або Aurora MySQL. База даних
використовується для збереження користувачів, API-ключів, конфігурацій
інтеграцій та службових налаштувань.
Рекомендовано використовувати Multi-AZ deployment для AWS Aurora.
Це дозволяє автоматично перемикатись на резервний вузол у випадку відмови
основного сервера бази даних.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 55
Для забезпечення стабільної роботи серверної частини необхідно
використовувати AWS Load Balancer. Балансувальник навантаження
розподіляє HTTP-запити між серверними інстансами та забезпечує високу
доступність сервісу.
Система підтримує autoscaling серверних компонентів. Для цього
необхідно налаштувати AWS Auto Scaling Groups та правила масштабування
на основі навантаження процесора, використання пам’яті або кількості
активних запитів.
Механізм autoscaling дозволяє автоматично збільшувати кількість
серверних інстансів при зростанні навантаження та зменшувати кількість
ресурсів після його стабілізації. Це дозволяє ефективно використовувати
обчислювальні ресурси та знижувати витрати на інфраструктуру.
Для моніторингу інфраструктури використовується AWS CloudWatch.
Система збирає технічні метрики, зокрема використання CPU, оперативної
пам’яті, кількість активних HTTP-запитів, швидкість індексації логів та час
відповіді сервісу.
Рекомендується налаштовувати автоматичні CloudWatch Alerts для
контролю критичних параметрів системи. Наприклад, перевищення
використання процесора понад 80% або збільшення кількості помилок API
може автоматично створювати повідомлення для адміністратора.
Для роботи SDK-клієнтів необхідна підтримка HTTPS-запитів та
можливість виконання REST API викликів. SDK не має жорстких вимог до
операційної системи або серверного середовища, оскільки реалізований для
різних мов програмування.
Система підтримує SDK для JavaScript, Python, PHP, Java, Go та C#. Для
коректної роботи інтеграції застосунок повинен мати доступ до мережі
Інтернет та можливість виконання HTTPS-запитів до API системи логування.
Кожен SDK використовує API-ключ для авторизації. API-ключ
генерується через систему керування інтеграціями та використовується під
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 56
час передачі логів. Для безпечної роботи SDK рекомендується зберігати ключі
доступу у змінних середовища або системах керування секретами.
Для захисту серверної частини використовуються механізми rate limiting
та throttling. У випадку надмірної кількості запитів система може тимчасово
обмежувати активність окремого клієнта.
Система підтримує асинхронну обробку логів. SDK може надсилати
повідомлення пакетами, що дозволяє зменшити навантаження на сервер та
оптимізувати використання мережевих ресурсів.
Для коректної роботи часових міток усі сервери повинні
використовувати синхронізацію часу через NTP. Це особливо важливо для
систем аналізу логів, оскільки неправильний системний час ускладнює
побудову хронології подій.
Веб-інтерфейс системи підтримує сучасні браузери, зокрема Google
Chrome, Mozilla Firefox, Microsoft Edge та Safari. Рекомендується
використовувати останні стабільні версії браузерів для забезпечення коректної
роботи інтерфейсу.
Для роботи веб-інтерфейсу необхідно підтримувати JavaScript та
HTTPS-з’єднання. Мінімальна рекомендована роздільна здатність екрана
становить 1366x768 пікселів.
Система підтримує багатокористувацький режим роботи. Для кожного
користувача можуть бути визначені окремі ролі та права доступу. Це дозволяє
ізолювати проєкти між різними командами або організаціями.
Для забезпечення безпеки рекомендується використовувати
багатофакторну автентифікацію для адміністративних облікових записів.
Додатково система підтримує обмеження доступу за IP-адресами.
Важливою технічною вимогою є резервне копіювання даних.
Конфігурації AWS Aurora повинні автоматично резервуватись щонайменше
один раз на добу. Для ElasticSearch рекомендується використовувати snapshot-
механізми резервування індексів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 57
Система також підтримує автоматичне відновлення після збоїв. У
випадку відмови окремого контейнера оркестратор автоматично запускає
новий екземпляр сервісу.
Для забезпечення стабільної роботи production-середовища
рекомендується використовувати окремі середовища для development, staging
та production. Це дозволяє тестувати нові функції без ризику впливу на робочу
інфраструктуру.
Таким чином, технічні вимоги системи орієнтовані на забезпечення
високої продуктивності, масштабованості, безпеки та відмовостійкості
серверної інфраструктури. Використання AWS, ElasticSearch, Docker-
контейнерів та автоматичного масштабування дозволяє системі стабільно
працювати навіть при значних навантаженнях та великій кількості серверних
подій.
3.4 Оцінка ефективності
Інформаційна система моніторингу, логування та аналізу серверного
трафіку розроблена як централізована платформа для збору, обробки та
аналізу серверних логів у режимі реального часу. Під час оцінки ефективності
системи основна увага приділяється продуктивності, масштабованості,
швидкості обробки даних, простоті інтеграції та можливості адаптації до
різних типів інфраструктури.
Однією з головних переваг розробленої системи є її орієнтація на роботу
з великими потоками серверних подій. Використання GoLang для реалізації
серверної частини дозволило забезпечити високу швидкість обробки HTTP-
запитів та ефективну роботу з конкурентними підключеннями. Завдяки
використанню goroutine система може одночасно приймати велику кількість
логів без суттєвого навантаження на серверну інфраструктуру.
На практиці це дозволяє використовувати платформу навіть у
середовищах із високою інтенсивністю трафіку. Наприклад, мікросервісна
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 58
архітектура сучасних веб-застосунків може генерувати десятки тисяч логів
щосекунди. Розроблена система здатна стабільно працювати в таких умовах
завдяки асинхронній обробці повідомлень та механізмам буферизації.
Ще однією важливою перевагою є використання ElasticSearch як
основного сховища логів. На відміну від класичних реляційних баз даних,
ElasticSearch оптимізований саме для швидкого пошуку та аналізу
неструктурованих даних. Це дозволяє виконувати пошук по великих масивах
логів практично в режимі реального часу.
Швидкість роботи системи має критичне значення для моніторингу
серверної інфраструктури. У випадку виникнення помилок адміністратор
повинен максимально швидко отримати інформацію про проблему та
визначити її причину. Використання ElasticSearch дозволяє знаходити
потрібні повідомлення серед мільйонів записів за короткий проміжок часу.
Система також демонструє високу ефективність під час аналізу
серверних подій. Завдяки механізмам агрегації можна швидко визначати
найбільш проблемні сервіси, аналізувати частоту виникнення помилок та
відстежувати аномальну активність у роботі застосунків.
Важливою перевагою є підтримка автоматичного масштабування
інфраструктури. Більшість простих систем логування мають статичну
архітектуру, яка потребує ручного збільшення серверних ресурсів при
зростанні навантаження. У розробленій системі використовується AWS Auto
Scaling, що дозволяє автоматично створювати нові серверні інстанси при
збільшенні кількості запитів або обсягу логів.
Такий підхід значно підвищує стабільність роботи системи. Навіть у
випадку різкого збільшення кількості серверних подій платформа продовжує
працювати без втрати даних та без суттєвого зниження продуктивності.
Порівняно з локальними системами логування, які працюють на одному
сервері, хмарна архітектура AWS забезпечує значно вищий рівень
відмовостійкості. Дані автоматично реплікуються між зонами доступності, а
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 59
серверні компоненти можуть автоматично перезапускатись у випадку
помилок.
Окремою перевагою системи є простота інтеграції із зовнішніми
сервісами. Для цього реалізовано SDK для популярних мов програмування,
зокрема JavaScript, Python, PHP, Java, Go та C#. Використання SDK дозволяє
швидко підключати серверні застосунки до системи логування без
необхідності самостійно реалізовувати механізми передачі логів.
Багато існуючих платформ моніторингу потребують складного
налаштування агентів або ручної конфігурації форматів повідомлень. У
розробленій системі процес інтеграції значно спрощений, оскільки SDK
автоматично виконує передачу логів та підтримує стандартизований формат
повідомлень.
Ще однією перевагою є можливість централізованого збору логів із
різних сервісів. У сучасних серверних інфраструктурах застосунки часто
складаються з десятків окремих мікросервісів, кожен із яких генерує власні
журнали подій. Без централізованої системи моніторингу аналіз таких логів
стає складним та неефективним.
Розроблена платформа дозволяє об’єднати всі логи в єдиному сховищі
та виконувати пошук по всій інфраструктурі одночасно. Це значно спрощує
процес виявлення помилок та аналізу взаємодії між сервісами.
Порівняно з класичними системами логування, де повідомлення
зберігаються у звичайних текстових файлах, централізована індексація в
ElasticSearch забезпечує значно кращу продуктивність пошуку та аналітики.
Важливою перевагою системи є її модульна архітектура. Серверна
частина складається з окремих незалежних компонентів, кожен із яких
відповідає за власний функціональний набір задач. Такий підхід спрощує
модернізацію платформи та дозволяє масштабувати окремі компоненти
незалежно один від одного.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 60
Наприклад, при збільшенні навантаження на модуль індексації можна
масштабувати лише індексатори ElasticSearch без необхідності збільшувати
ресурси інших компонентів системи.
Система також має переваги з точки зору безпеки. Для авторизації SDK
використовується API Key механізм, а для веб-інтерфейсу - JWT-токени. Усі
з’єднання виконуються через HTTPS із TLS-шифруванням.
Порівняно з багатьма локальними рішеннями, де питання безпеки
реалізовані лише частково, розроблена система забезпечує централізований
контроль доступу та підтримує механізми rate limiting, обмеження доступу за
IP-адресами та рольову модель користувачів.
Окремо варто відзначити ефективність системи з точки зору підтримки
та адміністрування. Використання Docker-контейнерів дозволяє швидко
оновлювати серверні компоненти та автоматизувати процес розгортання
інфраструктури.
Контейнеризація також спрощує перенесення системи між різними
середовищами та забезпечує однакову конфігурацію сервісів незалежно від
серверного оточення.
Порівняно з деякими існуючими системами моніторингу, які
потребують складного налаштування та значних ресурсів для підтримки,
розроблена платформа орієнтована на максимально просте розгортання та
автоматизацію інфраструктурних процесів.
Ще однією перевагою є можливість подальшого розширення
функціоналу. Архітектура системи дозволяє додавати нові модулі без
необхідності повного перепроєктування платформи.
Наприклад, у майбутньому система може підтримувати інтеграцію з
machine learning сервісами для автоматичного виявлення аномалій у логах або
прогнозування помилок на основі поведінки серверної інфраструктури.
Також можливе розширення функціоналу сповіщень. У поточній
реалізації система орієнтована на збір та аналіз логів, однак у майбутньому
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 61
можуть бути реалізовані механізми автоматичних alert-повідомлень через
Telegram, Slack, Email або Discord.
Попри значну кількість переваг, система також має певні обмеження.
Одним із недоліків є залежність від хмарної інфраструктури AWS. Хоча
використання AWS забезпечує високу доступність та масштабованість, це
також створює залежність від конкретного провайдера хмарних сервісів.
У випадку використання локальної інфраструктури частину
функціоналу autoscaling або резервування необхідно буде реалізовувати
окремо.
Ще одним недоліком є підвищені вимоги до ресурсів ElasticSearch. При
роботі з великими обсягами логів кластер може споживати значну кількість
оперативної пам’яті та дискового простору.
Однак дана проблема характерна практично для всіх сучасних систем
централізованого логування, які використовують повнотекстову індексацію
та аналітику в режимі реального часу.
Також на поточному етапі система орієнтована переважно на серверне
логування та HTTP-трафік. Частина функцій для роботи з distributed tracing
або повноцінним APM-моніторингом ще не реалізована.
Проте архітектура системи спроєктована таким чином, щоб у
майбутньому можна було інтегрувати додаткові механізми моніторингу без
значних змін основної структури платформи.
Перспективним напрямком розвитку системи є підтримка
автоматичного аналізу логів із використанням штучного інтелекту.
Наприклад, система може автоматично визначати аномальні патерни
поведінки сервісів або групувати схожі помилки.
Також можливим є впровадження механізмів автоматичного реагування
на критичні події, коли система самостійно створює сповіщення або виконує
predefined actions у відповідь на певні типи помилок.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 62
У майбутньому може бути реалізована підтримка додаткових
протоколів передачі даних, зокрема Kafka, gRPC або WebSocket, що дозволить
інтегрувати платформу з більш складними distributed systems.
Таким чином, розроблена інформаційна система демонструє високу
ефективність при роботі з великими потоками серверних логів та забезпечує
централізований моніторинг сучасної інфраструктури. Використання GoLang,
ElasticSearch, AWS та контейнеризованої архітектури дозволило створити
масштабовану та відмовостійку платформу, яка може використовуватись як у
невеликих проєктах, так і у високонавантажених корпоративних системах.
Попри окремі технічні обмеження, система має значний потенціал подальшого
розвитку та може бути адаптована під нові задачі моніторингу й аналізу
серверного трафіку.
3.5 Висновки до розділу
У даному розділі було розглянуто процес розробки інформаційної
системи моніторингу, логування та аналізу серверного трафіку, визначено
структуру серверної частини та описано основні функції платформи. Система
побудована за модульною архітектурою, що забезпечує масштабованість,
відмовостійкість та можливість незалежного розширення окремих
компонентів.
У результаті розробки реалізовано механізми централізованого збору
логів, обробки серверних подій, індексації даних у ElasticSearch та аналітики
логів у режимі реального часу. Окрему увагу приділено інтеграції із
зовнішніми сервісами через SDK для популярних мов програмування та
підтримці автоматичного логування HTTP-запитів.
Також було визначено технічні вимоги до серверної інфраструктури,
описано використання AWS, Docker-контейнерів, autoscaling та механізмів
забезпечення безпеки системи.
Проведена оцінка ефективності показала, що використання GoLang,
ElasticSearch та хмарної інфраструктури AWS дозволяє забезпечити високу
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 63
продуктивність, швидкий пошук логів, підтримку масштабування та стабільну
роботу системи при значному навантаженні.
Отримані результати підтверджують можливість ефективного
використання розробленої системи для централізованого моніторингу,
логування та аналізу серверного трафіку у сучасних програмних
інфраструктурах.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 64
4 ЗАХИСТ ІНФОРМАЦІЙНОЇ СИСТЕМИМОНІТОРИНГУ,
ЛОГУВАННЯ ТА АНАЛІЗУ СЕРВЕРНОГО ТРАФІКУ
4.1 Огляд існуючих рішень
Під час роботи із системами логування особливу увагу необхідно
приділяти захисту інформації, оскільки серверні логи можуть містити
конфіденційні дані про роботу застосунків, користувачів, мережеву
інфраструктуру та внутрішню архітектуру системи. У випадку
несанкціонованого доступу до логів зловмисник може отримати службову
інформацію про серверне середовище, структуру API, помилки застосунків
або механізми автентифікації.
Однією з основних задач захисту є обмеження доступу до логів. У
сучасних системах логування доступ до інформації повинен надаватися лише
авторизованим користувачам із відповідними правами. Для цього
використовуються механізми автентифікації та авторизації, зокрема JWT-
токени, API Key та рольова модель доступу.
Кожен користувач системи повинен мати доступ лише до тих проєктів
або сервісів, які належать його організації або команді. Такий підхід дозволяє
ізолювати дані між різними користувачами та запобігати витоку службової
інформації.
Важливим елементом захисту є шифрування передавання даних. Усі
HTTP-запити між SDK, серверною частиною системи та веб-інтерфейсом
повинні використовувати HTTPS із TLS-шифруванням. Це дозволяє захистити
інформацію від перехоплення під час передавання через мережу.
Особливу небезпеку становить потрапляння конфіденційної інформації
безпосередньо у логи [21]. Серверні застосунки можуть випадково записувати
паролі, токени доступу, номери банківських карток або персональні дані
користувачів. Для запобігання цьому система повинна підтримувати
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 65
механізми фільтрації та маскування конфіденційних даних.
Під час обробки повідомлень система може автоматично приховувати окремі
поля або замінювати їх службовими значеннями. Наприклад, токени
авторизації можуть зберігатися у скороченому форматі, а паролі повністю
видалятися з повідомлень перед індексацією.
Для захисту серверної інфраструктури також використовуються
механізми rate limiting та throttling. Вони дозволяють обмежувати кількість
запитів від одного клієнта та запобігати перевантаженню системи або спробам
автоматизованих атак.
Окрему роль у захисті системи відіграє контроль API-ключів. Кожен
SDK-клієнт використовує власний API Key для передачі логів. Ключі доступу
повинні зберігатися у захищеному вигляді та не передаватися у відкритому
коді або публічних репозиторіях [22].
Система також повинна підтримувати механізми журналювання дій
користувачів. Усі спроби авторизації, зміни конфігурацій, створення
інтеграцій або перегляд логів повинні додатково фіксуватись у журналі
аудиту. Це дозволяє відстежувати підозрілу активність та аналізувати
інциденти безпеки.
Для забезпечення безпеки інфраструктури серверні компоненти повинні
працювати у внутрішньому ізольованому середовищі AWS VPC. Доступ до
ElasticSearch, AWS Aurora та внутрішніх сервісів має бути обмежений лише
дозволеними компонентами системи.
Важливим елементом захисту є резервне копіювання даних та підтримка
механізмів відновлення після збоїв. У випадку пошкодження інфраструктури
або втрати даних система повинна забезпечувати можливість швидкого
відновлення конфігурацій та логів із резервних копій.
Також необхідно регулярно оновлювати серверне програмне
забезпечення, Docker-образи та бібліотеки SDK для усунення потенційних
вразливостей безпеки. Використання застарілих компонентів може
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 66
створювати ризики несанкціонованого доступу або виконання шкідливого
коду.
Захист інформації при роботі з логами серверних додатків є важливою
складовою сучасних систем моніторингу та логування. Використання
механізмів автентифікації, TLS-шифрування, фільтрації конфіденційних
даних, контролю доступу та ізоляції інфраструктури дозволяє забезпечити
безпечне збереження та обробку серверних логів у сучасному хмарному
середовищі [23].
Однією з найважливіших складових сучасних інформаційних систем є
забезпечення захисту даних та контроль доступу до функціоналу платформи.
Для систем моніторингу та логування питання безпеки є особливо важливим,
оскільки серверні логи можуть містити службову інформацію про роботу
інфраструктури, конфігурації сервісів, мережеві параметри, помилки
застосунків та дані користувачів. У випадку несанкціонованого доступу така
інформація може бути використана для аналізу архітектури системи або
здійснення атак на серверне середовище.
Для забезпечення безпеки у системі реалізовано механізми
автентифікації та авторизації користувачів. Автентифікація використовується
для перевірки особи користувача під час входу до системи, тоді як авторизація
визначає рівень доступу до окремих функцій та ресурсів платформи.
Під час входу користувач повинен ввести логін та пароль. Серверна частина
системи виконує перевірку облікових даних та формує JWT-токен, який
використовується для подальшої роботи із веб-інтерфейсом та API.
Використання JWT дозволяє реалізувати безстанний механізм авторизації без
необхідності постійного збереження сесій на сервері [24].
JWT-токен містить службову інформацію про користувача, його роль та
термін дії токена. Після успішної авторизації токен передається клієнту та
використовується під час виконання запитів до серверної частини системи.
Кожен запит проходить перевірку валідності токена, що дозволяє
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 67
контролювати доступ до функцій платформи.
Для підвищення рівня безпеки токени мають обмежений час дії. Після
завершення терміну дії користувач повинен повторно пройти автентифікацію.
Такий підхід знижує ризик використання викрадених токенів сторонніми
особами.
Паролі користувачів не зберігаються у відкритому вигляді. Перед
збереженням у базі даних пароль проходить процедуру хешування із
використанням сучасних криптографічних алгоритмів. Навіть у випадку
компрометації бази даних отримання реальних паролів користувачів буде
суттєво ускладненим.
У системі також реалізовано рольову модель доступу. Кожен користувач
має певний набір дозволів залежно від своєї ролі. Наприклад, звичайний
користувач може переглядати логи та виконувати пошук, тоді як адміністратор
має доступ до керування інтеграціями, створення API-ключів, налаштування
маршрутизації та керування користувачами.
Розмежування прав доступу дозволяє обмежити використання
критичних функцій системи та мінімізувати ризик випадкової зміни
конфігурацій або витоку інформації.
Окрему увагу приділено захисту API системи. Для взаємодії SDK із
серверною частиною використовуються API-ключі. Кожен інтегрований
сервіс отримує окремий ключ доступу, який використовується для авторизації
під час передавання логів.
API-ключі дозволяють ідентифікувати джерело повідомлень та
контролювати активність окремих інтеграцій. Серверна частина перевіряє
валідність ключа, доступні обмеження та права конкретного клієнта.
Для запобігання перевантаженню системи використовується механізм rate
limiting. Він обмежує кількість запитів, які можуть бути виконані одним
користувачем або SDK-клієнтом протягом визначеного проміжку часу. Це
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 68
дозволяє захистити систему від автоматизованих атак та надмірного
навантаження.
Усі з’єднання між клієнтом та сервером використовують HTTPS із TLS-
шифруванням. Передавання даних у зашифрованому вигляді дозволяє
захистити інформацію від перехоплення під час роботи через мережу Інтернет.
Для додаткового захисту адміністративних облікових записів система може
підтримувати багатофакторну автентифікацію. У такому випадку під час
входу користувач повинен додатково підтвердити авторизацію за допомогою
одноразового коду або зовнішнього сервісу автентифікації.
Система також підтримує журналювання дій користувачів. Усі спроби входу,
зміни конфігурацій, створення інтеграцій або генерація API-ключів
фіксуються у журналі аудиту. Це дозволяє аналізувати підозрілу активність та
контролювати дії користувачів у системі.
Для захисту внутрішньої інфраструктури доступ до серверних
компонентів обмежується внутрішньою мережею AWS VPC та IAM-
політиками. ElasticSearch, AWS Aurora та внутрішні сервіси не доступні
напряму з Інтернету та можуть використовуватись лише дозволеними
компонентами платформи.
Реалізовані механізми автентифікації, авторизації, TLS-шифрування,
контролю доступу та журналювання дій користувачів дозволяють забезпечити
безпечну роботу інформаційної системи та захист серверних логів від
несанкціонованого доступу.
Під час роботи серверних додатків питання захисту інформації є одним
із ключових факторів забезпечення стабільності та безпеки програмної
інфраструктури. Серверні застосунки постійно взаємодіють із базами даних,
зовнішніми сервісами, API та клієнтськими застосунками, тому будь-які
помилки в реалізації механізмів безпеки можуть призвести до витоку даних,
несанкціонованого доступу або порушення роботи системи.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 69
Одним із основних напрямків захисту є забезпечення безпечної
взаємодії між клієнтом та сервером. Для цього всі мережеві з’єднання повинні
використовувати HTTPS із TLS-шифруванням. Передавання інформації у
зашифрованому вигляді дозволяє захистити дані від перехоплення під час
передавання через мережу та унеможливлює отримання службової інформації
сторонніми особами.
Особливу увагу необхідно приділяти захисту API серверного
застосунку. У сучасних системах більшість взаємодії між сервісами
відбувається через HTTP API, тому важливо забезпечити механізми
автентифікації та контролю доступу. Для цього використовуються JWT-
токени, API Key або OAuth-авторизація.
JWT-токени дозволяють перевіряти автентичність користувача без
необхідності збереження серверних сесій. Після успішної авторизації сервер
генерує токен, який містить службову інформацію про користувача та його
права доступу. Під час кожного запиту сервер перевіряє валідність токена та
визначає, чи має користувач доступ до відповідного ресурсу.
Для інтеграції серверних сервісів часто використовуються API-ключі. Кожен
зовнішній застосунок отримує окремий ключ доступу, який використовується
під час виконання запитів до API. Це дозволяє контролювати джерело запитів,
встановлювати обмеження на використання сервісу та блокувати підозрілу
активність.
Важливим елементом захисту є правильне збереження конфіденційних
даних. Паролі користувачів не повинні зберігатися у відкритому вигляді.
Перед записом у базу даних пароль повинен проходити процедуру хешування
із використанням сучасних криптографічних алгоритмів. Додатково можуть
використовуватись salt-механізми для підвищення стійкості до атак.
Серверні додатки також повинні захищати службову інформацію від
потрапляння у логи або повідомлення про помилки. Наприклад, система не
повинна зберігати паролі, токени доступу, банківські реквізити або
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 70
персональні дані користувачів у відкритому вигляді. Для цього
використовуються механізми маскування та фільтрації конфіденційних полів.
Однією з поширених загроз для серверних застосунків є SQL Injection. Для
захисту від подібних атак необхідно використовувати параметризовані запити
або ORM-системи, які автоматично виконують екранування параметрів та
запобігають виконанню шкідливого SQL-коду.
Також важливо забезпечити захист від Cross-Site Scripting та Cross-Site
Request Forgery атак. Для цього серверна частина повинна перевіряти вхідні
дані, використовувати CSRF-токени та обмежувати виконання небезпечного
JavaScript-коду у веб-інтерфейсі.
Для запобігання перевантаженню системи використовується rate
limiting. Даний механізм обмежує кількість запитів, які можуть надходити від
одного користувача або IP-адреси протягом певного часу. Це дозволяє
захистити серверний застосунок від DDoS-атак та автоматизованих спроб
підбору паролів.
Окрему роль відіграє ізоляція серверної інфраструктури. У хмарному
середовищі AWS внутрішні сервіси повинні працювати у приватних мережах
VPC та бути недоступними напряму з Інтернету. Доступ до баз даних,
ElasticSearch та внутрішніх API має здійснюватися лише через дозволені
серверні компоненти [25].
Для забезпечення стабільної роботи серверних додатків необхідно
регулярно виконувати оновлення програмного забезпечення, Docker-образів
та бібліотек. Використання застарілих компонентів може призводити до появи
відомих вразливостей та ризику несанкціонованого доступу.
Важливим елементом захисту є резервне копіювання даних та підтримка
механізмів відновлення після збоїв. Серверна інфраструктура повинна
автоматично створювати резервні копії баз даних та конфігурацій для
мінімізації ризику втрати інформації.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 71
Додатково серверні застосунки повинні підтримувати журналювання
дій користувачів та службових подій. Це дозволяє аналізувати спроби
несанкціонованого доступу, контролювати зміни конфігурацій та проводити
аудит дій адміністраторів.
4.2 Реалізація захисту користувачів
Інформаційна система моніторингу, логування та аналізу серверного
трафіку працює з великою кількістю технічної інформації, яка може містити
службові дані серверів, конфігурації застосунків, HTTP-запити, IP-адреси,
повідомлення про помилки та інші критично важливі дані. Саме тому
реалізація механізмів захисту користувачів та серверної інфраструктури є
однією з основних задач під час розробки системи.
Під час проєктування архітектури платформи особлива увага
приділялась безпеці передачі даних, захисту API, контролю доступу,
безпечному збереженню конфігурацій та захисту від несанкціонованого
використання сервісу.
Одним із базових механізмів захисту є використання HTTPS для всіх
зовнішніх та внутрішніх з’єднань. Усі HTTP-запити між SDK-клієнтами, веб-
інтерфейсом та серверною частиною системи передаються виключно через
TLS-шифрування.
Використання HTTPS дозволяє захистити дані від перехоплення під час
передачі мережею. Це особливо важливо для систем логування, оскільки
повідомлення можуть містити службову інформацію про роботу серверів або
внутрішню структуру застосунків.
Для забезпечення сучасного рівня безпеки система підтримує TLS версії
не нижче 1.2. Старі або небезпечні алгоритми шифрування відключені на рівні
серверної конфігурації.
Важливим елементом захисту є система авторизації SDK-клієнтів. Для
передачі логів використовується API Key механізм. Кожен клієнт або
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 72
інтеграція отримує унікальний ключ доступу, який використовується для
авторизації HTTP-запитів.
API-ключ дозволяє ідентифікувати джерело запиту та визначати права
доступу конкретного сервісу. Серверна частина перевіряє валідність ключа
перед обробкою будь-якого повідомлення.
Для підвищення рівня безпеки API-ключі не зберігаються у відкритому
вигляді. Усі ключі проходять процедуру шифрування або хешування перед
записом у базу даних. Навіть у випадку компрометації бази даних отримати
оригінальний ключ доступу буде неможливо.
Система також підтримує механізми ротації API-ключів. Адміністратор
може у будь-який момент створити новий ключ доступу та деактивувати
попередній без необхідності зупинки інтеграції.
Для захисту веб-інтерфейсу використовується JWT-автентифікація.
Після успішного входу користувач отримує токен доступу, який містить
службову інформацію про його права та роль у системі.
JWT дозволяє реалізувати stateless-модель авторизації, при якій сервер
не зберігає активні сесії користувачів. Це значно спрощує масштабування
серверної частини та добре поєднується з AWS Auto Scaling.
Токени мають обмежений термін дії, після завершення якого користувач
повинен пройти повторну авторизацію. Це дозволяє знизити ризик
несанкціонованого використання токенів у випадку їх компрометації.
Окрему увагу приділено реалізації Role-Based Access Control. У системі
підтримується рольова модель користувачів, яка дозволяє обмежувати доступ
до окремих функцій та проєктів.
Наприклад, звичайний користувач може мати доступ лише до перегляду
логів, тоді як адміністратор має можливість керувати API-ключами,
створювати інтеграції та змінювати конфігурацію системи.
Розмежування прав доступу дозволяє мінімізувати ризик випадкової або
навмисної зміни критичних параметрів платформи.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 73
Система також підтримує ізоляцію проєктів між різними користувачами
або командами. Кожен проєкт має власні API-ключі, конфігурації та логічно
відокремлені дані.
Користувачі не можуть отримати доступ до логів або налаштувань
інших проєктів без відповідних прав доступу.
Для захисту від brute-force атак реалізовано механізм обмеження
кількості спроб авторизації. При перевищенні допустимої кількості невдалих
входів система тимчасово блокує можливість повторної авторизації з
конкретної IP-адреси.
Додатково реалізовано rate limiting для API-запитів. Система контролює
кількість запитів від кожного SDK-клієнта та обмежує надмірну активність.
Такий підхід дозволяє захистити серверну частину від перевантаження
або DDoS-атак, які можуть виникати через неправильну роботу інтеграцій або
навмисні дії зловмисників.
Важливим компонентом захисту є фільтрація вхідних даних. Усі
повідомлення, які надходять до системи, проходять процедуру валідації та
перевірки структури.
Система перевіряє типи даних, обмежує максимальний розмір
повідомлень та автоматично видаляє потенційно небезпечні символи або
конструкції.
Це дозволяє захистити платформу від ін’єкційних атак та спроб передати
шкідливі дані через API.
Окремо реалізовано механізми захисту від SQL Injection та NoSQL
Injection. Оскільки система використовує AWS Aurora та ElasticSearch, усі
запити до баз даних формуються виключно через параметризовані механізми
або офіційні SDK.
Жодні дані користувача не вставляються безпосередньо у текст SQL або
пошукових запитів.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 74
Для захисту конфіденційної інформації система підтримує маскування
окремих типів даних. Наприклад, під час передачі логів можуть автоматично
приховуватись токени доступу, паролі, номери карток або інші чутливі
параметри.
Механізм маскування дозволяє уникнути випадкового потрапляння
критичних даних до системи логування. Для збереження секретів та
службових параметрів використовується AWS Secrets Manager. Усі ключі
доступу, JWT-secret, параметри підключення до баз даних та інші
конфіденційні дані зберігаються у захищеному централізованому сховищі.
Такий підхід дозволяє уникнути збереження секретів у конфігураційних
файлах або вихідному коді сервісів. Доступ до секретів контролюється через
IAM-політики AWS, що забезпечує додатковий рівень безпеки.
Для захисту серверної інфраструктури використовується AWS VPC.
Внутрішні сервіси системи працюють у приватній мережі та не мають прямого
доступу з Інтернету.
Публічний доступ дозволений лише до API Gateway та Load Balancer,
які виконують роль зовнішньої точки входу в систему. Використання
приватних мереж дозволяє значно зменшити поверхню атаки та ізолювати
внутрішні компоненти платформи.
Додатково система використовує Security Groups та Network ACL для
контролю мережевого доступу між сервісами. Наприклад, ElasticSearch та
AWS Aurora доступні лише для внутрішніх серверних компонентів і не
можуть бути напряму використані зовнішніми клієнтами.
Для забезпечення стабільності роботи система підтримує резервне
копіювання конфігураційних даних та індексів ElasticSearch. AWS Aurora
автоматично створює резервні копії бази даних, а ElasticSearch використовує
snapshot-механізми для резервування індексів.
У випадку збою або втрати даних система може бути відновлена з
резервної копії.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 75
Окрему увагу приділено логуванню дій користувачів. Система фіксує
авторизацію, створення API-ключів, зміну конфігурацій та інші
адміністративні операції.
Журнал аудиту дозволяє відстежувати дії користувачів та швидко
визначати причину потенційних проблем або змін у конфігурації.
Для захисту контейнеризованої інфраструктури використовується
ізоляція Docker-контейнерів. Кожен сервіс працює у власному середовищі
виконання та не має прямого доступу до інших компонентів без відповідних
мережевих правил.
Контейнери запускаються з мінімально необхідними правами доступу,
що дозволяє зменшити ризик компрометації всієї інфраструктури у випадку
вразливості окремого сервісу.
Система також підтримує автоматичний моніторинг безпеки. За
допомогою AWS CloudWatch та внутрішніх механізмів аналізуються
аномальні запити, надмірна активність API та помилки авторизації.
У випадку виявлення підозрілої активності адміністратор може
отримати автоматичне повідомлення. Для підвищення безпеки користувачів
рекомендується використовувати багатофакторну автентифікацію для
адміністративних акаунтів. Навіть у випадку компрометації пароля
зловмисник не зможе отримати доступ до системи без додаткового
підтвердження входу.
Важливою частиною захисту є регулярне оновлення серверних
компонентів та бібліотек. Усі Docker-образи проходять оновлення безпекових
патчів та перевірку на відомі вразливості.
Система також підтримує автоматичний перезапуск контейнерів у
випадку критичних помилок або аварійного завершення роботи сервісів
Таким чином, реалізація захисту користувачів у системі охоплює всі
основні рівні безпеки: захист мережевих з’єднань, контроль доступу, безпечне
збереження секретів, ізоляцію інфраструктури, моніторинг активності та
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 76
захист від перевантаження. Використання AWS, TLS-шифрування, JWT, API
Key авторизації та механізмів Role-Based Access Control дозволяє забезпечити
високий рівень безпеки системи та мінімізувати ризики несанкціонованого
доступу або втрати даних.
4.3 Висновки до розділу
У даному розділі було розглянуто основні механізми захисту
інформаційної системи моніторингу, логування та аналізу серверного трафіку.
Проведено аналіз сучасних підходів до забезпечення безпеки серверних
застосунків, захисту логів, контролю доступу та безпечної взаємодії між
компонентами системи.
У результаті дослідження визначено, що для забезпечення безпечної
роботи платформи необхідно використовувати комплексний підхід, який
включає TLS-шифрування, JWT-автентифікацію, API Key авторизацію,
рольову модель доступу, механізми rate limiting та ізоляцію інфраструктури у
середовищі AWS.
Окрему увагу приділено захисту конфіденційної інформації, безпечному
збереженню секретів, резервному копіюванню даних та журналюванню дій
користувачів. Також реалізовано механізми фільтрації небезпечних даних,
захисту API та контролю активності користувачів і SDK-клієнтів.
Використання Docker-контейнерів, AWS VPC, IAM-політик та автоматичного
моніторингу безпеки дозволяє забезпечити ізоляцію серверних компонентів
та підвищити рівень відмовостійкості системи.
Реалізовані механізми захисту забезпечують безпечну роботу
платформи, мінімізують ризики несанкціонованого доступу та дозволяють
ефективно захищати серверні логи, конфігураційні дані та користувацьку
інформацію у сучасному хмарному середовищі.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 77
ВИСНОВКИ
У кваліфікаційній роботі було розроблено інформаційну систему
моніторингу, логування та аналізу серверного трафіку, призначену для
централізованого збору, збереження та обробки серверних логів у сучасному
високонавантаженому середовищі. У процесі виконання роботи проведено
аналіз існуючих систем логування, визначено їх основні переваги та недоліки,
а також обґрунтовано необхідність створення власної масштабованої
платформи для роботи із серверними подіями.
У роботі досліджено принципи функціонування серверних логів, види
журналів подій, механізми моніторингу інфраструктури та особливості
централізованого логування у distributed systems. Проведений аналіз показав,
що сучасні системи логування мають обмеження, пов’язані зі складністю
масштабування, високими вимогами до ресурсів, складністю інтеграції та
адміністрування.
У результаті було спроєктовано модульну архітектуру серверної
частини системи, яка включає механізми прийому логів, авторизації SDK-
клієнтів, обробки повідомлень, маршрутизації даних, індексації логів,
аналітики та автоматичного масштабування інфраструктури. Для реалізації
серверної частини використано GoLang, що дозволило забезпечити високу
продуктивність, ефективну обробку великої кількості одночасних запитів та
стабільну роботу під навантаженням.
Для збереження та пошуку логів використано ElasticSearch, який
забезпечує швидку індексацію, підтримку повнотекстового пошуку та
ефективну роботу з великими обсягами неструктурованих даних.
Конфігураційні дані системи зберігаються у AWS Aurora, а серверна
інфраструктура працює у хмарному середовищі AWS із використанням
autoscaling та контейнеризації Docker.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 78
Також реалізовано SDK для популярних мов програмування, що
дозволяє інтегрувати систему з різними серверними застосунками та
автоматизувати процес передавання логів. Додатково розроблено механізми
пошуку, фільтрації, аналітики логів та підтримку автоматичних alert-
сповіщень.
Окрему увагу приділено питанням захисту інформації та безпеки
системи. Реалізовано механізми JWT-автентифікації, API Key авторизації,
TLS-шифрування, Role-Based Access Control, rate limiting та ізоляції
інфраструктури у середовищі AWS. Це дозволило забезпечити захист
серверних логів, конфігураційних даних та користувацької інформації від
несанкціонованого доступу.
Проведена оцінка ефективності показала, що розроблена система
забезпечує високу швидкість обробки логів, підтримку масштабування,
відмовостійкість та ефективний моніторинг серверної інфраструктури.
Архітектура системи дозволяє розширювати функціональні можливості
платформи та адаптувати її до нових вимог сучасних серверних середовищ.
Отримані результати підтверджують доцільність використання розробленої
системи для централізованого моніторингу, логування та аналізу серверного
трафіку у сучасних програмних інфраструктурах.
Лист
ЧДТУ.262305.001 ПЗ т
Зм. Лист № докум. Підпис Дата 79
ДОДАТОК А
«ЗАТВЕРДЖУЮ»
Завідувач кафедри ІБ та КІ
к.т.н., доцент Артем ЛАВДАНСЬКИЙ
__________________
«___» ____________ 2026 року
Інформаційна система моніторингу, логування та аналізу серверного
трафіку
Специфікація
482.ЧДТУ.62305-01
Листів 2
Розробник ______________ Андрій МЕЛЬНИК
Керівник ______________ Віталій БОНДАР
Черкаси 2026
2
482.ЧДТУ.62305-01
Позначення Найменування Примітка
Документація
482.ЧДТУ.62305-01 12 01 Текст програми
482.ЧДТУ.62305-01 34 01 Інструкція користувача
ДОДАТОК Б
Інформаційна система моніторингу, логування та аналізу серверного
трафіку
Текст програми
482.ЧДТУ.62305-01 12 01
Листів 15
Розробник: __________ Андрій МЕЛЬНИК
Черкаси 2026
2
482.ЧДТУ.62305-01 12 01
package middleware
import (
"net/http"
"strings"
"distributed-logging-system/internal/auth"
"distributed-logging-system/pkg/domain"
"github.com/gin-gonic/gin"
)
func APIKey(service *auth.Service) gin.HandlerFunc {
return func(c *gin.Context) {
key, err := service.ValidateAPIKey(c.Request.Context(), c.GetHeader("X-API-
Key"))
if err != nil {
c.AbortWithStatusJSON(http.StatusUnauthorized, gin.H{"error": "invalid
api key"})
return
}
c.Set(ContextProjectID, key.ProjectID)
c.Set(ContextRole, key.Role)
c.Next()
}
}
func JWT(service *auth.Service) gin.HandlerFunc {
return func(c *gin.Context) {
header := c.GetHeader("Authorization")
if !strings.HasPrefix(header, "Bearer ") {
c.AbortWithStatusJSON(http.StatusUnauthorized, gin.H{"error": "missing
bearer token"})
return
}
claims, err := service.ParseToken(strings.TrimPrefix(header, "Bearer "), false)
if err != nil {
c.AbortWithStatusJSON(http.StatusUnauthorized, gin.H{"error": "invalid
bearer token"})
return
}
c.Set(ContextUserID, claims.UserID)
c.Set(ContextRole, claims.Role)
c.Next()
}
}
func RequireRole(roles ...domain.Role) gin.HandlerFunc {
allowed := make(map[domain.Role]struct{}, len(roles))
for _, role := range roles {
3
482.ЧДТУ.62305-01 12 01
allowed[role] = struct{}{}
}
return func(c *gin.Context) {
if _, ok := allowed[CurrentRole(c)]; !ok {
c.AbortWithStatusJSON(http.StatusForbidden, gin.H{"error":
"forbidden"})
return
}
c.Next()
}
}
package middleware
import (
"distributed-logging-system/pkg/domain"
"github.com/gin-gonic/gin"
)
const (
ContextUserID = "user_id"
ContextRole = "role"
ContextProjectID = "project_id"
)
func CurrentRole(c *gin.Context) domain.Role {
value, _ := c.Get(ContextRole)
role, _ := value.(domain.Role)
return role
}
func CurrentUserID(c *gin.Context) string {
value, _ := c.Get(ContextUserID)
userID, _ := value.(string)
return userID
}
func CurrentProjectID(c *gin.Context) string {
value, _ := c.Get(ContextProjectID)
projectID, _ := value.(string)
return projectID
}
package middleware
import (
"net/http"
"sync"
"time"
"distributed-logging-system/internal/infrastructure/cloudwatch"
4
482.ЧДТУ.62305-01 12 01
"github.com/gin-gonic/gin"
"go.uber.org/zap"
)
func RequestLogger(log *zap.Logger) gin.HandlerFunc {
return func(c *gin.Context) {
start := time.Now()
c.Next()
log.Info("http_request",
zap.String("method", c.Request.Method),
zap.String("path", c.FullPath()),
zap.Int("status", c.Writer.Status()),
zap.Duration("latency", time.Since(start)),
zap.String("client_ip", c.ClientIP()),
)
}
}
func Recovery(log *zap.Logger) gin.HandlerFunc {
return gin.CustomRecovery(func(c *gin.Context, recovered interface{}) {
log.Error("panic_recovered", zap.Any("panic", recovered), zap.String("path",
c.Request.URL.Path))
c.AbortWithStatusJSON(http.StatusInternalServerError, gin.H{"error": "internal
server error"})
})
}
func Metrics(metrics *cloudwatch.MetricsPublisher) gin.HandlerFunc {
return func(c *gin.Context) {
start := time.Now()
c.Next()
metrics.RecordHTTPRequest(c.Request.Context(), c.FullPath(), c.Writer.Status(),
time.Since(start))
}
}
type visitor struct {
windowStart time.Time
count int
}
func RateLimit(limit int) gin.HandlerFunc {
var mu sync.Mutex
visitors := map[string]*visitor{}
return func(c *gin.Context) {
ip := c.ClientIP()
now := time.Now()
mu.Lock()
v := visitors[ip]
5
482.ЧДТУ.62305-01 12 01
if v == nil || now.Sub(v.windowStart) >= time.Minute {
v = &visitor{windowStart: now}
visitors[ip] = v
}
v.count++
blocked := v.count > limit
mu.Unlock()
if blocked {
c.AbortWithStatusJSON(http.StatusTooManyRequests, gin.H{"error":
"rate limit exceeded"})
return
}
c.Next()
}
}
package indexing
import (
"bytes"
"context"
"encoding/json"
"fmt"
"io"
"net/http"
"strings"
"time"
"distributed-logging-system/internal/config"
"distributed-logging-system/pkg/domain"
"github.com/elastic/go-elasticsearch/v8"
"github.com/elastic/go-elasticsearch/v8/esapi"
"go.uber.org/zap"
)
type Service interface {
EnsureIndexes(ctx context.Context) error
IndexBatch(ctx context.Context, logs []domain.LogEntry) error
Search(ctx context.Context, filter domain.SearchFilter) (domain.LogSearchResult, error)
Stats(ctx context.Context, filter domain.SearchFilter) (domain.LogStats, error)
Health(ctx context.Context) error
}
type ElasticsearchService struct {
client *elasticsearch.Client
indexPrefix string
log *zap.Logger
}
6
482.ЧДТУ.62305-01 12 01
func NewElasticsearchService(cfg config.ElasticsearchConfig, log *zap.Logger)
(*ElasticsearchService, error) {
client, err := elasticsearch.NewClient(elasticsearch.Config{Addresses: cfg.Addresses})
if err != nil {
return nil, err
}
return &ElasticsearchService{client: client, indexPrefix: cfg.IndexPrefix, log: log}, nil
}
func (s *ElasticsearchService) EnsureIndexes(ctx context.Context) error {
body := `{
"index_patterns":["` + s.indexPrefix + `-*"],
"template":{"settings":{"number_of_shards":1,"number_of_replicas":0},
"mappings":{"properties":{
"timestamp":{"type":"date"},"received_at":{"type":"date"},
"level":{"type":"keyword"},"service":{"type":"keyword"},"environment":{"type"
:"keyword"},
"method":{"type":"keyword"},"endpoint":{"type":"keyword"},"status_code":{"ty
pe":"integer"},
"response_time":{"type":"double"},"source_ip":{"type":"ip"},"message":{"type":"text"},
"project_id":{"type":"keyword"},"metadata":{"type":"object","enabled":true}
}}}}`
res, err := s.client.Indices.PutIndexTemplate("traffic_logs_template",
strings.NewReader(body), s.client.Indices.PutIndexTemplate.WithContext(ctx))
return closeResponse(res, err)
}
func (s *ElasticsearchService) Health(ctx context.Context) error {
res, err := s.client.Info(s.client.Info.WithContext(ctx))
return closeResponse(res, err)
}
func (s *ElasticsearchService) IndexBatch(ctx context.Context, logs []domain.LogEntry) error {
if len(logs) == 0 {
return nil
}
var buf bytes.Buffer
encoder := json.NewEncoder(&buf)
for _, entry := range logs {
index := s.indexName(entry.Timestamp)
if err := encoder.Encode(map[string]any{"index": map[string]any{"_index":
index}}); err != nil {
return err
}
if err := encoder.Encode(entry); err != nil {
7
482.ЧДТУ.62305-01 12 01
return err
}
}
res, err := s.client.Bulk(bytes.NewReader(buf.Bytes()), s.client.Bulk.WithContext(ctx))
if err := closeResponse(res, err); err != nil {
return err
}
if res != nil && res.IsError() {
return fmt.Errorf("elasticsearch bulk index failed: %s", res.String())
}
s.log.Info("logs_indexed", zap.Int("count", len(logs)))
return nil
}
func (s *ElasticsearchService) Search(ctx context.Context, filter domain.SearchFilter)
(domain.LogSearchResult, error) {
body, err := json.Marshal(map[string]any{
"query": s.query(filter),
"sort": []map[string]any{{"timestamp": map[string]string{"order": "desc"}}},
"size": limit(filter.Limit),
})
if err != nil {
return domain.LogSearchResult{}, err
}
res, err := s.client.Search(
s.client.Search.WithContext(ctx),
s.client.Search.WithIndex(s.indexPrefix+"-*"),
s.client.Search.WithBody(bytes.NewReader(body)),
)
if err := closeResponseErrorOnly(res, err); err != nil {
return domain.LogSearchResult{}, err
}
defer res.Body.Close()
var payload struct {
Hits struct {
Total struct {
Value int64 `json:"value"`
} `json:"total"`
Hits []struct {
Source domain.LogEntry `json:"_source"`
} `json:"hits"`
} `json:"hits"`
}
if err := json.NewDecoder(res.Body).Decode(&payload); err != nil {
return domain.LogSearchResult{}, err
}
logs := make([]domain.LogEntry, 0, len(payload.Hits.Hits))
for _, hit := range payload.Hits.Hits {
logs = append(logs, hit.Source)
8
482.ЧДТУ.62305-01 12 01
}
return domain.LogSearchResult{Total: payload.Hits.Total.Value, Logs: logs}, nil
}
func (s *ElasticsearchService) Stats(ctx context.Context, filter domain.SearchFilter)
(domain.LogStats, error) {
body, err := json.Marshal(map[string]any{
"size": 0,
"query": s.query(filter),
"aggs": map[string]any{
"levels": terms("level"),
"services": terms("service"),
"errors": map[string]any{"filter": map[string]any{"range":
map[string]any{"status_code": map[string]any{"gte": 500}}}},
"avg_response": map[string]any{"avg": map[string]any{"field":
"response_time"}},
},
})
if err != nil {
return domain.LogStats{}, err
}
res, err := s.client.Search(s.client.Search.WithContext(ctx),
s.client.Search.WithIndex(s.indexPrefix+"-*"),
s.client.Search.WithBody(bytes.NewReader(body)))
if err := closeResponseErrorOnly(res, err); err != nil {
return domain.LogStats{}, err
}
defer res.Body.Close()
var payload struct {
Hits struct {
Total struct {
Value int64 `json:"value"`
} `json:"total"`
} `json:"hits"`
Aggregations struct {
Levels buckets `json:"levels"`
Services buckets `json:"services"`
Errors struct{ DocCount int64 `json:"doc_count"` } `json:"errors"`
AvgResponse struct{ Value float64 `json:"value"` }
`json:"avg_response"`
} `json:"aggregations"`
}
if err := json.NewDecoder(res.Body).Decode(&payload); err != nil {
return domain.LogStats{}, err
}
total := payload.Hits.Total.Value
errorRate := 0.0
if total > 0 {
errorRate = float64(payload.Aggregations.Errors.DocCount) / float64(total)
9
482.ЧДТУ.62305-01 12 01
}
return domain.LogStats{
Total: total,
ByLevel: payload.Aggregations.Levels.Map(),
ByService: payload.Aggregations.Services.Map(),
ErrorRate: errorRate,
AvgResponseTime: payload.Aggregations.AvgResponse.Value,
}, nil
}
func (s *ElasticsearchService) query(filter domain.SearchFilter) map[string]any {
filters := []map[string]any{}
if filter.From != nil || filter.To != nil {
r := map[string]any{}
if filter.From != nil {
r["gte"] = filter.From.Format(time.RFC3339Nano)
}
if filter.To != nil {
r["lte"] = filter.To.Format(time.RFC3339Nano)
}
filters = append(filters, map[string]any{"range": map[string]any{"timestamp":
r}})
}
for field, value := range map[string]string{"service": filter.Service, "level": filter.Level,
"environment": filter.Environment} {
if value != "" {
filters = append(filters, map[string]any{"term": map[string]any{field:
value}})
}
}
must := []map[string]any{}
if filter.Query != "" {
must = append(must, map[string]any{"multi_match": map[string]any{"query":
filter.Query, "fields": []string{"message", "endpoint"}}})
}
return map[string]any{"bool": map[string]any{"filter": filters, "must": must}}
}
func (s *ElasticsearchService) indexName(ts time.Time) string {
if ts.IsZero() {
ts = time.Now().UTC()
}
return fmt.Sprintf("%s-%s", s.indexPrefix, ts.UTC().Format("2006.01.02"))
}
type buckets struct {
Buckets []struct {
Key string `json:"key"`
DocCount int64 `json:"doc_count"`
10
482.ЧДТУ.62305-01 12 01
} `json:"buckets"`
}
func (b buckets) Map() map[string]int64 {
out := map[string]int64{}
for _, bucket := range b.Buckets {
out[bucket.Key] = bucket.DocCount
}
return out
}
func terms(field string) map[string]any {
return map[string]any{"terms": map[string]any{"field": field, "size": 50}}
}
func limit(value int) int {
if value <= 0 || value > 1000 {
return 100
}
return value
}
func closeResponse(res *esapi.Response, err error) error {
if err != nil {
return err
}
if res != nil && res.Body != nil {
defer res.Body.Close()
if res.IsError() {
body, _ := io.ReadAll(res.Body)
return fmt.Errorf("elasticsearch error: status=%d body=%s",
res.StatusCode, string(body))
}
}
return nil
}
func closeResponseErrorOnly(res *esapi.Response, err error) error {
if err != nil {
return err
}
if res == nil {
return nil
}
if res.StatusCode >= http.StatusBadRequest {
defer res.Body.Close()
body, _ := io.ReadAll(res.Body)
return fmt.Errorf("elasticsearch error: status=%d body=%s", res.StatusCode,
string(body))
11
482.ЧДТУ.62305-01 12 01
}
return nil
}
package ingestion
import (
"context"
"errors"
"time"
"distributed-logging-system/internal/infrastructure/cloudwatch"
"distributed-logging-system/pkg/domain"
"go.uber.org/zap"
)
var ErrBufferFull = errors.New("ingestion buffer is full")
type Buffer struct {
ch chan domain.LogEntry
log *zap.Logger
metrics *cloudwatch.MetricsPublisher
}
func NewBuffer(size int, log *zap.Logger, metrics *cloudwatch.MetricsPublisher) *Buffer {
return &Buffer{ch: make(chan domain.LogEntry, size), log: log, metrics: metrics}
}
func (b *Buffer) Enqueue(ctx context.Context, entry domain.LogEntry) error {
entry.ReceivedAt = time.Now().UTC()
select {
case b.ch <- entry:
b.metrics.RecordIngestedLogs(ctx, 1)
return nil
default:
return ErrBufferFull
}
}
func (b *Buffer) EnqueueBatch(ctx context.Context, logs []domain.LogEntry) error {
for i := range logs {
if err := b.Enqueue(ctx, logs[i]); err != nil {
b.log.Warn("ingestion_buffer_rejected", zap.Error(err),
zap.Int("accepted", i), zap.Int("requested", len(logs)))
return err
}
}
return nil
}
12
482.ЧДТУ.62305-01 12 01
func (b *Buffer) Channel() <-chan domain.LogEntry {
return b.ch
}
package processing
import (
"context"
"sync"
"time"
"distributed-logging-system/internal/indexing"
"distributed-logging-system/pkg/domain"
"go.uber.org/zap"
)
type Processor struct {
input <-chan domain.LogEntry
indexer indexing.Service
batchSize int
flushInterval time.Duration
workers int
log *zap.Logger
}
func NewProcessor(input <-chan domain.LogEntry, indexer indexing.Service, batchSize int,
flushInterval time.Duration, workers int, log *zap.Logger) *Processor {
return &Processor{input: input, indexer: indexer, batchSize: batchSize, flushInterval:
flushInterval, workers: workers, log: log}
}
func (p *Processor) Start(ctx context.Context) {
batches := make(chan []domain.LogEntry, p.workers*2)
var wg sync.WaitGroup
for i := 0; i < p.workers; i++ {
wg.Add(1)
go p.worker(ctx, i, batches, &wg)
}
go p.collector(ctx, batches)
go func() {
<-ctx.Done()
wg.Wait()
p.log.Info("log_processor_stopped")
}()
}
func (p *Processor) collector(ctx context.Context, batches chan<- []domain.LogEntry) {
ticker := time.NewTicker(p.flushInterval)
13
482.ЧДТУ.62305-01 12 01
defer ticker.Stop()
batch := make([]domain.LogEntry, 0, p.batchSize)
flush := func() {
if len(batch) == 0 {
return
}
out := make([]domain.LogEntry, len(batch))
copy(out, batch)
batch = batch[:0]
select {
case batches <- out:
case <-ctx.Done():
}
}
defer close(batches)
for {
select {
case entry := <-p.input:
batch = append(batch, normalize(entry))
if len(batch) >= p.batchSize {
flush()
}
case <-ticker.C:
flush()
case <-ctx.Done():
flush()
return
}
}
}
func (p *Processor) worker(ctx context.Context, id int, batches <-chan []domain.LogEntry, wg
*sync.WaitGroup) {
defer wg.Done()
for {
select {
case batch, ok := <-batches:
if !ok {
return
}
if err := p.indexer.IndexBatch(ctx, batch); err != nil {
p.log.Error("batch_indexing_failed", zap.Int("worker", id),
zap.Int("batch_size", len(batch)), zap.Error(err))
}
case <-ctx.Done():
return
}
}
}
14
482.ЧДТУ.62305-01 12 01
func normalize(entry domain.LogEntry) domain.LogEntry {
if entry.Timestamp.IsZero() {
entry.Timestamp = time.Now().UTC()
}
if entry.ReceivedAt.IsZero() {
entry.ReceivedAt = time.Now().UTC()
}
return entry
}
package projects
import (
"context"
"distributed-logging-system/pkg/domain"
"github.com/google/uuid"
"github.com/jackc/pgx/v5/pgxpool"
)
type Repository interface {
List(ctx context.Context) ([]domain.Project, error)
Create(ctx context.Context, project domain.Project) (domain.Project, error)
}
type PostgresRepository struct {
db *pgxpool.Pool
}
func NewRepository(db *pgxpool.Pool) *PostgresRepository {
return &PostgresRepository{db: db}
}
func (r *PostgresRepository) List(ctx context.Context) ([]domain.Project, error) {
rows, err := r.db.Query(ctx, `select id, name, environment, owner_id, created_at from
projects order by created_at desc`)
if err != nil {
return nil, err
}
defer rows.Close()
var projects []domain.Project
for rows.Next() {
var project domain.Project
if err := rows.Scan(&project.ID, &project.Name, &project.Environment,
&project.OwnerID, &project.CreatedAt); err != nil {
return nil, err
}
projects = append(projects, project)
15
482.ЧДТУ.62305-01 12 01
}
return projects, rows.Err()
}
func (r *PostgresRepository) Create(ctx context.Context, project domain.Project)
(domain.Project, error) {
if project.ID == "" {
project.ID = uuid.NewString()
}
err := r.db.QueryRow(ctx, `
insert into projects (id, name, environment, owner_id)
values ($1, $2, $3, $4)
returning created_at
`, project.ID, project.Name, project.Environment,
project.OwnerID).Scan(&project.CreatedAt)
return project, err
}
ДОДАТОК В
Інформаційна система моніторингу, логування та аналізу серверного
трафіку
Інструкція користувача
482.ЧДТУ.62305-01 34 01
Листів 6
Розробник: ____________ Андрій МЕЛЬНИК
Черкаси 2026
2
482.ЧДТУ.62305-01 34 01
Інформаційна система моніторингу, логування та аналізу серверного
трафіку призначена для централізованого збору, збереження та аналізу
серверних логів у режимі реального часу. Система дозволяє інтегрувати
зовнішні сервіси та застосунки за допомогою SDK або REST API, виконувати
пошук по логах, аналізувати роботу серверної інфраструктури та
контролювати технічний стан сервісів. Для коректної роботи із платформою
користувач повинен пройти процедуру авторизації, створити проєкт,
налаштувати інтеграцію та підключити серверний застосунок до системи
логування.
Після відкриття веб-інтерфейсу користувач переходить до сторінки
авторизації. Для входу в систему необхідно ввести адресу електронної пошти
та пароль облікового запису. Після успішної перевірки даних система створює
JWT-сесію та надає доступ до функціоналу платформи відповідно до ролі
користувача. У випадку введення неправильного пароля або відсутності прав
доступу система відображає повідомлення про помилку авторизації.
Після входу користувач потрапляє до основного інтерфейсу системи,
який містить робочу область для перегляду логів, панель пошуку, статистичні
показники та список інтегрованих сервісів. Основним елементом інтерфейсу
є область перегляду логів, у якій у режимі реального часу відображаються
серверні події та технічні повідомлення.
Для початку роботи користувач повинен створити новий проєкт. Проєкт
використовується як логічна одиниця для групування логів, інтеграцій та
конфігурацій окремого сервісу або групи сервісів. Під час створення проєкту
користувач задає назву, опис, середовище виконання та параметри збереження
логів.
Після створення проєкту система автоматично створює окремі
конфігурації для збереження та маршрутизації логів. Для кожного проєкту
генерується унікальний ідентифікатор, який використовується під час
передачі даних до серверної частини системи.
3
482.ЧДТУ.62305-01 34 01
Наступним етапом роботи є створення API-ключа для інтеграції
застосунку із платформою. API-ключ використовується SDK-клієнтами для
авторизації HTTP-запитів до системи логування. Користувач може створити
декілька ключів для різних сервісів або середовищ виконання.
Під час створення API-ключа користувач може задати додаткові
параметри безпеки, зокрема дозволені IP-адреси, обмеження кількості запитів
або термін дії ключа. Після генерації система відображає ключ доступу лише
один раз, тому користувач повинен зберегти його у безпечному місці.
Для інтеграції серверного застосунку користувач встановлює
відповідний SDK залежно від мови програмування сервісу. Система підтримує
SDK для JavaScript, Python, PHP, Java, Go та C#. Після встановлення SDK
користувач повинен вказати API-ключ, адресу серверної частини системи та
параметри проєкту.
Після налаштування SDK серверний застосунок починає автоматично
передавати логи до системи моніторингу. SDK підтримує передачу інформації
про HTTP-запити, помилки застосунку, винятки, технічні повідомлення та
службові події.
Користувач також може вручну надсилати логи через REST API
системи. Для цього необхідно виконати POST-запит до endpoint прийому логів
та передати структурований JSON-об’єкт із параметрами повідомлення.
Після надходження логів до серверної частини вони автоматично
індексуються та стають доступними для пошуку через веб-інтерфейс системи.
Користувач може виконувати пошук по логах за допомогою пошукового
рядка, використовуючи текстові запити або фільтри.
Система підтримує фільтрацію за часовим періодом, рівнем помилки,
назвою сервісу, HTTP-методом, endpoint, IP-адресою та іншими параметрами.
Такий підхід дозволяє швидко знаходити необхідні події навіть серед великої
кількості повідомлень.
4
482.ЧДТУ.62305-01 34 01
Під час перегляду логів користувач може відкривати окремі
повідомлення для детального аналізу. У розширеному режимі перегляду
відображаються всі метадані повідомлення, включно з часом створення події,
службовими параметрами та додатковою технічною інформацією.
Для спрощення аналізу система підтримує кольорове виділення рівнів
логів. Повідомлення типу ERROR відображаються червоним кольором,
WARN - жовтим, INFO - синім або зеленим, а DEBUG - сірим. Це дозволяє
швидко візуально визначати критичні події у потоці повідомлень.
Система також підтримує аналіз статистичних даних. У верхній частині
робочої області користувач може переглядати кількість логів за поточний
період, середній час відповіді сервісів, кількість помилок та навантаження на
систему.
Статистичні показники оновлюються у режимі реального часу та
формуються на основі даних ElasticSearch. Це дозволяє оперативно оцінювати
технічний стан серверної інфраструктури.
Для аналізу продуктивності користувач може переглядати інформацію
про найбільш навантажені endpoint-и, середній час обробки запитів та частоту
виникнення помилок. Такі дані дозволяють виявляти проблемні ділянки
інфраструктури та оптимізувати роботу сервісів.
Система підтримує централізоване керування інтеграціями. У розділі
конфігурації користувач може переглядати список підключених сервісів,
змінювати параметри SDK та деактивувати окремі API-ключі.
У випадку компрометації ключа доступу користувач може негайно
відкликати його через веб-інтерфейс системи. Після деактивації всі запити з
використанням цього ключа автоматично блокуються.
Для забезпечення безпеки система підтримує журнал аудиту дій
користувачів. У журналі фіксуються авторизація, створення API-ключів, зміна
конфігурацій та інші адміністративні операції.
5
482.ЧДТУ.62305-01 34 01
Користувачі з роллю адміністратора можуть створювати нові облікові
записи та призначати права доступу іншим користувачам системи. Наприклад,
окремі користувачі можуть отримувати доступ лише до перегляду логів без
можливості зміни конфігурацій.
Система підтримує багатопроєктний режим роботи, що дозволяє
використовувати платформу одночасно для декількох незалежних сервісів або
команд розробки. Кожен проєкт має власний набір логів, API-ключів та
налаштувань маршрутизації.
Під час роботи система автоматично виконує індексацію логів та
оптимізацію структури даних ElasticSearch. Користувач не повинен вручну
виконувати обслуговування індексів або керувати внутрішньою структурою
сховища.
Для забезпечення стабільної роботи платформа підтримує автоматичне
масштабування серверної частини. У випадку збільшення навантаження
система автоматично створює нові серверні інстанси без необхідності
втручання користувача.
Користувач також має доступ до системних метрик платформи. Через
веб-інтерфейс можна переглядати технічний стан серверної частини,
використання процесора, оперативної пам’яті та швидкість індексації логів.
Для забезпечення безпеки рекомендується використовувати складні
паролі та багатофакторну автентифікацію для адміністративних акаунтів.
Додатково рекомендується періодично оновлювати API-ключі та обмежувати
доступ до системи за IP-адресами.
У випадку виникнення помилок під час інтеграції користувач може
переглядати службові повідомлення SDK або аналізувати відповіді API.
Серверна частина системи повертає структуровані повідомлення про помилки
із поясненням причини відмови.
Для забезпечення стабільної роботи інтеграцій рекомендується
використовувати асинхронний режим передачі логів через SDK. Це дозволяє
6
482.ЧДТУ.62305-01 34 01
мінімізувати вплив системи логування на продуктивність основного
застосунку.
Система підтримує роботу з великими потоками даних та може
використовуватись як у невеликих сервісах, так і у високонавантажених
distributed systems. Завдяки використанню ElasticSearch та AWS Auto Scaling
платформа автоматично адаптується до зміни навантаження та забезпечує
стабільний прийом логів навіть під час пікової активності.
Таким чином, інтерфейс та функціональні можливості системи
дозволяють користувачам централізовано контролювати стан серверної
інфраструктури, аналізувати логи у режимі реального часу та швидко
реагувати на технічні проблеми. Система забезпечує просту інтеграцію із
зовнішніми сервісами, підтримує сучасні механізми безпеки та дозволяє
ефективно працювати з великими обсягами серверних подій.
СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ
1. Коваленко О. В., Мельник І. С. Системи моніторингу та аналізу
серверної інфраструктури. Київ : Політехніка, 2021. 318 с.
2. Бондаренко С. І., Романюк П. В. Хмарні технології та серверні
обчислення. Львів : Новий Світ2000, 2020. 296 с.
3. Петренко В. М., Кравчук А. О. Захист інформації в комп’ютерних
системах. Київ : Каравела, 2019. 344 с.
4. Шевченко О. Ю., Ткаченко Д. М. Архітектура сучасних інформаційних
систем. Харків : ХНУРЕ, 2021. 287 с.
5. Лисенко І. П., Марченко Р. В. Розподілені інформаційні системи та
мережеві сервіси. Одеса : Астропринт, 2020. 332 с.
6. Гнатюк В. О., Сидоренко М. І. Методи забезпечення безпеки серверних
застосунків. Київ : ЛіраК, 2022. 301 с.
7. Бойко Д. А., Іванченко К. С. Системи обробки великих обсягів даних.
Дніпро : Інновація, 2021. 276 с.
8. Руденко А. В., Левченко Ю. М. Проєктування та адміністрування
серверних платформ. Львів : Магнолія 2006, 2019. 355 с.
9. Тимошенко Р. Л., Яценко Д. О. Аналіз та обробка журналів подій у
комп’ютерних системах. Харків : Фактор, 2020. 294 с.
10.Мороз В. П., Савчук І. О. Інформаційна безпека та захист даних у
хмарних середовищах. Харків : Фоліо, 2022. 289 с.
11.Kleppmann M. Designing DataIntensive Applications. Sebastopol : O’Reilly
Media, 2017. 616 p.
12.Gormley C., Tong Z. Elasticsearch: The Definitive Guide. Sebastopol :
O’Reilly Media, 2015. 724 p.
13.Turnbull J. The Logstash Book. New York : James Turnbull, 2013. 358 p.
Арк.
ЧДТУ.262305.001 ПЗ 103
Змн. Арк. № докум. Підпис Дата
14.Russel J. Elasticsearch in Action. Shelter Island : Manning Publications,
2015. 425 p.
15.Newman S. Building Microservices. Sebastopol : O’Reilly Media, 2021. 617
p.
16.Richards M. Software Architecture Patterns. Sebastopol : O’Reilly Media,
2015. 312 p.
17.Burns B., Beda J., Hightower K. Kubernetes: Up and Running. Sebastopol :
O’Reilly Media, 2022. 368 p.
18.Kim G., Humble J., Debois P., Willis J. The DevOps Handbook. Portland :
IT Revolution Press, 2021. 480 p.
19.Beyer B., Jones C., Petoff J., Murphy N. Site Reliability Engineering.
Sebastopol : O’Reilly Media, 2016. 552 p.
20.Fowler M. Patterns of Enterprise Application Architecture. Boston :
AddisonWesley, 2002. 533 p.
21.Chacon S., Straub B. Pro Git. New York : Apress, 2014. 458 p.
22.Nygard M. Release It!: Design and Deploy ProductionReady Software.
Raleigh : Pragmatic Bookshelf, 2018. 376 p.
23.Donovan A., Kernighan B. The Go Programming Language. Boston :
AddisonWesley, 2015. 380 p.
24.Thomas D., Hunt A. The Pragmatic Programmer. Boston : AddisonWesley,
2019. 352 p.
25.Allspaw J.Web Operations: Keeping the Data on Time. Sebastopol : O’Reilly
Media, 2010. 624 p.
Арк.
ЧДТУ.262305.001 ПЗ 104
Змн. Арк. № докум. Підпис Дата