Дослідження засобів проектування та розробки баз даних каталогу дисциплін

Abstract

Метою кваліфікаційної роботи магістра є розробка оптимізованої архітектури бази даних каталогу навчальних дисциплін, що забезпечує високу продуктивність, цілісність даних, гнучкість та можливість інтеграції з іншими інформаційними системами університету. Об'єкт дослідження – процеси проектування та розробки баз даних для каталогізації навчальних дисциплін. Предмет дослідження – структура бази даних та методи доступу до інформації каталогу навчальних дисциплін. У кваліфікаційній роботі магістра вирішено актуальну науково-практичну задачу розробки ефективної архітектури бази даних для каталогу навчальних дисциплін, яка забезпечує високу продуктивність, цілісність даних та можливість інтеграції з іншими інформаційними системами університету. Основні результати дослідження полягають у наступному. Проведено комплексний аналіз існуючих систем каталогізації навчальних дисциплін, включаючи Moodle, Canvas LMS, Blackboard Learn, Studip та вітчизняні розробки. Виявлено ключові недоліки: недостатню оптимізацію структури даних, що призводить до зниження продуктивності при роботі з великими обсягами інформації; жорсткість архітектури, яка обмежує можливості адаптації до специфічних потреб різних освітніх закладів; недостатню підтримку міжнародних стандартів опису дисциплін; проблеми з інтеграцією та безпекою даних. Обґрунтовано доцільність розробки нової архітектури через сформульовані функціональні, нефункціональні та технічні вимоги до проектованої системи. Розроблено математичну модель оптимізації структури реляційної бази даних, яка формалізує процес проектування через теорію відношень та функціональних залежностей. Модель включає формальне представлення схеми даних, критерії нормалізації до третьої нормальної форми, функції оцінки вартості виконання запитів з урахуванням кардинальності відношень та селективності операцій. Запропоновано математичні критерії для прийняття обґрунтованих рішень щодо селективної денормалізації, оптимального індексування та партиціонування даних на основі аналізу профілю навантаження системи. Створено комплекс алгоритмів нормалізації та індексування, які забезпечують оптимальний баланс між цілісністю даних та продуктивністю системи. Алгоритм селективної денормалізації дозволяє оптимізувати структуру для часто виконуваних запитів без критичних порушень цілісності. Алгоритм оптимального індексування враховує як переваги для операцій читання, так і вартість підтримки індексів при модифікації даних. Розроблено спеціалізовані алгоритми для індексування зв'язків багато-до-багатьох, динамічної адаптації індексів, оптимізації складних запитів з множинними JOIN операціями та партиціонування великих таблиць. Розроблено методи забезпечення транзакційної цілісності та узгодженості даних, що включають алгоритми забезпечення всіх властивостей ACID транзакцій. Створено багаторівневу систему перевірки цілісності, яка охоплює обмеження на рівні атрібутів через CHECK constraints, міжрядкові обмеження через UNIQUE constraints, референційну цілісність через FOREIGN KEY constraints та складні бізнес-правила через тригери. Запропоновано алгоритми контролю конкурентного доступу з використанням двофазного блокування та оптимістичної конкурентності залежно від характеру операцій. Розроблено алгоритм відновлення після збоїв на основі write-ahead logging. Спроектовано повну специфікацію структури бази даних через послідовну розробку концептуальної, логічної та фізичної моделей. Концептуальна модель визначає основні сутності предметної області та зв'язки між ними з використанням методології Entity-Relationship моделювання. Логічна модель трансформує концептуальне представлення у реляційну структуру з 15 основними таблицями та 8 асоціативними таблицями при дотриманні третьої нормальної форми. Фізична модель включає конкретну реалізацію у PostgreSQL з системою індексування (25 індексів різних типів), партиціонуванням таблиці історії за роками, 5 матеріалізованими представленнями для аналітичних запитів, 12 тригерами та 8 збереженими процедурами. Реалізовано RESTful API для доступу до даних системи з 40 endpoints, що забезпечують повний CRUD функціонал для всіх сутностей. API підтримує фільтрацію, пагінацію, сортування та повнотекстовий пошук. Впроваджено багаторівневу систему безпеки з автентифікацією через JWT токени, авторизацією на основі 6 ролей користувачів, валідацією вхідних даних на трьох рівнях. Реалізовано Data Access Layer через паттерн Repository та Service Layer для інкапсуляції бізнес-логіки. Використано кешування через Redis для підвищення продуктивності з досягненням зменшення часу відповіді на 70% для часто запитуваних даних. Розроблено комплексну методику тестування, яка охоплює юніт-тестування з покриттям коду 82% для критичних компонентів, інтеграційне тестування з 150 тестовими сценаріями, функціональне тестування через 25 наскрізних use cases. Проведено тестування продуктивності на наборі даних з 10000 дисциплін, 200 освітніх програм та 1000 викладачів. Результати показали середній час відповіді 145 мс для простих запитів, 420 мс для складних запитів з множинними JOIN, пропускну здатність 180 запитів/секунду на одному інстансі API. Навантажувальне тестування підтвердило стабільну роботу системи при 500 одночасних користувачах з частотою помилок менше 0.05%. Розроблена архітектура бази даних та програмний інтерфейс забезпечують ефективне управління каталогом навчальних дисциплін з дотриманням сучасних стандартів проектування інформаційних систем. Результати тестування підтверджують відповідність системи встановленим вимогам щодо продуктивності, надійності та безпеки, що свідчить про готовність до практичного впровадження у закладах вищої освіти. Перспективи подальших досліджень включають розробку механізмів інтелектуального аналізу даних каталогу для автоматичного виявлення проблем у навчальних планах, створення рекомендаційної системи для формування індивідуальних освітніх траєкторій студентів, інтеграцію з системами машинного навчання для прогнозування попиту на дисципліни та оптимізації ресурсів університету.