Програмна система семантичного аналізу інформації в локальних текстових масивах

Abstract

АНОТАЦІЯ Терещенко Євген Валерійович. Програмна система семантичного аналізу інформації в локальних текстових масивах. Кваліфікаційна робота бакалавра зі спеціальності 121 «Інженерія програмного забезпечення». Черкаський державний технологічний університет, Черкаси, 2026. Кваліфікаційна робота бакалавра на тему «Програмна система семантичного аналізу інформації в локальних текстових масивах» містить 109 сторінок, 8 таблиць, 41 рисунок, список використаних джерел з 40 найменувань, 4 додатки. Метою виконання кваліфікаційної роботи бакалавра є проектування та розробка програмної системи семантичного аналізу інформації в локальних текстових масивах, яка забезпечує інтелектуальний пошук і узагальнення змісту документів форматів PDF, DOCX та TXT на основі локальної мовної моделі без підключення до мережі Інтернет. Головні завдання при проектуванні програмної системи: 1) дослідити існуючі методи семантичного аналізу тексту та архітектурні підходи до побудови RAG-систем; 2) розробити надійний шар завантаження даних із підтримкою форматів PDF, DOCX і TXT; 3) спроектувати семантичне ядро на основі векторних ембедингів і локальної векторної бази даних ChromaDB; 4) реалізувати аналітичний модуль із підключенням локальної мовної моделі через Ollama; 5) розробити графічний інтерфейс користувача засобами CustomTkinter; 6) провести тестування системи та оцінити якість відповідей. Об'єктом роботи є процес автоматизованого семантичного аналізу інформації у локальних текстових масивах із застосуванням методів векторного представлення тексту та генеративних мовних моделей. Предметом розробки є методи, алгоритми та програмні засоби для реалізації системи семантичного пошуку та аналізу документів у форматі RAG (Retrieval-Augmented Generation), що функціонує в локальному середовищі без використання зовнішніх хмарних сервісів. Вирішено наступні поставлені задачі: 1) проаналізувати еволюцію підходів до семантичного пошуку та сучасні трансформерні архітектури; 2) розробити шар завантаження даних з надійним парсингом файлів PDF, DOCX і TXT; 3) реалізувати семантичне ядро на основі моделі sentence-transformers і ChromaDB; побудовано RAG-конвеєр із локальною моделлю llama3.1:8b; 4) розробити десктопний інтерфейс з підтримкою трьох вкладок; проведено чотири рівні тестування – модульне, інтеграційне, системне та приймальне.

ABSTRACT Tereshchenko E.V. Software System for Semantic Analysis of Information in Local Text Arrays. Bachelor's thesis in specialty 121 «Software Engineering». Cherkasy State Technological University, Cherkasy, 2026. The thesis contains 109 pages, 8 tables, 40 figures, a list of references with 41 items, 4 appendix. The purpose of the bachelor's thesis is to design and implement a software system for semantic analysis of information in local text arrays, providing intelligent search and summarization of PDF, DOCX and TXT document content using a local language model without Internet connection. The main tasks in designing the software system: 1) to investigate existing text semantic analysis methods and RAG architectural approaches; 2) to develop a reliable data ingestion layer supporting PDF, DOCX and TXT formats; 3) to design a semantic core based on vector embeddings and local ChromaDB vector database; 4) to implement an inference module with a local language model via Ollama; 5) to develop a CustomTkinter graphical user interface; 6) to conduct system testing and evaluate response quality. The object of the work is the process of automated semantic analysis of information in local text arrays using vector text representation methods and generative language models. The subject of development is the methods, algorithms and software tools for implementing a RAG (Retrieval-Augmented Generation) document search and analysis system that operates in a local environment without external cloud services. The following tasks have been solved: 1) to investigate the evolution of semantic search approaches and modern transformer architectures; to select the optimal technology stack; 2) to develop a data ingestion layer with reliable PDF, DOCX and TXT file parsing and fault tolerance; 3) to implement a semantic core based on sentence-transformers and ChromaDB; to build a RAG pipeline with a local language model; 4) to develop a desktop interface with three-tab support; to conduct four levels of testing – unit, integration, system and acceptance.