Detecting anomalies in LMS user behaviour using machine learning

Abstract

he study aimed to develop a theoretical-analytical model for the interpretation of atypical digital user traces in learning management systems, covering capabilities of machine learning, structure of LMS logs, and the limits of pedagogical interpretation of algorithmic signals. The methodological framework encompassed an analysis of standards and specifications for digital learning environments, event-based descriptions of learning activity, the quality of software systems, information security, privacy, and decision-making based on artificial intelligence. The study utilised theoretical analysis, a classification approach, feature-based generalisation, comparative analysis, structural-logical modelling and critical generalisation. The study established that users’ digital traces are not a homogeneous array of technical records, but reflect temporal, navigational, resourcerelated, task-related, testing, communicative and technical interactions with the learning environment. The study demonstrated that anomalies may manifest as temporal, navigational, resource-related, task-related, testrelated, communicative, technical and mixed deviations. The study determined that machine analysis requires the transformation of activity logs into features related to login frequency, session duration, transition sequences, task completion, test attempts, communicative activity and technical access parameters. The study established that the choice of machine learning methods depends on the type of anomaly, the availability of labelled data, the structure of events, and the need for interpretability. The sequence of steps from activity logs to data cleaning, refinement of the context of learning resources, feature extraction, determination of a typical profile, selection of an algorithmic approach, detection of an anomaly signal, and its pedagogical or administrative interpretation is demonstrated. The study also argued that an anomaly signal cannot automatically be interpreted as evidence of a violation, as its significance depends on data quality, user history, course structure, technical access conditions, and human verification. The practical significance of the results includes possible use of the proposed scheme to build systems for analytical support of learning, where an anomalous signal is considered as a basis for contextual verification.

Метою дослідження було розробити теоретико-аналітичну модель інтерпретації нетипових цифрових слідів користувачів у системах управління навчанням із урахуванням можливостей машинного навчання, структури LMS-логів і меж педагогічного тлумачення алгоритмічних сигналів. Методологічна база охоплювала аналіз стандартів і специфікацій цифрового навчального середовища, подієвого опису навчальної активності, якості програмних систем, інформаційної безпеки, приватності та управління рішеннями на основі штучного інтелекту. У дослідженні використано теоретичний аналіз, класифікаційний підхід, ознакове узагальнення, порівняльний аналіз, структурно-логічне моделювання та критичне узагальнення. У результаті встановлено, що цифрові сліди користувачів не є однорідним масивом технічних записів, а відображають часову, навігаційну, ресурсну, завданнєву, тестову, комунікативну й технічну взаємодію з навчальним середовищем. Показано, що аномалії можуть проявлятися як часові, навігаційні, ресурсні, завданнєві, тестові, комунікативні, технічні та змішані відхилення. Визначено, що машинний аналіз потребує перетворення журналів активності на ознаки, пов’язані з частотою входів, тривалістю сесій, послідовністю переходів, виконанням завдань, тестовими спробами, комунікативною активністю та технічними параметрами доступу. Встановлено, що вибір групи методів машинного навчання залежить від типу аномалії, наявності розмічених даних, структури подій і потреби в інтерпретованості. Показано послідовність переходу від журналів активності до очищення даних, уточнення контексту навчальних ресурсів, формування ознак, визначення типового профілю, вибору алгоритмічного підходу, фіксації аномального сигналу та його педагогічної або адміністративної інтерпретації. Окремо обґрунтовано, що аномальний сигнал не може автоматично трактуватися як доказ порушення, оскільки його значення залежить від якості даних, історії користувача, структури курсу, технічних умов доступу та людської перевірки. Практична значимість результатів полягає у можливості використання запропонованої схеми для побудови систем аналітичного супроводу навчання, де аномальний сигнал розглядається як підстава для контекстної перевірки.