Experimental evaluation of machine learning models for detecting cyber threats in network traffic

Abstract

The objective of this study was to increase the ability of automatic systems to identify cyber dangers in network traffic through the use and comparison of various models of machine learning in view of the growing complexity of attacks and the increasing volume of network data. The goal of this research is to determine the features and the effectiveness of standard ML models for the detection of cyber dangers in network traffic by experimental evaluation. This was an experimental, quantitative empirical study in the areas of machine learning and cyber security that was computer based. The research was based on a one-cycle computational experiment on the CIC-IDS2017 dataset, where the models were trained, their performance was evaluated and the patterns in the classification errors were analysed. The results showed a clear relationship between algorithmic complexity and quality of cyber threat detection in network traffic. All the models obtained high values for the different metrics although the ensemble methods always performed better than the baseline approaches. Logistic Regression performed the worst with an accuracy of 94.7%, recall of 92.1% and f1-score of 92.8%. On the other hand, XGBoost achieved the best results, with an accuracy of 99.2%, a recall of 98.9%, an F1-score of 98.9% and an area under the ROC curve of 99.5%, while also causing the fewest misclassifications. Examination of the confusion matrices showed a significant decrease in missed attacks, falling from 3,086 to 437 when XGBoost was used, thus reducing the risk of threats going undetected. The highest classification performance was found for denial-of-service, distributed denial-of-service and port-scanning attacks, with recall reaching 99.8%. Brute-force attacks, botnet activity and web attacks were more difficult to detect because they resembled legitimate traffic, although recall remained above 96% for these categories as well. The results can be used by cybersecurity specialists, developers of intrusion detection and prevention systems and security operations centre analysts.

Метою цього дослідження було підвищення здатності автоматизованих систем виявляти кіберзагрози в мережевому трафіку шляхом використання та порівняння різних моделей машинного навчання з огляду на зростаючу складність атак та збільшення обсягу мережевих даних. Завданням цього дослідження є визначення характеристик та ефективності стандартних моделей машинного навчання для виявлення кіберзагроз у мережевому трафіку шляхом експериментальної оцінки. Це було експериментальне, кількісне емпіричне дослідження в галузях машинного навчання та кібербезпеки, яке проводилося за допомогою комп’ютера. Дослідження базувалося на одноцикловому обчислювальному експерименті з набором даних CIC-IDS2017, в ході якого моделі були навчені, оцінено їхню ефективність та проаналізовано закономірності в помилках класифікації. Результати показали чіткий взаємозв’язок між алгоритмічною складністю та якістю виявлення кіберзагроз у мережевому трафіку. Усі моделі отримали високі значення за різними показниками, хоча ансамблеві методи завжди демонстрували кращі результати, ніж базові підходи. Логістична регресія показала найгірші результати: точність 94,7 %, відкликання 92,1 % та F1-показник 92,8 %. З іншого боку, XGBoost досяг найкращих результатів: точність 99,2 %, відкликання 98,9 %, F1-показник 98,9 % та площа під кривою ROC 99,5 %, при цьому він також спричинив найменшу кількість помилкових класифікацій. Аналіз матриць плутанини показав значне зменшення кількості пропущених атак – їхня кількість знизилася з 3 086 до 437 при використанні XGBoost, що дозволило зменшити ризик того, що загрози залишаться невиявленими. Найвища ефективність класифікації була зафіксована для атак типу «відмова в обслуговуванні», «розподілена відмова в обслуговуванні» та «сканування портів», де показник відтворюваності досяг 99,8 %. Атаки методом грубої сили, активність ботнетів та веб-атаки було складніше виявити, оскільки вони нагадували легітимний трафік, хоча показник відтворюваності для цих категорій також залишався на рівні понад 96 %. Ці результати можуть бути використані фахівцями з кібербезпеки, розробниками систем виявлення та запобігання вторгненням, а також аналітиками центрів оперативної безпеки.