Architecture of hybrid Edge Lakehouse for environmental monitoring on Raspberry Pi

Abstract

In this article, a hybrid Edge Lakehouse architecture for environmental monitoring is presented, which has been implemented and experimentally tested on a Raspberry Pi 5 edge device. The relevance of the research is driven by the need for a robust edge computing architecture that supports local collection, processing and transactional storage of sensor data, followed by synchronisation with a cloud-based analytics environment, within the limitations of hardware resources. The main objective of this work was to develop the Edge Lakehouse architecture as a local component of an autonomous monitoring system and to evaluate its performance. In this study, experimental modelling of the hardware-software system was conducted, along with measurements of execution time, memory usage and Central Processing Unit load, as well as an assessment of resilience to forced power shutdowns and temporary network outages. The proposed hybrid Edge Lakehouse architecture maintains data integrity and operational continuity under emergency and unstable conditions, as confirmed by experimental studies. In particular, the results showed that the average processing time for a single micro-batch of sensor data was 25.51 seconds, of which 20.04 seconds were spent on initialising the processing environment, 1.18 seconds on writing to the local table and 3.94 seconds on synchronising with the cloud environment. The system demonstrated correct recovery without loss of confirmed data and the 48-hour replication window allowed for autonomous synchronisation recovery without duplicate records. The obtained data also confirmed the architecture’s suitability for long-term autonomous functioning. The proposed solutions have practical value as a reliable local layer for autonomous environmental monitoring systems.

У цій статті представлено гібридну архітектуру Edge Lakehouse для моніторингу навколишнього середовища, реалізовану та експериментально перевірену на периферійному пристрої Raspberry Pi 5. Актуальність дослідження зумовлена потребою в надійній архітектурі периферійного обчислення, яка забезпечує локальний збір, обробку та транзакційне збереження сенсорних даних із подальшою синхронізацією з хмарним аналітичним середовищем в умовах обмежених апаратних ресурсів. Основною метою роботи була розробка архітектури Edge Lakehouse як локального компонента автономної системи моніторингу та оцінка її продуктивності. В цьому дослідженні проведено експериментальне моделювання апаратно-програмної системи, вимірювання часу виконання, використання пам’яті та навантаження процесора, а також оцінку стійкості до примусового відключення живлення та тимчасових перебоїв у роботі мережі. Запропонована гібридна Edge Lakehouse архітектура підтримує цілісність даних та безперебійність роботи в екстрених та нестабільних умовах, що підтверджено експериментальними дослідженнями. Зокрема, результати показали, що середній цикл обробки одного мікропакета даних сенсора становив 25,51 секунди, з яких 20,04 секунди припадало на ініціалізацію середовища обробки, 1,18 секунди на запис у локальну таблицю та 3,94 секунди на синхронізацію з хмарним середовищем. Система продемонструвала коректне відновлення без втрати підтверджених даних, а 48-годинне вікно реплікації дозволило самостійно відновити синхронізацію без дублювання записів. Отримані дані також підтвердили придатність архітектури до тривалого автономного функціонування. Запропоновані рішення мають практичну цінність як надійний локальний рівень для автономних систем моніторингу навколишнього середовища.