Dynamic programming for the inventory management problem solution in logistics

Abstract

Currently, there is a problem of methods insufficient efficiency for finding solutions to the inventory management problem. The research object is the process of solving inventory management problems. The research subject is methods for finding a solution to the inventory management problem based on dynamic programming. The research goal is to increase the efficiency of finding a solution to the inventory management problem through dynamic programming. A method based on deterministic dynamic programming, a method based on stochastic dynamic programming, a method based on Q-learning, and a method based on SARSA were applicated for the inventory management problem. There are advantages of the methods. of Methods modification of deterministic and stochastic dynamic programming, Q-learning, and SARSA due to dynamic parameters makes it possible to increase the learning speed while maintaining the root-mean-square error of the method. The numerical study made it possible to evaluate the methods (for modifying the deterministic and stochastic dynamic programming methods, the number of iterations is close to the number of stages; for both methods of deterministic and stochastic dynamic programming, the root mean square error was 0.02; for modifying the Q-learning and SARSA methods, the number of iterations was 300, for both methods of Q-learning and SARSA, the root mean square error was 0.05). These methods make it possible to expand the scope of dynamic programming, which is confirmed by their adaptation to the inventory management problem and helps to increase the intelligent computer systems efficiency for general and special purposes. The application of these methods for a wide class of artificial intelligence problems are the prospects for further research.

В даний час існує проблема недостатньої ефективності методів пошуку вирішення задач управління запасами. Об'єктом дослідження є вирішення завдань управління запасами. Предметом дослідження є методи пошуку вирішення завдання управління запасами на основі динамічного програмування. Метою роботи є підвищення ефективності пошуку вирішення задач управління запасами за рахунок динамічного програмування. Для досягнення поставленої мети в роботі були створені: метод на основі детермінованого динамічного програмування, метод на основі динамічного стохастичного програмування, метод на основі Q-навчання, метод на основі SARSA для завдання управління запасами. До переваг запропонованих методів належить наступне. Модифікація методів детермінованого та стохастичного динамічного програмування, Q-навчання та SARSA за рахунок динамічних параметрів дозволяє підвищити швидкість навчання при збереженні середньоквадратичної помилки методу. Проведене чисельне дослідження дозволило оцінити запропоновані методи (для модифікації методів детермінованого та стохастичного динамічного програмування кількість ітерацій близька до кількості етапів, для обох методів детермінованого та стохастичного динамічного програмування середньоквадратична помилка склала 0.02, для модифікації методів Q-навчання та SAR методів Q-навчання та SARSA середньоквадратична помилка склала 0.05). Запропоновані методи дозволяють розширити сферу застосування динамічного програмування, що підтверджується їх адаптацією для завдання управління запасами та сприяє підвищенню ефективності інтелектуальних комп'ютерних систем загального та спеціального призначення. Перспективами подальших досліджень є дослідження запропонованих методів для широкого класу задач штучного інтелекту.