Estimating Parameters of Linear Regression With an Exponential Power Distribution of Errors by Using a Polynomial Maximization Method

Abstract

This paper considers the application of a method for maximizing polynomials in order to find estimates of the parameters of a multifactorial linear regression provided the random errors of the regression model follow an exponential power distribution. The method used is conceptually close to a maximum likelihood method because it is based on the maximization of selective statistics in the neighborhood of the true values of the evaluated parameters. However, in contrast to the classical parametric approach, it employs a partial probabilistic description in the form of a limited number of statistics of higher orders.

The adaptive algorithm of statistical estimation has been synthesized, which takes into consideration the properties of regression residues and makes it possible to find refined values for the estimates of the parameters of a linear multifactorial regression using the numerical Newton-Rafson iterative procedure. Based on the apparatus of the quantity of extracted information, the analytical expressions have been derived that make it possible to analyze the theoretical accuracy (asymptotic variances) of estimates for the method of maximizing polynomials depending on the magnitude of the exponential power distribution parameters.

Statistical modeling was employed to perform a comparative analysis of the variance of estimates obtained using the method of maximizing polynomials with the accuracy of classical methods: the least squares and maximum likelihood. Regions of the greatest efficiency for each studied method have been constructed, depending on the magnitude of the parameter of the form of exponential power distribution and sample size. It has been shown that estimates from the polynomial maximization method may demonstrate a much lower variance compared to the estimates from a least-square method. And, in some cases (for flat-topped distributions and in the absence of a priori information), may exceed the estimates from the maximum likelihood method in terms of accuracy.

Розглядається застосування методу максимізації поліномів для знахо-дження оцінок параметрів багатофакторної лінійної регресії за умови, що ви-падкові помилки регресійній моделі мають експоненціальне степеневий розпо-діл. Метод, що використовується, концептуально близький до методу макси-мальної правдоподібності оскільки заснований на максимізації вибіркової ста-тистики в околі істинних значень оцінюваних параметрів. Однак на відміну від класичного параметричного підходу він використовує частковий ймовірнісний опис у вигляді обмеженої кількості статистик вищих порядків.Синтезований адаптивний алгоритм статистичного оцінювання, що врахо-вує властивості регресійних залишків і дозволяє знаходити уточнені значення оцінок параметрів лінійної багатофакторної регресії з використанням чисельної ітераційної процедури Ньютона-Рафсона. На основі апарату кількості добутої інформації отримано аналітичні вирази, що дозволяють аналізувати теоретичну точність (асимптотичні дисперсії)оцінок методу максимізації поліномів в зале-жності від величини параметрів експоненціального степеневого розподілу.Шляхом статистичного моделюванняпроведено порівняльний аналіз дис-персії оцінок, які отримуються за допомогою методу максимізації поліномів з точністю класичних методів: найменших квадратів і максимальної правдопо-дібності. Побудовано області найбільшої ефективності для кожного з дослі-джуваних методів в залежності від величини параметра форми експоненціа-льного степеневого розподілу і обсягувибірки.Показано, що оцінки методу ма-ксимізації поліномів можуть мати значно меншу дисперсію порівняно з оцін-ками методу найменших квадратів. А в ряді випадків (для плосковершинних розподілів та при відсутності апріорної інформації)за точністю перевищува-ти оцінки методу максимальної правдоподібності.