Efektivní metoda Q učení: Simulační posouzení použitelnosti pro řízení aktivního magnetického ložiska

EFFICIENT Q-LEARNING METHOD: SIMULATION ASSESSMENT OF ITS APPLICABILITY ON ACTIVE MAGNETIC BEARING CONTROL

habilitation thesis

Czech

Aktivní magnetické ložisko (AML) je relativně nový a velmi perspektivní konstrukční prvek eliminující přímý mechanický dotyk levitací rotoru v řízeném magnetickém poli. Z mechanického hlediska se vyznačuje zanedbatelnými třecími odpory. opotřebením, nízkou energetickou náročností, nízkou hlučností a vysokou přesností i tuhostí. Z hlediska řízení je velmi výhodná možnost měnit jeho dynamické vlastnosti za chodu stroje. Z hlediska provozního je nezanedbatelná jeho použitelnost za extrémních nebo speciálních podmínek. Samotné AML je nestabilní, a proto je vždy potřeba AML stabilizovat zpětnovazební regulační smyčkou. Signál zpětné vazby je obvykle získáván bezdotykovým snímačem polohy rotoru. Regulátor vyhodnocuje odchylku rotoru od geometrické osy ložiska, a tím se řídí hodnota napájecího proudu elektromagnetů ložiska. Na řídicí elektroniku jsou však kladeny značné nároky, což mimo jiné vede na vysokou cenu takových ložisek. Přesto se tato ložiska již řadu let komerčně vyrábějí a jsou používána u některých velkých strojů (turbíny, turbokompresory, velké elektrické stroje), kde je jejich cena přijatelná. Metody umělé inteligence (metody UI), zejména ty, které používají strojového učení v reálném čase, mohou představovat východiska návrhu nových metod řízení (inteligentních řídicích členů) zlepšujících řízení AML, případně vyžadujících méně složitou řídicí elektroniku. Učení se dokonce stane zásadním faktorem, jestliže se prostředí nebo cíle subjektu řízení mění v čase.

The habilitation thesis is focused on application of Q-learning on active magnetic bearing (AMB) control. The bearing represents unstable continuous nonlinear dynamic system. The problems in the process of learning to control such systems are overcome by dividing the conventionally processed learning into two phases - prelearning stage and tutorage stage. Prelearning stage uses convergence properties of asynchronous real time values iteration (particularly Q-learning) based on trial. It uses trial which processes only single state transition. This way the contradiction between exploring and exploiting is overridden, even if the use of simulation model becomes necessary. Prelearning stage shows high convergence speed. Consequential tutorage stage uses conventional Q-learning procedure applied on Q function created during the prelearning stage. Tutorage is expected to be processed on real mechatronic system and its use for controller adaptation on possible system parameters changes is not excluded. Using the space of two-dimensional and three-dimensional discrete states (2-D state and 3-D state) created from AMB state variables the convergence speed of prelearning stage for various variants of state space discretization (Q-function table grid) is examined first. The applicability of found policies is further validated through extensive simulations. During those simulations the robustness of the policy against system variables observation error and action delay is tested. Based on the tests the best grids of Q-function table for 2-D state and 3-D state were selected and obtained policies behaviour was compared with the behaviour of AMB controlled by continuous linear PID controller, which was taken from the literature. The results show that control policies obtained on 2-D state and 3-D state after the tutorage stage are not significantly different and also that controller found by Q-learning reaches better control quality than PID controller.

Reinforcement learning, Q-learning, Active Magnetic Bearing, Control

BŘEZINA, T.

18. 6. 2003

Nakladatelství VUTIUM, VUT v Brně

Brno, ČR

1

35

35