[AD] LQR(Linear Quadratic Regulator)란 무엇일까?

Author: Joonhee Lim
Date: 2022/08/14

출처: https://sunggoo.tistory.com/68?category=979705

---

0. Linear Quadratic Regulator

지난번에는 최적제어의 한 가지 방법인 MPC에 대해서 배워보았다.

u라는 제어 입력과 현재 State x를 이용하여 미래의 State와 제어입력을 예측 및 계획하고 출력 y가 Reference Spot에 가까이 잘 계획되었는지 피드백하고 다시 계획을 진행한 MPC.. LQR과 어떤 차이가 있을까?

 

최적 제어의 목적은 다음과 같은 시스템과 초기 조건이 주어졌을 때

 

다음과 같은 Cost Function

을 최소화하는 입력

을 찾는게 목적이다.

 

Principle of optimality에 따라 한 문제에 대한 해가 최적이면 그 문제를 이루는 sub-problem들의 해도 최적이기에 $t_{1}$을 추가하여 접근한다.

즉 다음과 같이 Cost Function을 범위에 따라 나누고 $t_{1}$ = $t + \Delta{t}$로 두고 $\Delta{t}$가 매우 작은 값이라고 가정한다.

다음 적분 항의 경우 높이가 $\Delta{t}$고 밑변이

라고 두면 두 개의 곱으로 계산이 가능하다. 마지막으로

해당 항은 x와 t에 대해서 테일러 series로 표현하면

다음과 같이 정리할 수 있게 된다.

 

V*가 양변에 존재하므로 소거시킨 뒤 H.O.T 값은 매우 작은 값이므로 제거하고 양변을 $\Delta{t}$로 나누면

다음과 같이 정리되며 $\Delta{t}$는 매우 작은 값이므로 0으로 극한을 보내면 다음과 같은 Hamilton-Jacobi Equation을 얻을 수 있다.

*해밀턴-야코비 방정식이란 고전역학을 기술하는 한 가지 방법이고 이를 통해 역학계의 운동 상수들을 계를 완전히 풀지 않고도 찾을 수 있다. 

 

해당 방정식을 선형 시스템에 적용한 것이 바로 Linear Quadratic Regulator라는 것이다!!

 

시스템을 다음과 같이 설정하고

V*와 l ,f는 다음과 같다.

이를 다음 해밀턴-야코비 방정식에 대입하면 

$\frac{\partial V^*}{\partial t} = 0 = -min\limits_{u(t)}[u^TRu+x^TQx + 2x^TP(Ax + Bu)]$가 된다.

 

이를 Quadratic form으로 만들면

이 되고 위 식을 최소화하는 $u^{*}$는

가 되며

다음과 같은 Algebraic Riccati Equation을 구할 수 있게 되며

 

P를 구하면 $u^{*}$를 구할 수 있게 된다.

 

Q와 R은 우리가 설정하는 Parameter고 P는 이 값들에 의해 얻어진다.