본문 바로가기

전체 글

[RL] Imitation Learning(모방 학습)에 대한 설명 및 정리
Reinforcement Learning 2022. 8. 23. [RL] Imitation Learning(모방 학습)에 대한 설명 및 정리 Author: Joonhee Lim Date: 2022/08/23 참고한 블로그: https://cding.tistory.com/71 https://reinforcement-learning-kr.github.io/2019/01/22/0_lets-do-irl-guide/ 0. Motivation 필자는 강화학습에 대해 지속적으로 공부도 하고 실제로 학습까지 돌려본 경험이 있다. 하지만 엄청난 샘플링 양과 그에 따른 학습 시간을 보고 충격에 빠졌고 Data Sampling Efficiency가 첨가된 알고리즘은 없을까 라는 생각과 지도학습처럼 정답과 가까운 Action을 보여주고 그 행동을 모방하게 하는 알고리즘은 없을까 생각했었다. 근데 실제로 있었다. 그렇게 되어 차량 자율주행 같이 인간 전문가의 행동을..
[AD] ILQR(Iterative Linear Quadratic Regulator)란 무엇일까?
Autonomous Driving 2022. 8. 23. [AD] ILQR(Iterative Linear Quadratic Regulator)란 무엇일까? Author: Joonhee Lim Date: 2022/08/23 출처: https://www.researchgate.net/publication/220271553_Iterative_Linear_Quadratic_Regulator_Design_for_Nonlinear_Biological_Movement_Systems 0. Motivation 이전에 MPC와 LQR에 대해서 간단하게 포스팅한 적이 있었는데 각 알고리즘의 차이와 장단점을 알아보았다. 그 중 LQR은 그 이름처럼 비선형 시스템에는 적용할 수 없다는 단점이 있었는데 이를 해결하기 위해 ILQR이라는 녀석이 있다고 하여 할 수 있으면 간단하게.. 없다면 자세하게 포스팅해보고자 한다. 1. ILQR? ILQR은 선형 시스템을 푸는 최적제어 방식이 ..
[AD] MOBIL: General Lane-Changing Model for Car-Following Models에 대한 설명 및 정리
Autonomous Driving 2022. 8. 23. [AD] MOBIL: General Lane-Changing Model for Car-Following Models에 대한 설명 및 정리 Author: Joonhee Lim Date: 2022/08/23 출처: https://ieeexplore.ieee.org/document/9729796 https://mtreiber.de/publications/MOBIL_TRB.pdf Autonomous Vehicle Cut-In Algorithm for Lane-Merging Scenarios via Policy-Based Reinforcement Learning Nested Within Finite-Stat Lane-merging scenarios pose highly challenging problems for autonomous vehicles due to conflicts of interest between the human-driven an..
Autonomous Driving 2022. 8. 22. [AD] ACC(Adaptive Cruise Control)란 무엇일까? Author: Joonhee Lim Date: 2022/08/22 출처: https://ko.wikipedia.org/wiki/%EC%A0%81%EC%9D%91%ED%98%95_%EC%88%9C%ED%96%A5_%EC%A0%9C%EC%96%B4_%EC%9E%A5%EC%B9%98 0. Motivation 차량 자율주행 관련 논문을 읽다 보면 IDM(Intelligent Driver Model), MPC(Model Predictive Control) 등 다양한 용어가 등장한다. 허나 다른 단어들을 뚫고 내 눈을 지속적으로 자극하던 단어가 있었으니.. ACC(Adaptive Cruise Control)이다. 필자의 연구실에서도 ACC와 관련된 연구가 진행되고 있기에 갑자기 정리해보고 싶은 욕구가 생겨 급발진 ..
[AD] MPC(Model Predictive Control) VS LQR(Linear Quadratic Regulator)
Autonomous Driving 2022. 8. 14. [AD] MPC(Model Predictive Control) VS LQR(Linear Quadratic Regulator) Author: Joonhee Lim Date: 2022/08/14 출처: https://www.quora.com/Whats-the-difference-between-constrained-LQR-and-MPC 앞에서 MPC와 LQR에 대한 정리를 진행하였다. 하지만 그래서 둘이 뭐가 다르고 언제 어떻게 쓰는건데? 에 대한 대답은 명시되어 있지 않았다. 그래서 여기에 쓸 거임 0. General Optimal Control 일반적인 최적제어의 목적이다. Optimal Control은 그저 Cost Function을 최소화시킬 수 있는 입력 u를 찾는 것을 목적으로 한다. General한 Optimal Control은 선형 시스템이라는 제한이 붙지 않는다. 1. Linear Quadratic Regulator..
[AD] LQR(Linear Quadratic Regulator)란 무엇일까?
Autonomous Driving 2022. 8. 14. [AD] LQR(Linear Quadratic Regulator)란 무엇일까? Author: Joonhee Lim Date: 2022/08/14 출처: https://sunggoo.tistory.com/68?category=979705 0. Linear Quadratic Regulator 지난번에는 최적제어의 한 가지 방법인 MPC에 대해서 배워보았다. u라는 제어 입력과 현재 State x를 이용하여 미래의 State와 제어입력을 예측 및 계획하고 출력 y가 Reference Spot에 가까이 잘 계획되었는지 피드백하고 다시 계획을 진행한 MPC.. LQR과 어떤 차이가 있을까? 최적 제어의 목적은 다음과 같은 시스템과 초기 조건이 주어졌을 때 다음과 같은 Cost Function 을 최소화하는 입력 을 찾는게 목적이다. Principle of optimality에 따라 한 문제..
[AD] MPC(Model Predictive Control)란 무엇일까? (2)
Autonomous Driving 2022. 8. 13. [AD] MPC(Model Predictive Control)란 무엇일까? (2) Author: Joonhee Lim Date: 2022/08/13 출처: https://sunggoo.tistory.com/68?category=979705 3. MPC의 최적화 방법 앞에 포스트에서 MPC가 무엇인지 설명하였다. 이번 포스트에서는 Model Predictive Control의 입력들을 최적화하는 방법에 대해서 자세히 포스팅하고자 한다. MPC는 다음과 같은 목적함수 Cost Function을 최소화 시키는 입력의 변화량을 구하는데 목적을 둔다. 여기서 R은 Desired Path라고 생각하면 되고 Y는 model의 출력이다. 우측에 보이는 항은 가중치(Weighting Matrix)로써 $\bar{R}$이 크면 제어 입력의 힘이 크게 잡혀서 입력을 작게 쓰는 것이 목적함수가 작아지는 결..
[AD] MPC(Model Predictive Control)란 무엇일까? (1)
Autonomous Driving 2022. 8. 13. [AD] MPC(Model Predictive Control)란 무엇일까? (1) Author: Joonhee Lim Date: 2022/08/13 0. Motivation 자율주행 제어 방법에 대해서 조사하다가 최적화를 이용하여 제어하는 방법 중 MPC에 관심이 생겨 정리해보게 되었다. 다양한 고전 방식의 제어를 먼저 공부한다면 최근 기법이 나오게 된 배경을 이해할 수 있을 것 같아 떨린다. 출처: https://sunggoo.tistory.com/65?category=979705 https://sunggoo.tistory.com/66?category=979705 https://sunggoo.tistory.com/67?category=979705 다음 블로그를 참고하여 작성하였다. MPC 란? (Model Predictive Control) 3. Prediction of state ..
[AD] IDM(Intelligent Driver Model) 이란 뭘까?
Autonomous Driving 2022. 8. 12. [AD] IDM(Intelligent Driver Model) 이란 뭘까? Author: Joonhee Lim Date: 2022/08/12 출처: https://en.wikipedia.org/wiki/Intelligent_driver_model 0. IDM(Intelligent Driver Model)이란 무엇일까 지능형 운전자 모델(IDM)은 고속도로 및 도시 교통 시뮬레이션을 위한 연속 시간 도메인의 차량 following 모델이다. 즉, 시뮬레이션 내에서 Ego Vehicle 주변에 널려있는 차량들을 맡고 있다. 주변 차량들 또한 실제 운전자처럼 운전해야 알고리즘 검증 및 테스트가 의미가 있어지기에 이러한 모델들이 나오는 것이다. 1. Model Definition Vehicle의 위치와 속도에 대한 동역학적 모델은 다음과 같이 구성된다. desired velocity ..

티스토리툴바