본문 바로가기

Reinforcement Learning

Reinforcement Learning 2023. 4. 12. [RL] Q-Learning and Double Q-Learning Q-Learning: Q-Learning은 1989년 Watkins에 의해 제안된 강화학습 알고리즘이며 optimal action-value function Q(s,a)의 off-policy 학습이다. 이 알고리즘은 Q-value iteration을 mimics하였고 importance sampling을 요구하지않는다는 특징이 있다. 해당 알고리즘과 비슷한 알고리즘으로는 expected SARSA가 있다. Q-Learning은 next state의 Q-value를 추정하는 과정에서 max 연산을 사용한다는 점에서 expected SARSA와 차이가 있다. 또한 off-policy 알고리즘이기 때문에 target policy와 behavior policy가 각기 다르다는 특징 또한 있다. 2013년에는 해..
Reinforcement Learning 2023. 3. 10. [RL] 순차적 의사결정 문제 정의 단계에서의 POMDP와 MDP 차이 Author: Joonhee Lim Research Field: Decision & Planning Date: 2023/03/10 0. POMDP (Partially Observable MDP) vs MDP (Fully Observable MDP) 일반적으로 State $s_t$와 Observation $o_t$가 같고 제공할 수 있는 모든 정보를 Agent에게 제공하는 것을 가정하는 MDP 문제 규정은 현실과 맞지 않는 부분이 있다. 현실에서는 어떤 정보를 관측할 때 불확실성 또는 노이즈가 분명히 존재하기 때문이다. 즉, 자율주행의 제어를 위해 MDP의 State Space를 Ego 차량의 위치, 속도, 가속도라고 규정한다고 해도 현실에서의 Observation은 제공하지 못하는 정보가 있을 수도 있고..
[RL] Model : 모델이란(생각보다 간단하게)
Reinforcement Learning 2022. 11. 30. [RL] Model : 모델이란(생각보다 간단하게) Author: KangchanRoh Team: Reinforcement Learning Team @ CAI Lab Date: 2022/11/30 모델이란 기본적으로 환경(environment)에 대한 모델을 가리킨다. 환경이 행동(action)에 어떻게 반응할 것인 지를 예측하기 위해 학습자가 활용할 수 있는 모든 것. 어떤 상태(state)와 어떤 행동(action)이 주어지면, 환경 모델은 다음 상태와 다음 보상을 예측한다. 즉, $p(s',r|s,a)$이 주어지거나 활용을 하는 지. 하지만 여기서 다음 상태와 다음 보상은 여러가지가 가능하고 각각은 나름의 발생 확률을 가진다. 모델은 크게 다음과 같이 두 종류가 있다. 분포 모델(Distribution Model) 모든 가능성을 제공하고 각 가능성에..
[RL] Linear Inverse Reinforcement Learning에 대한 글
Reinforcement Learning 2022. 8. 24. [RL] Linear Inverse Reinforcement Learning에 대한 글 Author: Joonhee Lim Date: 2022/08/24 출처: https://reinforcement-learning-kr.github.io/2019/01/22/0_lets-do-irl-guide/ 0. Motivation 이전에 Robot 및 Autonomous Vehicle에 적합한 모방학습(Imitation Learning)을 정리하였었는데 거기에는 BC(Begavioral Cloning)와 IRL(Inverse Reinforcement Learning) 두 가지 방법이 존재하였다. BC는 비교적 지도학습과 매우 유사하였기에 이해하고 정리하는데 큰 힘이 들지 않았지만 Inverse Reinforcement Learning은 지속적으로 단점이 보완되고 있고 BC보단 이해하는데 시간을 투자해..
[RL] Imitation Learning(모방 학습)에 대한 설명 및 정리
Reinforcement Learning 2022. 8. 23. [RL] Imitation Learning(모방 학습)에 대한 설명 및 정리 Author: Joonhee Lim Date: 2022/08/23 참고한 블로그: https://cding.tistory.com/71 https://reinforcement-learning-kr.github.io/2019/01/22/0_lets-do-irl-guide/ 0. Motivation 필자는 강화학습에 대해 지속적으로 공부도 하고 실제로 학습까지 돌려본 경험이 있다. 하지만 엄청난 샘플링 양과 그에 따른 학습 시간을 보고 충격에 빠졌고 Data Sampling Efficiency가 첨가된 알고리즘은 없을까 라는 생각과 지도학습처럼 정답과 가까운 Action을 보여주고 그 행동을 모방하게 하는 알고리즘은 없을까 생각했었다. 근데 실제로 있었다. 그렇게 되어 차량 자율주행 같이 인간 전문가의 행동을..
[RL] DQN을 공부한 당신, 학습코드도 파헤쳐보자! (Car Racing, Gym, PyTorch)
Reinforcement Learning 2022. 8. 1. [RL] DQN을 공부한 당신, 학습코드도 파헤쳐보자! (Car Racing, Gym, PyTorch) Author: Kangchan Roh Date: 2022/08/01 ▣ 머리말 이번 포스팅은 DQN을 공부해보았고 더욱 알고 싶어서 코드로 접해보고 싶지만 막연함에 접해보지 못한 분들께 좋은 포스팅일 것 같습니다. DQN의 핵심 알고리즘이(Q-learning : (TD-target, value-based, e-greedy), Q-Network, Experience Replay... 음 요 정도..?) 코드에 어떤 부분에 해당하는 지 대응해보고 코드를 실행해보며 DQN을 더 느낌 와닿게 리마인딩해보는 의미있는 시간이 됐으면 하는 바람입니다. 저도 이번에 처음으로 강화학습 코드를 제작해보면서 DQN을 더 풍부하게 막 방금 느껴보고 기록하는 중이에요. 코드는 아래 환경 설명 부분에 첨부되어 있습니다. 처음이라..
[RL] End-to-End Autonomous Driving in Simulation using Reinforcement Learning: PPO 활용 보호되어 있는 글입니다.
[RL] End-to-End Autonomous Driving in Simulation using Reinforcement Learning: DQN 활용 보호되어 있는 글입니다.

티스토리툴바