Rainbow의 혈관 속 탐험 (The Rainbow's adventure in the vessel) (RL Korea)

1. Rainbow의 혈관 속 탐험 김경환

2. 발표자 소개 김경환 Kim Kyunghwan kh.kim@medipixel.io / khsyee@gmail.com AI Research Engineer at Medipixel Contributor at ModuLabs RL Lecturer at {Multicampus, LG, ...} Hansung University (Majored in Electronic Information Engineering) Interests : AI, Reinforcement Learning, (Playing games!)

3. 목차 1. What are we trying to solve? 2. 실험 환경 구성 3. 알고리즘 선정 4. 실험 시행착오 5. 결과

4. What are we trying to solve ?

5. About Medipixel AI를 의료에 접목하여 인류의 삶의 질을 높이는 글로벌 헬스테크 기업 ❏ Mission

6. About Medipixel ❏ Mission → 특히, 심혈관질환의 진단 및 치료를 돕는 솔루션을 연구개발 AI를 의료에 접목하여 인류의 삶의 질을 높이는 글로벌 헬스테크 기업

7. 심혈관 질환? ❏ 심혈관 질환이란 ● 심장 주변 혈관에 지방질이 쌓여 혈관을 막아 생기는 병 ● 전 세계 사망원인 1위 (약 30%) < 세계 사망 원인 질환 > ref: Global health estimates 2016

8. 심혈관 질환? ❏ 심혈관 질환이란 < 심장 관상동맥 > ref: 위키백과 ● 관상동맥: 심장에 혈액을 공급하는 동맥

9. 심혈관 질환? ❏ 심혈관 질환이란 정상 관상동맥 일부 막힘 완전히 막힘 ref: 서울아산병원 메디컬칼럼, 아스피린프로텍트 심혈관질환의 종류 < 협심증 > < 심근경색 > ● 산소 공급 부진 ● 가슴 통증, 압박감 ● 심장 근육 사망 ● 돌연사

10. 심혈관 중재 시술 (PCI) ref: http://www.secondscount.org/image.axd?id=c8a00122-bb66-46c6-8ab7-333a9a0cd46a&t=635566481777430000 https://www.mcvs.co.nz/wp-content/uploads/2017/05/stent-balloon-angioplasty.png ❏ 시술 방법 ● 허벅지 위쪽 또는 팔의 혈관을 통해 와이어를 넣어 심혈관 병변부위에 접근 ● 벌룬으로 막힌 혈관 부분을 뚫고, 스텐트로 고정

11. 심혈관 중재 시술 (PCI) ref: 강남세브란스병원 관상동맹 조영술 및 혈관 확장술 ❏ 시술 X-ray 이미지

12. 심혈관 중재 시술 자동화 ❏ PCI 시술 자동화의 필요성 ● 전체 시술 시간동안 X-ray 영상 ● 의료진 건강에 큰 부담 ● 숙련도에 따른 큰 차이 ● 도구를 많이 교체해야함 (고가의 시술도구) ● 약 1시간 ● 완전폐쇄병변 등 어려운 시술의 경우 그 이상

13. 로봇과 심혈관 중재 시술 ❏ 로봇을 이용한 시술의 예 ref: https://www.corindus.com/ ● Corindus: 원격 로봇 조작을 통한 심혈관 중재 시술

14. 로봇과 심혈관 중재 시술 < 기존 수기 시술 > < Manipulator > < Rotate > < Translation > < Rotate > < Translation > ref: 아산병원

15. Medipixel과 심혈관 중재 시술 가이딩카테터 선 정 가이드와이어 삽입 스텐트 배치 시술 종료 카테터 CDSS 스텐트 선정 스텐트 CDSS 와이어 네비게이션 스텐트 네비게이션 가이딩카테터 삽입 카테터 네비게이션 카테터 탐지/분할 와이어 탐지/분할 스텐트 탐지/분할 CAG + CT 정합 ECG 패턴 추출 진단 주혈관 분할 병변 검출/표시 병변 지수 산출 시술 시작시술 준비 와이어 로드맵 진단 시술도구 추천 시술 가이드 & 시술 자동화 ❏ 시술 절차와 필요 기술

16. 가이딩카테터 선 정 가이드와이어 삽입 스텐트 배치 시술 종료 카테터 CDSS 스텐트 선정 스텐트 CDSS 와이어 네비게이션 스텐트 네비게이션 가이딩카테터 삽입 카테터 네비게이션 카테터 탐지/분할 와이어 탐지/분할 스텐트 탐지/분할 CAG + CT 정합 ECG 패턴 추출 진단 주혈관 분할 병변 검출/표시 병변 지수 산출 시술 시작시술 준비 와이어 로드맵 진단 시술도구 추천 시술 가이드 & 시술 자동화 Medipixel과 심혈관 중재 시술 ❏ 시술 절차와 필요 기술

17. 가이드와이어 제어 로봇을 이용해 가이드와이어를 병변부위까지 자동으로 이동시키자 ! ❏ 목표

18. 가이드와이어 제어 로봇을 이용해 가이드와이어를 병변부위까지 자동으로 이동시키자 ! ❏ 목표 → How ?

19. 와이어 제어의 어려움 ❏ 가이드와이어의 특성 ● Flexible ○ 와이어가 휘어져있는 형태를 제대로 파악하기 어려움 ● Friction ○ 와이어를 카테터라는 관을 통해 이동시킴 ○ 측정 불가능한 마찰이 발생

20. 와이어 제어의 어려움 ❏ 가이드와이어의 특성 ● Flexible ○ 와이어가 휘어져있는 형태를 제대로 파악하기 어려움 ● Friction ○ 와이어를 카테터라는 관을 통해 이동시킴 ○ 측정 불가능한 마찰이 발생 모델링이 불가능 → 기존 제어 방법으로 풀기 어려움

21. 와이어 제어의 어려움 ❏ 강화학습으로 접근 ref: OpenAI Dexture Hand: https://arxiv.org/abs/1808.00177 Imperial College Deformable Object Manipulation: https://arxiv.org/abs/1806.07851 ● 강화학습으로 로봇제어하는 사례가 많음 ● 특히, 비슷한 문제인 Deformable Object Manipulation 문제를 ○ 강화학습으로 해결한 사례가 존재

22. 가이드와이어 제어 가이드와이어를 병변부위까지 이동시키는 강화학습 Agent를 만들자 ! ❏ 목표

23. 실험 환경 구성

24. 실제 시술 환경 ❏ 의사의 시술 과정 ref: https://www.researchgate.net/figure/CAG-images-of-the-first-PCI-a-Coronary-stenosis-in-the-proximal-mid-portion-of-LAD_fig1_316498381 < 조영제 투입 > < 조영제 투입 X >

25. 실제 시술 환경 ❏ 의사의 시술 과정 ref: https://commons.wikimedia.org/wiki/File:Wellens%27_Warning.gif < 조영제 투입 >

26. 실제 시술 환경 ❏ 의사의 시술 사이클 ref: https://www.researchgate.net/figure/CAG-images-of-the-first-PCI-a-Coronary-stenosis-in-the-proximal-mid-portion-of-LAD_fig1_316498381 X-ray 이미지 시술자 가이드와이어 이동 환자 및 시술 장비

27. 실험 환경 구상 ❏ 실험 도구 ● Manipulator (아산병원) ● 의료 도구: 카테터, 가이드와이어 ● 2D 혈관 모형 ● 카메라 ● 실험실 (암실)

28. 실험 환경 구상 ❏ 2D 혈관 모형 카테터 가이드와이어 ref: 위키백과

29. 실험 환경 구상 ❏ 실험실과 실험 환경 예상도

30. 실험 환경 구상 ❏ 내부 환경 세팅

31. 실험 환경 구상 ❏ 강화학습 실험 사이클 카메라 RGB 이미지 Agent 가이드와이어 이동 Manipulator Control 실험 환경

32. 알고리즘 선정

33. 알고리즘 ❏ Research OpenAI: Dexterous Hand Imperial College: Deformable Object Manipulation UC Berkeley: Walking Minitaur Robot ref: OpenAI Dexture Hand: https://arxiv.org/abs/1808.00177 Imperial College Deformable Object Manipulation: https://arxiv.org/abs/1806.07851 UC Berkeley Walking Minitaur Robot: https://arxiv.org/pdf/1812.11103

34. 알고리즘 ❏ Research OpenAI: Dexterous Hand Imperial College: Deformable Object Manipulation UC Berkeley: Walking Minitaur Robot ref: OpenAI Dexture Hand: https://arxiv.org/abs/1808.00177 Imperial College Deformable Object Manipulation: https://arxiv.org/abs/1806.07851 UC Berkeley Walking Minitaur Robot: https://arxiv.org/pdf/1812.11103 → PPO → DDPG → SAC

35. 알고리즘 ❏ Research ● Manipulator → 주로 Continuous action space ● Continuous action → Policy gradient method ● Simulator 없음 ○ sim2real 불가능 ○ 분산 처리 불가능 → On-policy 보단 Off-policy

36. 알고리즘 ❏ Research DDPG TD3 SAC Main algorithms Sub algorithms ● from Demonstration ● HER ● Behavior cloning

37. 알고리즘 ❏ Research DDPG TD3 SAC Main algorithms Sub algorithms ● from Demonstration ● HER ● Behavior cloning But...

38. 알고리즘 ❏ 생각과 달랐던 부분 ● HW의 동작: 한 번에 한 가지 action만 입력 가능 ○ Continuous action은 보통 동시 입력 ■ ex. [전진, 후진, 회전] => [0.23, 0.34, 0.5] ● 데모 생성 위한 I/O가 keyboard 입력 ○ keyboard 입력으로 continuous action을 어떻게 재현할까?

39. 알고리즘 ❏ 생각의 전환 ● 동시 action이 없다면 굳이 넓은 continuous space로 해야할까? ● Discrete action이라면 ○ keyboard 입력으로도 쉽게 데모를 만들 수 있지 않나?

40. 알고리즘 ❏ 생각의 전환 Discrete action space로 가보자 ! ● 동시 action이 없다면 굳이 넓은 continuous space로 해야할까? ● Discrete action이라면 ○ keyboard 입력으로도 쉽게 데모를 만들 수 있지 않나?

41. 알고리즘 ❏ Research SAC Main algorithms Sub algorithms ● from Demonstration ● HER ● Behavior cloningDQN Rainbow

42. 알고리즘 ❏ Research SAC Main algorithms Sub algorithms ● from Demonstration ● HER ● Behavior cloningDQN Rainbow

43. 알고리즘 구현 ❏ Module을 직접 구현하기로 결정 ● Customize가 용이한 모듈이 필요 ● 필요한 algorithm들이 통합적으로, 사용하기 쉽게 구현된 모듈이 없었음 ○ rl-kit, Dopamine, … ● 기존 모듈에 적응하는 것보다 직접 구현하는게 더 빠르다고 판단

44. 알고리즘 구현 ❏ Module을 직접 구현하기로 결정 ● Customize가 용이한 모듈이 필요 ● 필요한 algorithm들이 통합적으로, 사용하기 쉽게 구현된 모듈이 없었음 ○ rl-kit, Dopamine, … ● 기존 모듈에 적응하는 것보다 직접 구현하는게 더 빠르다고 판단 https://github.com/medipixel/rl_algorithms

45. 알고리즘 Test ❏ LunarLander-v2 < LunarLander with RainbowDQN >

46. 실험 시행착오

47. 목표 ❏ 2D 혈관 모형 실험의 목표 ● 카테터 입구부터 시작하여 ● 분지 1 (proximal) 을 통과 후 ● 분지 2 (distal) 도 통과하여 ● 지정된 최종 goal 도착 ● goal은 양쪽 중 하나만 지정 분지 1 분지 2

48. Proximal case

49. 초기 State ❏ Resize & gray scale 640 x 480 x 3 150 x 150 x 1 resize gray scale

50. 초기 State State로 또 어떤 정보를 줄 수 있을까?

51. 초기 State ❏ Pathmap 150 x 150 x 1

52. 초기 State ❏ Tip crop mask image 640 x 480 x 3 40 x 40 x 1

53. 초기 State ❏ Pathmap + Tip crop mask image resize 150 x 150 x 3 CNN 40 x 40 x 1

54. 초기 State Image 이외에 다른 state도 함께 넣어주면 잘하지 않을까? ( fully observable state )

55. 초기 State ❏ Extra state ● 현재 tip position (x, y) ● episode goal position (x, y) ● tip angle ● manipulator rotate 값

56. 초기 State ❏ extra state 추가 CNN +concat FC Layer Q-value - 현재 tip position (x, y) - episode goal position (x, y) - tip angle - manipulator rotate 값 14400 6

57. Proximal case 실험 ❏ State ● image state: 150 x 150 x 3 ● extra state: 6 ❏ Action ● action size: 4 ● Forward, Backward, CW Rotate, CCW Rotate

58. Proximal case 실험 ❏ Reward ● 매 step: -0.001 ● goal 도달: 0 ● wrong terminal 도달: -0.5 ● [-1, 0] 범위를 갖도록 설계 ❏ Demonstration ● 20 episode ● 약 1,600 steps transition ● pre-train 1,000 step ❏ Episode ● 1 Episode 당 500 steps

59. Proximal case 결과 ❏ Bad ... ● Memory 문제 ○ 150 x 150 x 3 의 state를 replay buffer(100,000) 저장하려면 ○ 60GB 이상의 메모리가 필요 ● pathmap과 tip image의 효과가 미비함 ○ sparse image 문제 ■ tip image의 경우 이미지 크기에 비해 값을 갖는 pixel이 적음

60. State 개편 step 0 step 1 step 2 ❏ 기존 state의 문제

61. State 개편 step 0 step 1 step 2 ❏ 기존 state의 문제 action에 의해 바뀌는 state가 전체 image에 비해 매우 적은 부분을 차지

62. State 개편 ❏ 기존 state의 문제 ● Tip 기준으로 crop한 이미지를 state로 쓰면 어떨까?

63. State 개편 ❏ 기존 state의 문제 ● Tip 기준으로 crop한 이미지를 state로 쓰면 어떨까? ○ 슈퍼마리오 같은 게임도 캐릭터 기준으로 화면이 이동됨 ● 기존에 사용하던 tip crop mask image가 필요 없게됨 ● image 사이즈로 인한 메모리 문제도 해결 ● agent의 action에 따른 state의 변화가 분명해짐

64. State 개편 ❏ Crop state image 전처리 ● state image에서 path부분을 더 선명하기 위해 전처리함 ● 이전에 만든 pathmap을 overlay ● sharpening 처리 전처리 전 전처리 후

65. State 개편 ❏ Goal position 마킹 ● goal에 대한 정보도 image state에 직접 넣어주도록 변경 ● agent가 action에 따라 goal에 점점 가까워지는 것을 확인할 수 있도록 함 UI 상의 goal Agent가 보는 goal

66. Action 개편 ❏ Action 변경 ● 기존 action: [Forward, Backward, CW Rotate, CCW Rotate] ● HW 설계상 회전의 한계값이 존재 → 한계일 때 같은 action을 주면 동작 불가 ❏ 해결 ● 가이드와이어의 회전은 회전의 방향에 크게 영향을 받지 않음 ● Rotate를 통합 → 한계일 때 반대 방향으로 Rotate하도록 환경 변경 ● Agent 입장에서는 action은 줄어들고 stuck 문제는 해결됨

67. Proximal case 재실험 ❏ State ● crop image: 84 x 84 x 4 ○ extra state는 자연스럽게 삭제 ○ 추가적인 정보를 위해 frame stacking 사용 ❏ Action ● action size: 3 ● Forward, Backward, Rotate

68. Proximal case 결과 ❏ 성공 ! https://youtu.be/crp-fxGbdb4

69. Distal case

70. Distal case 실험 ❏ Bad ...

71. state의 문제 ❏ goal까지의 거리가 멀어짐 ● 다수의 state에서 goal이 보이지 않음 ● agent가 action에 따라 goal에 점점 가까워지는 것을 확인할 수 없게 됨 ➢ 시작 지점과 goal이 멀리 떨어져 있음 ➢ crop 했을 때 goal 안보임

72. Subgoal 도입 ❏ 팩맨

73. Subgoal 도입 ❏ 팩맨: Subgoal 추가 ● 시작과 goal 사이에 subgoal을 추가 ● reward는 goal과 동일하게 함 ● subgoal은 와이어 tip 끝과 만나면 사라짐 ● state에 적어도 한 개의 subgoal이 보이도록 간격 조절

74. tip이 접히는 문제 ❏ Tip folding ● exploration 중 와이어가 잘못 끼어 접히는 문제 발생 ● 와이어의 강한 손상 유발 ● 최악의 경우 자력으로 회복 불가 tip folding 현상 회복하지 못한 모습

75. Tip stuck 문제 ❏ Tip stuck ● 학습 도중 goal이 아닌 잘못된 분지로 들어가는 경우 ● exploration으로 회복하지 못하고 stuck된 상태로 episode가 종료됨 ● 학습 속도를 느리게 하는 주 원인

76. Heuristic backward action ❏ Tip folding & Tip stuck 문제 발생시 ● Agent가 일정 step 동안 backward action을 하도록 구현 ○ exploration으로 회복하기 어려운 부분을 ○ heuristic algorithm으로 도와줌 ● 어디까지 backward? → 바로 직전 subgoal까지 stuck restoringtip folding restoring

77. Distal case 재실험 결과 ❏ 성공 ! Success!

78. 결과

79. 결과 https://youtu.be/wIDE0NGT9oM

80. 결과 ❏ 정리 ● Agent의 action에 따라 변화가 잘 나타나도록 state 설계 ○ image state에 학습에 필요한 정보를 표시해 주자! ■ goal position, wrong terminal position, ... ● Agent 학습시 heuristic method가 도와주면 훨씬 빠르게 학습 ○ “알아서 잘 학습하겠지” 하고 기대하지 말자! ● 환경을 게임에 대입해 설계 ○ 강화학습의 주 실험 환경은 게임 ○ action과 reward로 구성된 환경은 게임에서 연상하기 쉽다

81. Ongoing works ❏ TCT 학회 발표 예정

82. Ongoing works ❏ Scientific Reports 논문 준비 중

83. Future works ❏ 3D 혈관 모형 실험 준비 중 ● X-ray 영상에서 2D 실험에서와 같은 state를 만들기 위한 이미지 처리

84. Q&A

85. 감사합니다

86. Reference ● Sutton, R. and Barto, A., Reinforcement Learning: An Introduction,2nd ed., MIT Press, 2018. ● D. Silver et al.,. “Deterministic policy gradient algorithms.” In ICML, 2014. ● T. Lillicrap et al., “Continuous control with deep reinforcement learning.” arXiv preprint arXiv:1509.02971, 2015. ● M. Vecerık et al., “Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards.” CoRR, 2017. ● J. Schulman et al., “Proximal policy optimization algorithms.” arXiv preprint arXiv:1707.06347, 2017. ● M. Andrychowicz et al., “ Hindsight Experience Replay.” Neural Information Processing Systems Conference, 2017. ● A. Nair et al., “Overcoming Exploration in Reinforcement Learning with Demonstrations.” International Conference on Robotics and Automation, 2017. ● Scott Fujimoto et al., “Addressing function approximation error in actor-critic methods.” arXiv preprint arXiv:1802.09477, 2018. ● Haarnoja et al., “Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor.” arXiv preprint arXiv:1801.01290, 2018. ● J. Matas et al., “Sim-to-real reinforcement learning for deformable object manipulation.” CoRL, 2018.

87. Reference ● V. Mnih et al., "Human-level control through deep reinforcement learning." Nature, 518 (7540):529–533, 2015. ● van Hasselt et al., "Deep Reinforcement Learning with Double Q-learning." arXiv preprint arXiv:1509.06461, 2015. ● T. Schaul et al., "Prioritized Experience Replay." arXiv preprint arXiv:1511.05952, 2015. ● Z. Wang et al., "Dueling Network Architectures for Deep Reinforcement Learning." arXiv preprint arXiv:1511.06581, 2015. ● M. Fortunato et al., "Noisy Networks for Exploration." arXiv preprint arXiv:1706.10295, 2017. ● M. G. Bellemare et al., "A Distributional Perspective on Reinforcement Learning." arXiv preprint arXiv:1707.06887, 2017. ● M. Hessel et al., "Rainbow: Combining Improvements in Deep Reinforcement Learning." arXiv preprint arXiv:1710.02298, 2017. ● T. Hester et al., "Deep Q-learning from Demonstrations." arXiv preprint arXiv:1704.03732, 2017.