01. ML-Agents - 설치 및 간단한 실습

🔷목차

머신러닝 개론

개발환경 구축

강화학습 환경 구축

트레이닝 및 테스트

 

🔷머신러닝

🔶 명시적인 프로그램 없이 컴퓨터(기계)가 스스로 배우는(학습하는) 능력을 연구하는 분야

 

 

 

🔶 용어

- 딥러닝 : 뉴런 같은 신경세포를 모방해낸 학습분야

- 머신러닝

- 인공지능

 

 

 

🔶 머신러닝의 분류

- 지도학습 Supervised Learning

• 미리 제공한 정보를 바탕으로 학습
• 트레이닝 데이터 셋 - 학습을 위한 자료의 집합
• 레이블 - 트레이닝 데이터의 정보 // 답을 알려줌

 

- 비지도 학습 Unsupervised Learning

• 아무런 정보를 제공하지 않는다.
• 많은 수의 데이터를 검사해 유사성(특징)에 기초해 분류(Classification)
• 레이블이 제공되지 않기에 무엇인지는 인지할 수 없다.

// EX) 기사 자동 분류 : 정치, 연예 ...

// 분류만을 함

 

- 강화학습 Reinforcement Learning

• 반복 훈련을 통해 행동에 대한 보상(+/-)
• 올바른 해를 구하면 + 보상 (Reward)
• 틀린 해를 구하면 - 보상을 준다

 

 

 

🔷 ML-Agents 소개

🔶 ML-Agents Workflow

유니티 : 학습환경 구축 <-> 파이썬 : Communicator <-> 머신러닝 라이브러리(pytorch)

 

 

 

🔶 ML-Agents 구조

여러 Agent를 둠. 같은 두뇌(Behavior A)

1. 트레이닝을 하는 과정

2. Inference 방식 : 모델(트레이닝한 결과 데이터)(.onnx)을 가지고 유니티에서 돌려보는 행동처리

3. Heuristic 방식 : 미리 사용해보는 것. 강화학습만으로는 되지 않는 부분. 모방학습을 할 때도 사용

 

Environment Parameters : 학습의 난이도를 조절

// 처음에는 쉬운 난이도 -> 어느 정도 학습 후에는 난이도를 높임

 

 

🔷 ML-Agents 개발 환경

• Unity 2018.4 이후 버전
• Python v3.6, v3.7 - 64bit(x86-64)
• mlagent Pyton 패키지 설치(CLI)
• ML-Agents Toolkit Repository

 

• Unity 2020.1.8f1

 

 

• Anaconda 개발환경은 지원 중단 (Deprecated)

 

🔷 ML-Agents 개발 환경 구축

🔶 파이썬 설치

https://www.python.org/

- Downloads > All Releases

- 3.7.9 버전

 

 

 

- Windows x86-64 executable installer 설치

 

 

 

- Add Python _ to PATH 반드시 체크

 

 

 

- 글자수 260자 제한 풀기

 

 

 

- 재부팅 후 git bash 열기

- 파이썬 설치 확인

 

 

 

🔶 ML Agents 설치

https://github.com/Unity-Technologies/ml-agents

GitHub - Unity-Technologies/ml-agents: Unity Machine Learning Agents Toolkit

- 위의 주소로 접속

 

 

 

- Release 18/source > clone하기

 

 

 

- git bash에서 clone 진행

 

 

 

🔶 pytorch 설치

https://pytorch.org/

 

 

 

- 밑으로 내려가서 위와 같이 설정

- 가속기능이 있는 GPU가 없으면 CPU로 설정

- Command copy

 

 

 

- git bash에 paste

 

 

- pip : 패키지를 설치해주는 설치관리 툴

 

 

 

- ml-agents-envs 설치

 

 

 

- ml-agents 설치

 

 

 

- mlagents 에 대한 사용법이 뜨면 제대로 설치가 된 것

 

 

 

🔶 Unity

- 프로젝트 생성

 

 

 

- package manager에 들어가보면 ML Agents가 1.0.8 버전임

- 다른 버전을 설치해야하므로 앞서 pip를 이용해 설치한 ml-agents-envs, ml-agents를 사용할 것

 

 

 

- Add package from disk

 

 

 

- 위의 위치에서 packge.json파일을 열어 설치

- ML Agents를 사용하려면 폴더명 및 해당 위치를 바꾸면 안됨

 

 

 

- 2개가 설치된 것을 확인

 

 

 

🔷 간단한 실습

🔶 샘플예제 가져오기

- 위의 폴더를 프로젝트창에 끌어다놓기

- 에러가 많이 뜸

 

 

 

- PushBlockWithInput 삭제

- 에러 없어짐

 

 

 

🔶 예제(3DBall) 이미 학습되어있는 모델 삭제

 

- 예제 중 3DBall 살펴볼 예정

 

 

 

- Model : 학습된 모델 파일

 

 

 

- 이미 학습되어있는 모델을 삭제

- apply to prefab

 

 

 

- play해보면 학습되어있지 않기때문에 공을 마구 떨어트림

 

 

 

🔶 트레이닝시키기

- config에 하이퍼 파라미터가 들어있음

- 하이퍼 파라미터 : 트레이닝할 때 세부적으로 세팅하는 세팅값들

 

 

 

- 머신러닝 알고리즘 이름들 (imitation, poca...)

 

 

 

- ppo 알고리즘을 사용하기 위해 해당 폴더로 진입

 

 

 

- 학습할 모델파일명 : 3DBall01로 지정

- 3DBall 학습 실행

- 유니티에서 play

 

 

 

- 12000번 돌았다. 45.613초 걸림. 평균리워드, 표준편차

 

 

 

- 유니티 정지 후 bash를 보면

- 해당 학습 결과가 위와 같은 경로에 저장이 됨

 

 

 

- 처음부터 트레이닝을 다시 시작하기는 아까움 -> resume 사용

- 멈춘 곳부터 다시 트레이닝 시작

추가설명

 

 

 

- ppo 폴더 안에 results 폴더가 생성됐음

- results/3DBall01 안에 학습된 모델이 있음(확장자명 .onnx)

 

 

 

- results 폴더가 있는 ppo폴더에서 위의 명령어 입력

- 맨 아래줄에 적혀있는 주소로 이동

- 주의 : Ctrl C로 복사할 시에는 접속이 끊기기때문에 마우스 우클릭으로 복사할 것

 

 

 

- 해당 주소로 접속하면 TensorBaord 페이지가 뜸

- TensorBoard : 학습시킨 모델을 모니터링하는 사이트

 

 

 

🔶 트레이닝된 모델을 적용시키기

- onnx 파일을 프로젝트창에 끌어다 놓기

 

 

 

- 파일명 헷갈리므로 3DBall01로 변경

 

 

 

- 3DBall01.onnx 파일을 모델 파라미터에 끌어다놓기

- apply to prefab

 

 

 

- play 시켜보면 트레이닝된 모습을 볼 수 있음