05. ML-Agents - Imitation Learning

🔷 실습 5 - 모방학습

- 강화학습만을 사용하면 효율이 안나오는 경우

- 사람이 시범보이는 것을 레코딩을 떠서, 녹화파일을 줌

- 컴포넌트 : Demonstration Recorder

- Hint의 색상과 같은 색상의 큐브로 이동

🔷 트레이닝 환경 구축

- 씬 생성 : MummyIL

- 빈게임오브젝트 : Stage

- 큐브 : Floor

- Scale : 10, 0.1, 10

- 빈게임오브젝트 : Walls

- 큐브 : Wall

- Scale : 10, 1, 1

- 벽세우기

- Tag 부여 : WALL

- agent 추가

- position : 0, 0.05, 0

- cube 생성 : Hint

- position : 0, 0.55, 0

- cube : Black, Red, Green, Blue

- Scale : 2, 1, 2

- 모서리에 위치

- 태그 추가 : BLACK, RED, BLUE, GREEN

- 각 큐브에 해당하는 태그 부여

- 스크립트 생성 : StageManagerIL.cs

- Stage에 StageManagerIL 스크립트 추가

🔶 StageManagerIL.cs

- Hint의 색상을 랜덤으로 변경시킴

- 이전에 나왔던 색상은 안나오도록 세팅

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class StageManagerIL : MonoBehaviour
{
    public enum HINT_COLOR
    {
        BLACK, BLUE, GREEN, RED
    }

    // 힌트의 색상
    public HINT_COLOR hintColor = HINT_COLOR.BLACK;

    public Material[] hintMt;

    private new Renderer renderer;


    void Start()
    {
        renderer = transform.Find("Hint").GetComponent<Renderer>();
    }

    public void InitStage()
    {
        int idx = Random.Range(0, hintMt.Length);
        renderer.material = hintMt[idx];

        // 목표타겟의 색상을 지정
        hintColor = (HINT_COLOR)idx;
    }



}

- Hint에 색상 부여

- 순서 동일하게 머티리얼 넣어주기

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class StageManagerIL : MonoBehaviour
{
    public enum HINT_COLOR
    {
        BLACK, BLUE, GREEN, RED
    }

    // 힌트의 색상
    public HINT_COLOR hintColor = HINT_COLOR.BLACK;

    public Material[] hintMt;

    private new Renderer renderer;

    // 바로 전에 나왔던 색상을 저장할 변수
    private int prevTag = -1;


    void Start()
    {
        renderer = transform.Find("Hint").GetComponent<Renderer>();
    }

    public void InitStage()
    {
        int idx = 0;
        do
        {
            idx = Random.Range(0, hintMt.Length);
        } while (idx == prevTag);
        prevTag = idx;

        renderer.material = hintMt[idx];

        // 목표타겟의 색상을 지정
        hintColor = (HINT_COLOR)idx;
    }

    private void Update()
    {
        if (Input.GetMouseButtonDown(0))
        {
            InitStage();
        }
    }



}

- 같은 색상으로 중복되지 않도록 세팅

- Tag 추가 : HINT_BLACK, HINT_RED, HINT_BLUE, HINT_GREEN

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class StageManagerIL : MonoBehaviour
{
    public enum HINT_COLOR
    {
        BLACK, BLUE, GREEN, RED
    }

    // 힌트의 색상
    public HINT_COLOR hintColor = HINT_COLOR.BLACK;

    public Material[] hintMt;
    public string[] hintTag;

    private new Renderer renderer;

    // 바로 전에 나왔던 색상을 저장할 변수
    private int prevTag = -1;


    void Start()
    {
        renderer = transform.Find("Hint").GetComponent<Renderer>();
    }

    public void InitStage()
    {
        int idx = 0;
        do
        {
            idx = Random.Range(0, hintMt.Length);
        } while (idx == prevTag);
        prevTag = idx;

        renderer.material = hintMt[idx];

        // 목표타겟의 색상을 지정
        hintColor = (HINT_COLOR)idx;
    }

    private void Update()
    {
        if (Input.GetMouseButtonDown(0))
        {
            InitStage();
        }
    }



}

- public string[] hintTag; 추가

- 위의 머티리얼과 동일한 순서로 Tag값 입력

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class StageManagerIL : MonoBehaviour
{
    public enum HINT_COLOR
    {
        BLACK, BLUE, GREEN, RED
    }

    // 힌트의 색상
    public HINT_COLOR hintColor = HINT_COLOR.BLACK;

    public Material[] hintMt;
    public string[] hintTag;

    private new Renderer renderer;

    // 바로 전에 나왔던 색상을 저장할 변수
    private int prevTag = -1;


    void Start()
    {
        renderer = transform.Find("Hint").GetComponent<Renderer>();
    }

    public void InitStage()
    {
        int idx = 0;
        do
        {
            idx = Random.Range(0, hintMt.Length);
        } while (idx == prevTag);
        prevTag = idx;

        // Hint의 머티리얼 교체
        renderer.material = hintMt[idx];
        // Hint의 태그를 지정
        renderer.gameObject.tag = hintTag[idx];
        // 목표타겟의 색상을 지정
        hintColor = (HINT_COLOR)idx;
    }

    private void Update()
    {
        if (Input.GetMouseButtonDown(0))
        {
            InitStage();
        }
    }



}

- Hint에 색상과 동일한 Tag 부여

🔶 Agent 세팅

- Capsule Collider 추가

- Center : 0, 0.5, 0

- Radius : 0.3

- Rigidbody 추가

- Collision Detection : Continuous

- Freeze Rotation

- animator controller 연결

- MummyILAgent.cs 생성

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Sensors;

public class MummyILAgent : Agent
{
    private StageManagerIL stageManager;

    public override void Initialize()
    {
        stageManager = transform.parent.GetComponent<StageManagerIL>();
    }

    public override void OnEpisodeBegin()
    {
        stageManager.InitStage();
    }

    public override void CollectObservations(VectorSensor sensor)
    {
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
    }

}

- 기본 함수 작성

- 에피소드가 시작할 때마다 InitStage() 호출

- Agent에 MummyILAgent 스크립트 추가

- Max step : 10 : hint의 색상과 태그가 변하는지 확인

- 다시 0으로 되돌려놓기

🔶 MummyILAgent.cs : 이동로직

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Sensors;

public class MummyILAgent : Agent
{
    private new Transform transform;
    private new Rigidbody rigidbody;

    public float moveSpeed = 1.5f;
    public float turnSpeed = 200.0f;

    private StageManagerIL stageManager;
    private Renderer floorRd;
    private Material originMt;

    public Material goodMt, badMt;

    public override void Initialize()
    {
        MaxStep = 2000;
        transform = GetComponent<Transform>();
        rigidbody = GetComponent<Rigidbody>();

        floorRd = transform.parent.Find("Floor").GetComponent<Renderer>();
        originMt = floorRd.material;

        stageManager = transform.parent.GetComponent<StageManagerIL>();
    }

    public override void OnEpisodeBegin()
    {
        stageManager.InitStage();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
        // Agent의 위치를 초기화
        transform.localPosition = new Vector3(0, 0.0f, -2.5f);
        transform.localRotation = Quaternion.identity;
    }

    public override void CollectObservations(VectorSensor sensor)
    {
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        var action = actions.DiscreteActions;
        Debug.Log($"[0] = {action[0]}, [1]: {action[1]}");

        Vector3 dir = Vector3.zero;
        Vector3 rot = Vector3.zero;

        // Branch 0 : 정지 / 전진 / 후진
        switch (action[0])
        {
            case 1: dir = transform.forward; break;
            case 2: dir = -transform.forward; break;
        }

        // Branch 1 : 정지 / 좌회전 / 우회전
        switch (action[1])
        {
            case 1: rot = -transform.up; break;
            case 2: rot = transform.up; break;
        }

        transform.Rotate(rot, Time.fixedDeltaTime * turnSpeed);
        rigidbody.AddForce(dir * moveSpeed, ForceMode.VelocityChange);

        // 마이너스 페널티를 적용
        // 모방학습을 할 것이기 때문에 굳이 패널티 안줘도 됨
        AddReward(-1 / (float)MaxStep);
    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
        var action = actionsOut.DiscreteActions;

        actionsOut.Clear();
        if (Input.GetKey(KeyCode.W))
        {
            action[0] = 1;
        }
        if (Input.GetKey(KeyCode.S))
        {
            action[0] = 2;
        }

        if (Input.GetKey(KeyCode.A))
        {
            action[1] = 1;
        }
        if (Input.GetKey(KeyCode.D))
        {
            action[1] = 2;
        }
    }

}

- 이동 처리

- Space Size : 0

- Discrete Branches : 2

- Branch 0 : 3

- Branch 1 : 3

- 컴포넌트 추가 : Decision Requester

🔶 리워드 부여 및 floor 색상 변경

- 머티리얼 연결

- 컴포넌트 추가 : Ray Perception Sensor 3D

- Ray로 인지해야할 대상을 입력

- Hint와 4개의 블럭을 인지할 수 있도록 조절

- Max Ray Degrees : 90

- Start Vertical Offset : 0.5

- End Vertical Offset : 0.5

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Sensors;

public class MummyILAgent : Agent
{
    private new Transform transform;
    private new Rigidbody rigidbody;

    public float moveSpeed = 1.5f;
    public float turnSpeed = 200.0f;

    private StageManagerIL stageManager;
    private Renderer floorRd;
    private Material originMt;

    public Material goodMt, badMt;

    public override void Initialize()
    {
        MaxStep = 2000;
        transform = GetComponent<Transform>();
        rigidbody = GetComponent<Rigidbody>();

        floorRd = transform.parent.Find("Floor").GetComponent<Renderer>();
        originMt = floorRd.material;

        stageManager = transform.parent.GetComponent<StageManagerIL>();
    }

    public override void OnEpisodeBegin()
    {
        stageManager.InitStage();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
        // Agent의 위치를 초기화
        transform.localPosition = new Vector3(0, 0.0f, -3.5f);
        transform.localRotation = Quaternion.identity;
    }

    public override void CollectObservations(VectorSensor sensor)
    {
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        var action = actions.DiscreteActions;
        Debug.Log($"[0] = {action[0]}, [1]: {action[1]}");

        Vector3 dir = Vector3.zero;
        Vector3 rot = Vector3.zero;

        // Branch 0 : 정지 / 전진 / 후진
        switch (action[0])
        {
            case 1: dir = transform.forward; break;
            case 2: dir = -transform.forward; break;
        }

        // Branch 1 : 정지 / 좌회전 / 우회전
        switch (action[1])
        {
            case 1: rot = -transform.up; break;
            case 2: rot = transform.up; break;
        }

        transform.Rotate(rot, Time.fixedDeltaTime * turnSpeed);
        rigidbody.AddForce(dir * moveSpeed, ForceMode.VelocityChange);

        // 마이너스 페널티를 적용
        // 모방학습을 할 것이기 때문에 굳이 패널티를 부여할 필요는 없음
        AddReward(-1 / (float)MaxStep);
    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
        var action = actionsOut.DiscreteActions;

        actionsOut.Clear();
        if (Input.GetKey(KeyCode.W))
        {
            action[0] = 1;
        }
        if (Input.GetKey(KeyCode.S))
        {
            action[0] = 2;
        }

        if (Input.GetKey(KeyCode.A))
        {
            action[1] = 1;
        }
        if (Input.GetKey(KeyCode.D))
        {
            action[1] = 2;
        }
    }

    private void OnCollisionEnter(Collision coll)
    {
        if (coll.collider.tag == stageManager.hintColor.ToString())
        {
            SetReward(+1.0f);
            EndEpisode();

            StartCoroutine(ReverMaterial(goodMt));
        }
        else
        {
            if (coll.collider.CompareTag("WALL") || coll.gameObject.name == "Hint")
            {
                AddReward(-0.05f);
            }
            else
            {
                SetReward(-1.0f);
                EndEpisode();

                StartCoroutine(ReverMaterial(badMt));
            }
        }
    }

    IEnumerator ReverMaterial(Material changeMt)
    {
        floorRd.material = changeMt;
        yield return new WaitForSeconds(0.2f);
        floorRd.material = originMt;
    }

}

- 리워드 부여, floor 색상 변경

🔷 레코딩

🔶 코드 수정

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Sensors;

public class MummyILAgent : Agent
{
    private new Transform transform;
    private new Rigidbody rigidbody;

    public float moveSpeed = 1.5f;
    public float turnSpeed = 200.0f;

    private StageManagerIL stageManager;
    private Renderer floorRd;
    private Material originMt;

    public Material goodMt, badMt;

    public override void Initialize()
    {
        MaxStep = 2000;
        transform = GetComponent<Transform>();
        rigidbody = GetComponent<Rigidbody>();

        floorRd = transform.parent.Find("Floor").GetComponent<Renderer>();
        originMt = floorRd.material;

        stageManager = transform.parent.GetComponent<StageManagerIL>();
    }

    public override void OnEpisodeBegin()
    {
        stageManager.InitStage();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
        // Agent의 위치를 초기화
        transform.localPosition = new Vector3(0, 0.0f, -3.5f);
        transform.localRotation = Quaternion.identity;
    }

    public override void CollectObservations(VectorSensor sensor)
    {
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        var action = actions.DiscreteActions;
        Debug.Log($"[0] = {action[0]}, [1]: {action[1]}");

        Vector3 dir = Vector3.zero;
        Vector3 rot = Vector3.zero;

        // Branch 0 : 정지 / 전진 / 후진
        switch (action[0])
        {
            case 1: dir = transform.forward; break;
            case 2: dir = -transform.forward; break;
        }

        // Branch 1 : 정지 / 좌회전 / 우회전
        switch (action[1])
        {
            case 1: rot = -transform.up; break;
            case 2: rot = transform.up; break;
        }

        transform.Rotate(rot, Time.fixedDeltaTime * turnSpeed);
        rigidbody.AddForce(dir * moveSpeed, ForceMode.VelocityChange);

        // 마이너스 페널티를 적용
        // 모방학습을 할 것이기 때문에 굳이 패널티를 부여할 필요는 없음
        // AddReward(-1 / (float)MaxStep);
    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
        var action = actionsOut.DiscreteActions;

        actionsOut.Clear();
        if (Input.GetKey(KeyCode.W))
        {
            action[0] = 1;
        }
        if (Input.GetKey(KeyCode.S))
        {
            action[0] = 2;
        }

        if (Input.GetKey(KeyCode.A))
        {
            action[1] = 1;
        }
        if (Input.GetKey(KeyCode.D))
        {
            action[1] = 2;
        }
    }

    private void OnCollisionEnter(Collision coll)
    {
        if (coll.gameObject.name == "Floor") return;

        if (coll.collider.tag == stageManager.hintColor.ToString())
        {
            SetReward(+1.0f);
            EndEpisode();

            StartCoroutine(ReverMaterial(goodMt));
        }
        else
        {
            if (coll.collider.CompareTag("WALL") || coll.gameObject.name == "Hint")
            {
                SetReward(-0.05f);
            }
            else
            {
                SetReward(-1.0f);
                EndEpisode();

                StartCoroutine(ReverMaterial(badMt));
            }
        }
    }

    IEnumerator ReverMaterial(Material changeMt)
    {
        floorRd.material = changeMt;
        yield return new WaitForSeconds(0.2f);
        floorRd.material = originMt;
    }

}

- AddReward(-1 / (float)MaxStep) : 주석처리

- 벽과 Hint에 부딪혔을 때 : AddReward(-0.05f) -> SetReward(-0.05f) : 변경

🔶 레코딩 세팅

- 폴더 생성 : MummyIL

- Stage 프리팹화

- 컴포넌트 추가 : Demonstration Recorder

- 폴더 추가 : Demo : 레코딩한 파일을 저장할 폴더

- Record : 체크

- Num Steps To Record : 0 : 몇 스텝까지 레코딩할지 : 0이면 무제한

- Name : MummyIL : 저장할 파일명

- Directory : Assets/Demo : 파일을 저장할 위치

- 플레이

- 될 수 있으면 실수하면 안됨

- 레코딩 후 Record 언체크

- Apply All

🔷 트레이닝

- 스테이지 복사

- PushBlock.yaml 복사

- behavior 이름 변경

- demo_path : MummyIL.demo

- max_steps : 30만번

- recording한 파일을 imitation 폴더로 가져옴

- 트레이닝 시작

- 유니티에서 play

🔶 트레이닝 summary

🔶 트레이닝 결과 확인해보기

- 학습된 모델(.onnx)을 프로젝트창에 끌어다놓기

- 모델 연결하기

- Apply to Prefab

- Play

'Unity > ML-Agents' 카테고리의 다른 글

07. ML-Agents - Soccer (2) (0)	2021.08.03
06. ML-Agents - Soccer (1) (1)	2021.08.02
04. ML-Agents - Camera Sensor (0)	2021.08.01
03. ML-Agents - Ray Perception Sensor 3D (0)	2021.07.30
02. ML-Agents - position,rigidbody 관측 (0)	2021.07.30

티스토리툴바

티스토리툴바

05. ML-Agents - Imitation Learning

🔷 실습 5 - 모방학습

🔷 트레이닝 환경 구축

🔷 레코딩

🔷 트레이닝

'Unity > ML-Agents' 카테고리의 다른 글

티스토리툴바