07. ML-Agents - Soccer (2)

🔷 실습 6 (2)

- 축구

- 이산값

 

 

 

🔷 트레이닝 환경 구축

- 태그 추가

- 각 오브젝트에 태그 부여

 

 

 

- 컴포넌트 추가 : Ray Perception Sensor 3D

 

 

 

- Sensor Name : RayFront : 센서를 여러개 사용할 경우 이름이 중복되면 안됨

- Detectable Tags : 인식할 오브젝트의 태그 추가

- Ray per Director : 4 : 레이의 개수 : 4 * 2 + 1 = 9개

- Max Ray Degrees : 80 : 레이의 간격

- Ray Length : 40 : Agent가 경기장 끝에 있을때도 반대편까지 레이가 닿도록, 사각지대가 없도록 조절

- 컴포넌트 copy

 

 

 

- Agent 아래에 빈 게임오브젝트 추가 : BackRay

- 컴포넌트 paste : Ray Perception Sensor 3D

    - Rotation : 0, 180, 0

    - Sensor Name : RayBack

    - Ray per Director : 2

    - Max Ray Degrees : 90

    - Ray Hit Color : Green

- Apply All

 

 

- Agent > Agent_Blue 이름변경

- 복사 > Agent_Red 이름변경

 

 

 

- Team : Red

 

 

 

- TMP_Pro 임포트 

 

 

 

- 캔버스 추가

- Render Mode : World Space

- Rect Transform : Reset

    - Pos Y : 0.2

    - Width : 30

    - Height : 15

    - Rotation : 90, 0, 0

 

 

 

- 캔버스 아래에 TMP_Text 오브젝트 추가 > Text - Blue Score로 이름 변경

- 정렬 : Alt + 좌측하단에 있는 것

- Pos X : 5

- Width : 10

- Font Size : 3

- Alignment : 좌우 가운데, 상하 가운데

 

 

 

- Blue Score 복사 > Text - Red Score로 이름 변경

- 정렬 : Alt + 우측하단

 

 

 

🔶 골대에 공이 닿으면 득점 처리

- 스크립트 생성 : BallCtrl.cs

 

 

 

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using TMPro;
using Unity.MLAgents;

public class BallCtrl : MonoBehaviour
{
    public Agent[] players;

    // 각 팀의 점수
    private int blueScore, redScore;
    public TMP_Text blueScoreText, redScoreText;

    void Start()
    {

    }
}

 

 

 

- Soccer Ball에 BallCtrl 스크립트 추가

    - players : Blue, Red 순서 맞춰서 연결

    - TMP_Text도 연결

 

 

 

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using TMPro;
using Unity.MLAgents;

public class BallCtrl : MonoBehaviour
{
    public Agent[] players;
    private new Rigidbody rigidbody;

    // 각 팀의 점수
    private int blueScore, redScore;
    public TMP_Text blueScoreText, redScoreText;

    void Start()
    {
        rigidbody = GetComponent<Rigidbody>();
    }

    void InitBall()
    {
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
        // 축구공의 위치를 초기화
        transform.localPosition = new Vector3(0.0f, 1.0f, 0.0f);
    }

    private void OnCollisionEnter(Collision other)
    {
        if (other.collider.CompareTag("BLUE_GOAL"))
        {
            // 레드팀 스코어 +1점
            redScoreText.text = (++redScore).ToString();
            // 레드팀 리워드 +1.0f
            // 블루팀 리워드 -1.0f

            InitBall();
        }

        if (other.collider.CompareTag("RED_GOAL"))
        {
            // 블루팀 스코어 +1점
            blueScoreText.text = (++blueScore).ToString();
            // 레드팀 리워드 -1.0f
            // 블루팀 리워드 +1.0f

            InitBall();
        }
    }
}

- 골대에 공을 넣으면 스코어 득점

 

 

 

🔶 리워드 부여 및 학습종료 세팅

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using TMPro;
using Unity.MLAgents;

public class BallCtrl : MonoBehaviour
{
    public Agent[] players;
    private new Rigidbody rigidbody;

    // 각 팀의 점수
    private int blueScore, redScore;
    public TMP_Text blueScoreText, redScoreText;

    void Start()
    {
        rigidbody = GetComponent<Rigidbody>();
    }

    void InitBall()
    {
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
        // 축구공의 위치를 초기화
        transform.localPosition = new Vector3(0.0f, 1.0f, 0.0f);
    }

    private void OnCollisionEnter(Collision other)
    {
        if (other.collider.CompareTag("BLUE_GOAL"))
        {
            // 레드팀 스코어 +1점
            redScoreText.text = (++redScore).ToString();
            // 레드팀 리워드 +1.0f
            players[1].AddReward(+1.0f);
            // 블루팀 리워드 -1.0f
            players[0].AddReward(-1.0f);
            // 볼 초기화
            InitBall();

            players[0].EndEpisode();    // 블루팀 학습종료
            players[1].EndEpisode();    // 레드팀 학습종료
        }

        if (other.collider.CompareTag("RED_GOAL"))
        {
            // 블루팀 스코어 +1점
            blueScoreText.text = (++blueScore).ToString();
            // 레드팀 리워드 -1.0f
            players[1].AddReward(-1.0f);
            // 블루팀 리워드 +1.0f
            players[0].AddReward(+1.0f);
            // 볼 초기화
            InitBall();

            players[0].EndEpisode();    // 블루팀 학습종료
            players[1].EndEpisode();    // 레드팀 학습종료
        }
    }
}

 

 

 

🔷 트레이닝

- poca 폴더 안에 있는 SoccerTwos.yaml 복사

 

 

 

- behavior 이름 동일하게 변경

 

 

 

- Stage 프리팹화

 

 

 

- 복사

 

 

 

- 트레이닝 시작

 

 

 

- 유니티 play