06. ML-Agents - Soccer (1)

🔷 실습 6 (1)

- 축구

- 이산값

🔶 프로젝트 세팅

- 프로젝트 생성 : MLSoccer

SoccerField.zip

0.45MB

- 패키지 다운로드 및 임포트 : Soccer Field

- 폴더 정리

- Add package from disk

- mlagents, mlagents extentions 패키지 설치

- 경로

- ml-agents\com.unity.ml-agents\package.json

- ml-agents\com.unity.ml-agents.extensions\package.json

- 패키지 2개가 설치된 것을 확인

- Regenerate project files

- Ctrl + Shift + P

- OmniSharp : Restart OmniSharp

🔷 트레이닝 환경 구축

🔶 씬 세팅

- SoccerFieldTwos : 하이어라키창에 끌어다놓기

- Stage로 이름 변경

- Stage 아래에 AgentCube_Blue 프리팹 추가

- AgentCube_Blue -> Agent로 이름 변경

- Stage : Unpack

- Agent 프리팹화

🔶 PlayerAgent.cs : agent team, 색상 설정

- PlayerAgent.cs 생성

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;

    // Behavior Parameters
    private BehaviorParameters bps;

    public override void Initialize()
    {
        bps = GetComponent<BehaviorParameters>();

        // 팀 아이디 설정

    }
}

- PlayerAgent 스크립트 추가

- rotation : 0, 0, 0

- behavior Name : Soccer

- Space Size : 0

- Team Id : Team Id가 같은 플레이어끼리 경험을 공유하고 같은 Brain을 사용함

0 : Blue
1 : Red

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;
    // 플레이어의 색상
    public Material[] materials;

    // Behavior Parameters
    private BehaviorParameters bps;

    public override void Initialize()
    {

        bps = GetComponent<BehaviorParameters>();

        // 팀 아이디 설정
        bps.TeamId = (int)team;
        // 플레이어의 색상변경
        GetComponent<Renderer>().material = materials[(int)team];

        // step 설정
        MaxStep = 10000;
    }
}

- 팀아이디 설정, 색상 변경

- 머티리얼 Blue, Red순으로 연결

🔶 초기 위치

- 점이 찍혀있는 위치로 초기화되도록 설정할 예정

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;
    // 플레이어의 색상
    public Material[] materials;

    // Behavior Parameters
    private BehaviorParameters bps;

    // 플레이어의 초기 위치, 각도
    private Vector3 initPosBlue = new Vector3(-5.5f, 0.5f, 0.0f);
    private Vector3 initPosRed = new Vector3(5.5f, 0.5f, 0.0f);
    private Quaternion initRotBlue = Quaternion.Euler(Vector3.up * 90.0f);
    private Quaternion initRotRed = Quaternion.Euler(Vector3.up * -90.0f);

    void InitPlayer()
    {
        transform.localPosition = (team == TEAM.BLUE) ? initPosBlue : initPosRed;
        transform.localRotation = (team == TEAM.BLUE) ? initRotBlue : initRotRed;
    }

    public override void Initialize()
    {

        bps = GetComponent<BehaviorParameters>();

        // 팀 아이디 설정
        bps.TeamId = (int)team;
        // 플레이어의 색상변경
        GetComponent<Renderer>().material = materials[(int)team];

        // step 설정
        MaxStep = 10000;
    }

    public override void OnEpisodeBegin()
    {
        // 플레이어 위치, 각도 초기화
        InitPlayer();
    }

}

- 초기 위치, 각도 세팅

🔶 rigidbody 물리력 초기화

- 컴포넌트 추가 : rigidbody

- mass : 10 : 공이 3이니까 더 무겁게 설정

- Freeze Rotation

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;
    // 플레이어의 색상
    public Material[] materials;

    // Behavior Parameters
    private BehaviorParameters bps;
    private new Rigidbody rigidbody;

    // 플레이어의 초기 위치, 각도
    private Vector3 initPosBlue = new Vector3(-5.5f, 0.5f, 0.0f);
    private Vector3 initPosRed = new Vector3(5.5f, 0.5f, 0.0f);
    private Quaternion initRotBlue = Quaternion.Euler(Vector3.up * 90.0f);
    private Quaternion initRotRed = Quaternion.Euler(Vector3.up * -90.0f);

    void InitPlayer()
    {
        transform.localPosition = (team == TEAM.BLUE) ? initPosBlue : initPosRed;
        transform.localRotation = (team == TEAM.BLUE) ? initRotBlue : initRotRed;
    }

    public override void Initialize()
    {
        bps = GetComponent<BehaviorParameters>();
        rigidbody = GetComponent<Rigidbody>();

        // 팀 아이디 설정
        bps.TeamId = (int)team;
        // 플레이어의 색상변경
        GetComponent<Renderer>().material = materials[(int)team];

        // step 설정
        MaxStep = 10000;
    }

    public override void OnEpisodeBegin()
    {
        // 플레이어 위치, 각도 초기화
        InitPlayer();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
    }

}

- 물리력 초기화

🔶 이동 및 회전 로직 : 이산값

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;
    // 플레이어의 색상
    public Material[] materials;

    // Behavior Parameters
    private BehaviorParameters bps;
    private new Rigidbody rigidbody;

    // 플레이어의 초기 위치, 각도
    private Vector3 initPosBlue = new Vector3(-5.5f, 0.5f, 0.0f);
    private Vector3 initPosRed = new Vector3(5.5f, 0.5f, 0.0f);
    private Quaternion initRotBlue = Quaternion.Euler(Vector3.up * 90.0f);
    private Quaternion initRotRed = Quaternion.Euler(Vector3.up * -90.0f);

    void InitPlayer()
    {
        transform.localPosition = (team == TEAM.BLUE) ? initPosBlue : initPosRed;
        transform.localRotation = (team == TEAM.BLUE) ? initRotBlue : initRotRed;
    }

    public override void Initialize()
    {
        bps = GetComponent<BehaviorParameters>();
        rigidbody = GetComponent<Rigidbody>();

        // 팀 아이디 설정
        bps.TeamId = (int)team;
        // 플레이어의 색상변경
        GetComponent<Renderer>().material = materials[(int)team];

        // step 설정
        MaxStep = 10000;
    }

    public override void OnEpisodeBegin()
    {
        // 플레이어 위치, 각도 초기화
        InitPlayer();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        var action = actions.DiscreteActions;
        Debug.Log($"[0]={action[0]}, [1]={action[1]}, [2]={action[2]}");
    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
        var actions = actionsOut.DiscreteActions;

        // 파라미터 값을 초기화
        actions.Clear();

        // 정지, 전진, 후진      (0, 1, 2)
        if (Input.GetKey(KeyCode.W)) actions[0] = 1;
        if (Input.GetKey(KeyCode.S)) actions[0] = 2;

        // 정지, 좌, 우 이동     (0, 1, 2)
        if (Input.GetKey(KeyCode.Q)) actions[1] = 1;
        if (Input.GetKey(KeyCode.E)) actions[1] = 2;

        // 정지, 좌, 우 회전     (0, 1, 2)
        if (Input.GetKey(KeyCode.A)) actions[2] = 1;
        if (Input.GetKey(KeyCode.D)) actions[2] = 2;
    }

}

- 이동 및 회전 입력값 세팅

- Discrete Branches : 3

- Branch 0 : 3

- Branch 1 : 3

- Branch 2 : 3

- box collider 추가

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;
    // 플레이어의 색상
    public Material[] materials;

    // Behavior Parameters
    private BehaviorParameters bps;
    private new Rigidbody rigidbody;

    // 플레이어의 초기 위치, 각도
    private Vector3 initPosBlue = new Vector3(-5.5f, 0.5f, 0.0f);
    private Vector3 initPosRed = new Vector3(5.5f, 0.5f, 0.0f);
    private Quaternion initRotBlue = Quaternion.Euler(Vector3.up * 90.0f);
    private Quaternion initRotRed = Quaternion.Euler(Vector3.up * -90.0f);

    void InitPlayer()
    {
        transform.localPosition = (team == TEAM.BLUE) ? initPosBlue : initPosRed;
        transform.localRotation = (team == TEAM.BLUE) ? initRotBlue : initRotRed;
    }

    public override void Initialize()
    {
        bps = GetComponent<BehaviorParameters>();
        rigidbody = GetComponent<Rigidbody>();

        // 팀 아이디 설정
        bps.TeamId = (int)team;
        // 플레이어의 색상변경
        GetComponent<Renderer>().material = materials[(int)team];

        // step 설정
        MaxStep = 10000;
    }

    public override void OnEpisodeBegin()
    {
        // 플레이어 위치, 각도 초기화
        InitPlayer();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        var action = actions.DiscreteActions;
        // Debug.Log($"[0]={action[0]}, [1]={action[1]}, [2]={action[2]}");

        // 이동 벡터
        Vector3 dir = Vector3.zero;
        // 회전 벡터
        Vector3 rot = Vector3.zero;

        int forward = action[0];    // noen, W, S : 0, 1, 2
        int right = action[1];      // noen, Q, E : 0, 1, 2
        int rotate = action[2];     // noen, A, D : 0, 1, 2

        switch (forward)
        {
            case 1: dir = transform.forward; break;
            case 2: dir = -transform.forward; break;
        }

        switch (right)
        {
            case 1: dir = -transform.right; break;
            case 2: dir = transform.right; break;
        }

        switch (rotate)
        {
            case 1: rot = -transform.up; break;
            case 2: rot = transform.up; break;
        }

        rigidbody.AddForce(dir * 1.0f, ForceMode.VelocityChange);
        transform.Rotate(rot, Time.fixedDeltaTime * 100.0f);

    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
        var actions = actionsOut.DiscreteActions;

        // 파라미터 값을 초기화
        actions.Clear();

        // 정지, 전진, 후진      (0, 1, 2)
        if (Input.GetKey(KeyCode.W)) actions[0] = 1;
        if (Input.GetKey(KeyCode.S)) actions[0] = 2;

        // 정지, 좌, 우 이동     (0, 1, 2)
        if (Input.GetKey(KeyCode.Q)) actions[1] = 1;
        if (Input.GetKey(KeyCode.E)) actions[1] = 2;

        // 정지, 좌, 우 회전     (0, 1, 2)
        if (Input.GetKey(KeyCode.A)) actions[2] = 1;
        if (Input.GetKey(KeyCode.D)) actions[2] = 2;
    }

}

- 이동 및 회전 처리

🔶 Kick 처리

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

using Unity.MLAgents;
using Unity.MLAgents.Sensors;
using Unity.MLAgents.Actuators;
using Unity.MLAgents.Policies;      // Behavior Parameter 컴포넌트를 접긴하기 위한 네임스페이스

[RequireComponent(typeof(DecisionRequester))]
public class PlayerAgent : Agent
{
    public enum TEAM
    {
        BLUE, RED
    }

    // 플레이어의 팀
    public TEAM team = TEAM.BLUE;
    // 플레이어의 색상
    public Material[] materials;

    // Behavior Parameters
    private BehaviorParameters bps;
    private new Rigidbody rigidbody;

    // 플레이어의 초기 위치, 각도
    private Vector3 initPosBlue = new Vector3(-5.5f, 0.5f, 0.0f);
    private Vector3 initPosRed = new Vector3(5.5f, 0.5f, 0.0f);
    private Quaternion initRotBlue = Quaternion.Euler(Vector3.up * 90.0f);
    private Quaternion initRotRed = Quaternion.Euler(Vector3.up * -90.0f);

    void InitPlayer()
    {
        transform.localPosition = (team == TEAM.BLUE) ? initPosBlue : initPosRed;
        transform.localRotation = (team == TEAM.BLUE) ? initRotBlue : initRotRed;
    }

    public override void Initialize()
    {
        bps = GetComponent<BehaviorParameters>();
        rigidbody = GetComponent<Rigidbody>();

        // 팀 아이디 설정
        bps.TeamId = (int)team;
        // 플레이어의 색상변경
        GetComponent<Renderer>().material = materials[(int)team];

        // step 설정
        MaxStep = 10000;
    }

    public override void OnEpisodeBegin()
    {
        // 플레이어 위치, 각도 초기화
        InitPlayer();
        // 물리력 초기화
        rigidbody.velocity = rigidbody.angularVelocity = Vector3.zero;
    }

    public override void OnActionReceived(ActionBuffers actions)
    {
        var action = actions.DiscreteActions;
        // Debug.Log($"[0]={action[0]}, [1]={action[1]}, [2]={action[2]}");

        // 이동 벡터
        Vector3 dir = Vector3.zero;
        // 회전 벡터
        Vector3 rot = Vector3.zero;

        int forward = action[0];    // noen, W, S : 0, 1, 2
        int right = action[1];      // noen, Q, E : 0, 1, 2
        int rotate = action[2];     // noen, A, D : 0, 1, 2

        switch (forward)
        {
            case 1: dir = transform.forward; break;
            case 2: dir = -transform.forward; break;
        }

        switch (right)
        {
            case 1: dir = -transform.right; break;
            case 2: dir = transform.right; break;
        }

        switch (rotate)
        {
            case 1: rot = -transform.up; break;
            case 2: rot = transform.up; break;
        }

        rigidbody.AddForce(dir * 1.0f, ForceMode.VelocityChange);
        transform.Rotate(rot, Time.fixedDeltaTime * 100.0f);

    }

    public override void Heuristic(in ActionBuffers actionsOut)
    {
        var actions = actionsOut.DiscreteActions;

        // 파라미터 값을 초기화
        actions.Clear();

        // 정지, 전진, 후진      (0, 1, 2)
        if (Input.GetKey(KeyCode.W)) actions[0] = 1;
        if (Input.GetKey(KeyCode.S)) actions[0] = 2;

        // 정지, 좌, 우 이동     (0, 1, 2)
        if (Input.GetKey(KeyCode.Q)) actions[1] = 1;
        if (Input.GetKey(KeyCode.E)) actions[1] = 2;

        // 정지, 좌, 우 회전     (0, 1, 2)
        if (Input.GetKey(KeyCode.A)) actions[2] = 1;
        if (Input.GetKey(KeyCode.D)) actions[2] = 2;
    }

    private void OnCollisionEnter(Collision coll)
    {
        if (coll.collider.CompareTag("ball"))
        {
            // 볼 터치 : + 리워드
            AddReward(0.2f);

            // 킥 로직
            Vector3 kickDir = coll.GetContact(0).point - transform.position;
            coll.gameObject.GetComponent<Rigidbody>().AddForce(kickDir * 800.0f);
        }
    }

}

- 플레이어와 공이 부딪히면

- 공을 찬 방향으로 AddForce

'Unity > ML-Agents' 카테고리의 다른 글

07. ML-Agents - Soccer (2) (0)	2021.08.03
05. ML-Agents - Imitation Learning (0)	2021.08.02
04. ML-Agents - Camera Sensor (0)	2021.08.01
03. ML-Agents - Ray Perception Sensor 3D (0)	2021.07.30
02. ML-Agents - position,rigidbody 관측 (0)	2021.07.30

티스토리툴바

티스토리툴바

06. ML-Agents - Soccer (1)

🔷 실습 6 (1)

🔷 트레이닝 환경 구축

'Unity > ML-Agents' 카테고리의 다른 글

티스토리툴바