잘 이기는 게임 AI는 왜 다양한 전략을 따로 배우려 할까

전략 게임에서는 병력을 잘 움직이는 것만으로 이길 수 없다. 당장 군대를 늘릴지, 나중을 위해 생산 시설에 투자할지 결정해야 한다. 전투를 벌이는 동안에도 자원을 모으고 기지를 지켜야 한다. 눈앞의 싸움에서 이겼더라도 다음 병력을 준비하지 못하면 대국 전체를 내줄 수 있다. 이런 게임을 잘하는 AI를 한 대의 PC로 키웠다면, 무엇을 어떻게 배운 것일까.

워크래프트 III를 학습한 한 프로젝트는 이 질문을 구체적으로 살펴볼 기회를 준다. 흥미로운 점은 장비 대수에 비해 높은 성적을 냈다는 사실만이 아니다. 같은 컴퓨터에서도 게임 경험을 얼마나 많이 만들고, 어떤 순서로 연습시키느냐에 따라 배움의 조건이 달라진다. 많이 이기는 데 성공한 뒤에도 따로 길러야 할 능력이 남는다는 점 역시 이 사례의 중요한 대목이다.

먼저, 누구를 이긴 승률인가

이 사례에는 역할이 다른 두 AI가 등장한다. 도전자는 대국 경험을 통해 행동을 바꾸며 학습하는 AI다. 상대는 게임 제작사가 게임 안에 넣어 둔 컴퓨터 상대다. 프로젝트 작성자의 개요 문서에 따르면, 학습한 AI는 에코 아일스라는 맵에서 게임 내 최고 난도 상대와 약 500회의 평가 대국을 치러 약 89%를 이겼다. 게임의 원래 규칙을 적용했고, 핸디캡은 없었다.

이는 전투 한 장면에서 적을 쓰러뜨린 비율이 아니라 평가 대국 가운데 이긴 비율이다. 워크래프트 III에서는 금과 나무를 모으고, 건물을 짓고, 기술을 개발하고, 영웅과 병력을 운용해야 한다. 따라서 이 결과는 여러 활동을 연결해 최종 승리까지 도달할 만큼의 행동을 배웠다는 뜻이다. 명령 몇 가지를 실행하거나 작은 전투를 잘하는 것보다 넓은 성과다.

작성자는 평가 대국에서는 AI의 행동을 고치는 학습을 하지 않았다고 설명한다. 연습 과정에서 얻은 승패와, 배운 실력을 확인하기 위해 따로 치른 대국을 구분한 것이다. 다만 ‘학습에 쓰지 않은 대국’이 곧 ‘처음 보는 상황’이라는 뜻은 아니다. 평가 상대도 게임에 내장된 AI이고 맵도 에코 아일스다. 익숙한 경기 조건에서 별도의 대국을 치러 실력을 확인했다는 의미다.

수치는 대략적인 보고값으로 읽어야 한다. 개요는 약 89%라고 쓰지만 저장소 첫 화면은 약 85–89%라고 소개한다. 각 수치가 어느 실행 버전이나 평가 묶음에 대응하는지는 분명하지 않다. 약 500회라는 규모도 정확한 대국 수와 무승부 처리 방식까지 확인되는 것은 아니다. 특정 평가에서 높은 승률을 냈다는 근거이지, 앞으로도 정확히 같은 비율로 이긴다는 보증은 아니다.

한 시간 안에 수백 시간의 경험을 만들다

한 대의 PC라는 표현은 장비 규모에 눈길을 돌리게 한다. 작성자가 밝힌 학습용 주 컴퓨터는 그래픽카드 한 장과 16코어 CPU를 사용했다. 여기서 중요한 것은 컴퓨터의 대수와 학습 경험의 양이 같지 않다는 점이다. 컴퓨터 한 대가 게임 한 판만, 사람이 플레이하는 속도로 진행한 것은 아니었다.

작성자는 약 50개의 게임을 동시에 실행했고, 각 게임도 실제보다 약 15배 빠르게 진행했다고 설명한다. 그 결과 실제 한 시간 동안 약 730시간 분량의 게임이 흘러갔다고 한다. 여러 대국에서 흐른 게임 속 시간을 모두 합친 값이다. 한 대국을 730시간 동안 했다는 뜻이 아니라, 한 시간의 계산으로 그만큼의 게임 진행량을 만들어 냈다는 뜻이다.

이 차이는 학습 기회의 차이로 이어진다. 한 판이 끝나야 승패를 알 수 있다면, 대국을 빨리 끝낼수록 다음 시도도 빨리 시작할 수 있다. 여러 판을 동시에 돌리면 서로 다른 상황에서 내린 선택과 결과를 함께 모을 수 있다. 장비가 몇 대인지만 세면 보이지 않던 경험의 양이, 동시 실행과 진행 속도를 함께 살피면 드러난다.

프로젝트는 실제 게임을 실행하되 화면을 그리는 일처럼 학습에 꼭 필요하지 않은 작업을 줄여 속도를 높였다고 설명한다. 여기서 실행 속도를 높이는 것과 게임 규칙을 쉽게 바꾸는 것은 다르다. 전자는 같은 게임 속 시간을 더 짧은 실제 시간에 처리하는 일이다. 후자는 건설이나 생산에 걸리는 시간과 비용 등을 바꾸는 일이다. 이 프로젝트는 학습 단계에 따라 단순화한 규칙도 사용했지만, 약 89%를 보고한 평가는 원래 규칙으로 진행했다.

‘한 대’의 범위도 구분해야 한다. 프로젝트 저장소는 주 컴퓨터에서 학습과 여러 게임 실행을 맡았고, 평가 대국은 별도의 노트북에서 실행했다고 밝힌다. 따라서 한 대는 주로 학습 장비를 가리킨다. 평가까지 모든 계산을 처음부터 끝까지 오직 한 장비에서 처리했다는 뜻은 아니다.

이 사례에서 장비 수만큼 중요한 자원은 반복할 수 있는 환경이었다. 같은 규칙의 게임을 다시 실행하고 진행 속도도 높일 수 있었기에, 실제 시간에 비해 많은 경험을 얻었다. 한 대의 컴퓨터가 적은 경험만으로 복잡한 게임을 깨우쳤다기보다, 한 대에서도 많은 경험을 만들도록 실행 방식을 설계했다고 보는 편이 정확하다.

처음에는 따라 하고, 그다음에는 겨룬다

경험을 많이 모을 수 있어도 배울 단서가 부족하면 실력이 쉽게 늘지 않는다. 무작위로 명령을 내리는 AI를 떠올려 보자. 필요한 건물을 짓지 않거나, 병력을 엉뚱한 곳으로 보내거나, 자원을 쓰지 않은 채 공격받을 수 있다. 이런 행동 끝에 거의 매번 패배한다면 더 나은 선택을 알아볼 기회부터 부족하다.

더구나 승패는 오랜 시간이 지난 뒤에 나온다. 초반의 생산 결정, 중간의 이동, 마지막 전투가 모두 얽혀 있다. 마지막에 졌다고 그전에 내린 모든 명령이 잘못된 것은 아니다. 반대로 이겼다고 모든 선택이 좋았던 것도 아니다. 최종 결과를 보고 앞선 수많은 행동의 가치를 조정해야 하므로, 아무런 출발점 없이 이 연결을 찾기는 어렵다.

그래서 프로젝트는 먼저 내장 AI끼리 대전한 기록을 모아, 각 상황에서 어떤 명령을 내렸는지 따라 하게 했다고 설명한다. 처음부터 승리의 원리를 스스로 발견하게 하기보다, 일단 게임이 굴러갈 만한 행동을 익히게 한 것이다. 이 과정만으로 실력이 완성됐다는 뜻은 아니다. 자원을 모으고 생산과 전투를 이어 갈 출발점을 마련한 데 가깝다.

AI 대전 기록을 따라 하는 일은 출발점이고, 이후 행동을 고친 뒤 별도 평가로 확인한다.

이후에는 자신과 과거 버전의 자신, 내장 AI를 포함한 여러 상대와 반복해서 겨루며 행동을 고쳤다. 예상보다 좋은 결과로 이어진 선택은 비슷한 상황에서 더 자주 하도록, 나쁜 결과로 이어진 선택은 덜 하도록 조정하는 방식이다. 따라 하기로 시작했더라도 계속 복사만 하는 것은 아니다. 대국 결과에 따라 행동을 바꾸므로 처음 본보기로 삼은 상대를 넘어설 여지가 생긴다.

과거 버전을 상대 목록에 남기는 것도 연습의 폭과 관련이 있다. 현재의 자신과만 겨루면 양쪽이 함께 변하면서 예전에 통했던 전술을 덜 만나게 될 수 있다. 이전 행동 방식과 다시 부딪치며 새로 배운 행동을 과거의 상대에게도 적용해 볼 수 있다. 모든 약점을 없애는 장치는 아니지만, 한 종류의 상대만 반복해서 만나는 것과는 다른 경험을 제공한다.

학습 과제도 처음부터 완성된 한 판만 고집하지 않았다. 프로젝트는 적은 병력으로 벌이는 작은 전투, 짧고 단순화한 게임, 더 긴 게임을 거쳐 실제 규칙의 맵으로 나아갔다. 짧은 과제에서는 행동과 결과 사이의 거리가 가깝다. 그 연결을 익힌 뒤 생산과 장기적인 자원 운용이 필요한 과제로 범위를 넓힌 것이다. 경험의 양을 늘리는 일과 배울 수 있는 순서로 경험을 배치하는 일이 함께 들어 있었다.

연습을 쉽게 만드는 방법도 결과를 바꾼다

이 과정에서 특히 흥미로운 것은 연습을 쉽게 해 주는 방법도 잘못 고르면 다른 것을 배우게 된다는 점이다. 작성자는 초기의 짧은 게임에서 자기편 유닛의 체력을 늘려 주자 AI가 자원을 쓰는 법을 익히지 않았고, 상대의 출발을 늦추자 상대가 준비하기 전에 몰아치는 행동에 기대었다고 설명한다. 연습에서 이길 길은 생겼지만, 원했던 실력을 기르는 방향과는 어긋났다.

학습하는 AI가 과제의 의도를 알아서 헤아려 주는 것은 아니다. 병력을 충분히 보충하지 않아도 튼튼한 유닛으로 버틸 수 있다면 생산을 배울 필요가 줄어든다. 준비가 늦은 상대를 먼저 공격하는 것만으로 쉽게 이길 수 있다면, 장기적인 운영을 익힐 이유도 약해진다. 사람에게는 연습을 돕는 조건처럼 보여도, AI는 그 조건에서만 유리한 방법을 찾을 수 있다.

프로젝트는 이후 훈련 상대의 자원 수입을 조절하는 방법을 사용했다고 설명한다. 상대는 평소처럼 움직이되 확보하는 자원이 줄어들고, 학습하는 AI가 계속 지면 상대를 더 약하게, 이기면 다시 강하게 만드는 식이다. 상대의 출발을 늦추는 것과는 달리, 게임을 진행하며 생산과 교전을 연습할 기회를 만들려는 방식이다. 성적을 잰 평가 대국에는 이런 자원 수입 감소를 적용하지 않았다.

승패가 너무 늦게 나오는 문제를 줄이기 위해 학습 중에는 전력을 늘리는 과정에도 작은 보상을 줬다고 한다. 이는 다음 행동을 배울 단서를 더 자주 제공하지만, 최종 승리와 똑같은 목표는 아니다. 병력을 많이 확보하고도 잘못 운용하면 질 수 있기 때문이다. 훈련 중 보상 합계가 좋아졌다는 사실과 실제로 더 잘 이긴다는 사실을 구분해야 하는 이유다.

이처럼 훈련에서는 상대의 강도나 중간 보상을 바꿔 배움을 도울 수 있다. 그러나 그 과정에서 얻은 점수만으로 실력을 판단하면, 게임을 잘하게 됐는지 연습 조건에 잘 맞추게 됐는지 가리기 어렵다. 별도의 평가는 바로 이 둘을 구분하는 역할을 한다. 이 프로젝트의 승률이 의미를 갖는 것은 연습에 쓴 도움을 그대로 둔 채 성적을 잰 결과가 아니기 때문이다.

한 맵의 강자와 어디서나 강한 선수는 다르다

약 89%의 승률은 해당 조건에서 상대를 반복해서 이길 만큼 유효한 행동을 배웠다는 성과로 받아들이는 것이 맞다. 자원과 생산, 이동과 전투를 연결해야 하는 게임에서 대국 전체를 이겼기 때문이다. 숫자가 높다는 이유로 모든 능력을 인정할 수는 없지만, 상대와 맵이 한정됐다는 이유로 배운 것이 없다고 볼 수도 없다.

한계를 이해하려면 맵이 하는 역할을 생각하면 된다. 맵은 배경 그림이 아니다. 자원이 있는 곳, 두 기지 사이의 거리, 이동 경로가 달라지면 공격 시점과 병력을 나눠 쓰는 방식도 달라질 수 있다. 한 맵에서 효과적인 선택이 다른 맵에서도 효과적인지는 별개의 문제다. 이 사례가 보여 준 것은 에코 아일스에서의 성적이지, 맵이 바뀌어도 그 성적이 유지된다는 결과가 아니다.

상대의 종류도 마찬가지다. ‘게임 내 최고 난도’는 게임에 포함된 컴퓨터 상대 가운데 가장 어려운 설정이라는 뜻이다. 모든 인간 선수보다 강하다거나 세계 최고 수준의 전략을 구사한다는 순위표가 아니다. 사람이 상대의 습관을 읽고 전술을 바꿀 때도 이 AI가 잘 대응하는지는 인간과의 대국으로 확인해야 한다. 현재 보고된 승률은 그 질문에 답하지 않는다.

한 상대에게 높은 승률을 내는 이유 역시 숫자만으로 단정할 수 없다. 폭넓은 대응 능력이 좋아서일 수도 있고, 그 상대에게 특히 효과적인 방식을 잘 익혔기 때문일 수도 있다. 현재 결과만으로 두 설명을 가르기 어렵다. 그렇다고 특정 허점을 이용했을 것이라고 추정해 성과를 깎아내리는 것도 근거를 넘는다. 확인된 승리와 그 승리를 가능하게 한 능력의 전체 범위는 구분해야 한다.

증거의 성격도 분명히 할 필요가 있다. 여기서 다루는 수치와 학습 과정은 프로젝트 작성자의 보고다. 블로그와 저장소, 개요 문서가 있다고 해서 서로 다른 연구진이 같은 결과를 독립적으로 재현한 것은 아니다. 공개된 조건과 설명을 통해 성과를 해석할 수는 있지만, 외부에서 재현·검증된 결과로 소개해서는 안 된다.

다음 목표가 승률이 아닌 이유

프로젝트 문서는 다음 방향으로 전략의 다양성을 내세운다. 에코 아일스에서 ‘빠른 규칙’을 쓰는 작업이다. 이는 게임을 실제 시간보다 15배 빠르게 실행한다는 뜻이 아니라, 대국을 짧게 치르도록 게임 규칙 자체를 바꾼 훈련 조건이다. 약 89%를 보고한 원래 규칙의 평가와는 조건이 다르다. 작성자는 이 훈련에서 승률이 한동안 낮아지더라도 다양한 전략을 익히는 일을 우선하겠다고 한다. 이는 원래 규칙의 평가에서 이미 전략의 폭까지 확보했다는 결과가 아니다. 작성자가 승률과 전략적 다양성을 서로 다른 목표로 취급하고 있다는 점이 중요하다.

승리만을 목표로 삼으면 같은 방식으로 계속 이기는 행동도 충분히 좋은 답이 된다. 매번 다른 병력 조합을 쓰거나 여러 종류의 영웅과 기술을 활용해야 할 이유는 없다. 한 전략으로 상대를 안정적으로 이길 수 있다면 학습은 그 전략을 더 확실하게 만드는 쪽으로 기울 수 있다. 성공을 많이 경험하는 일이 반드시 다양한 성공 방식을 찾는 일로 이어지지는 않는다.

반대로 새로운 전략을 연습하면 당장의 성적은 떨어질 수 있다. 아직 서툰 생산 순서나 병력 조합을 써야 하기 때문이다. 익숙한 방식으로 이기는 목표와 낯선 방식도 다룰 수 있게 되는 목표가 잠시 충돌하는 셈이다. 이 프로젝트가 얼마나 다양한 전략을 익히게 될지는 이후의 결과로 판단해야 하지만, 무엇을 더 배우게 할지에 따라 연습과 평가도 달라져야 한다는 관계는 드러난다.

한 대의 PC로 어디까지 배웠느냐는 처음의 질문으로 돌아가 보자. 이 프로젝트는 게임을 빠르게 병렬로 실행해 많은 경험을 만들고, 모방으로 출발점을 마련한 뒤, 대국과 단계별 과제로 행동을 다듬어 특정 맵의 내장 최고 난도 AI를 높은 비율로 이기는 데 도달했다고 보고한다. 성과를 만든 것은 장비의 대수만도, 대국 수만도 아니다. 경험을 얻는 속도와 배울 수 있는 연습의 구성이 함께 작용했다.

그다음 질문은 승률을 얼마나 더 올릴 수 있느냐에 그치지 않는다. 지금 이기는 방식 말고도 무엇을 할 수 있게 만들 것인가다. 이 사례는 반복과 훈련이 상당한 실력을 만들 수 있음을 보여 주는 동시에, 실력의 폭은 저절로 따라오지 않는다는 점을 드러낸다. 그 폭을 요구하는 경험과, 실제로 넓어졌음을 보여 주는 증거가 따로 필요하다.