회사 AI의 연습 자료, 실제 기록만이 답은 아니다

회사에서 고객 상담이나 주문 처리를 AI에 맡기려 한다고 생각해보자. 도입 담당자는 어떤 자료를 제공할지부터 고민하게 된다. 실제 기록을 보여주면 회사의 업무 사례를 구체적으로 전달할 수 있다. 하지만 고객 이름과 거래 내역, 직원의 처리 기록까지 어디에 넘길지는 별도의 문제다. 업무를 알려주려면 원자료 전체를 먼저 꺼내야 하는 것일까.

이 질문에는 서로 다른 목적이 섞여 있다. AI가 연습할 자료를 만드는 일, 그 자료가 실제 업무를 닮았는지 확인하는 일, 연습한 AI가 업무를 제대로 수행하는지 평가하는 일은 같지 않다. 자료를 제공할 범위를 정하려면 먼저 어느 목적에 필요한 자료인지 구분해야 한다.

특히 정보를 읽고 답하는 데 그치지 않고 업무 시스템에 조회나 처리 요청을 보내는 AI라면, 자료의 모양만 봐서는 부족하다. 주문 내역이 그럴듯한지도 중요하지만 어떤 주문을 취소할 수 있고 처리 뒤 무엇이 달라져야 하는지도 알아야 한다. 가상 업무 환경에서 자료를 만드는 연구는 이 차이를 이해할 실마리를 제공한다.

실제 정보가 필요한 순간과 연습할 때의 차이

회사 자료는 AI에 여러 방식으로 쓰일 수 있다. 현재 주문 상태를 답할 때 참고할 수도 있고, 모델을 훈련하는 데 사용할 수도 있으며, 업무 수행 능력을 평가하는 시험 사례가 될 수도 있다. 자료를 입력하는 일과 그 자료로 모델 자체를 훈련하는 일은 같지 않다. 따라서 ‘AI에 자료를 준다’는 표현만으로는 무엇을 위해 어디까지 제공하는지 알 수 없다.

고객이 자신의 주문이 배송됐는지 묻는 상황에서는 현재 주문 정보를 확인해야 한다. 가상의 주문 기록으로 실제 고객의 질문에 답할 수는 없다. 반면 AI가 배송 전과 배송 후의 요청을 구분하는지 시험하려는 단계라면, 실제 고객 이름이 붙은 기록만이 시험 자료가 될 이유는 없다. 현재 사실을 조회하는 문제와 업무 처리 능력을 준비하는 문제를 구별하면 선택지가 달라진다.

가상 기업 환경에서 작업을 수행해 데이터를 만드는 연구의 저자들은 기업 AI를 대규모로 훈련하고 평가하기 어려운 이유로 기업 시스템과 데이터, 데이터베이스 구조에 대한 사업상·법률상 접근 제약을 든다. 회사 기록뿐 아니라 그 기록을 저장하고 연결하는 방식까지 외부에서 들여다보기 어려울 수 있다는 문제 설정이다.

이는 실제 자료 외의 경로를 찾을 이유를 설명한다. 다만 모든 회사가 같은 제약을 겪는다거나 실제 자료 제공이 언제나 금지된다는 조사 결과는 아니다. 고객 정보는 제공하기 어려워도 업무 규칙은 설명할 수 있는 경우와, 내부 처리 방식 자체를 공개하기 어려운 경우는 다르다. 가상 자료를 검토하더라도 무엇에 대한 접근이 제한되는지 먼저 살펴야 한다.

표는 상태를 보여주고, 업무는 상태를 바꾼다

다음은 작동 원리를 이해하기 위한 가상의 환불 업무다. 연구가 이 환불 사례를 시험했다는 뜻은 아니다. 주문 표에는 상품과 결제 금액, 배송 상태가 있고 환불 표에는 주문 번호와 환불 금액이 있다고 해보자. 각각의 항목이 자연스러워 보여도 두 표를 함께 보면 문제가 생길 수 있다. 존재하지 않는 주문에 환불이 연결되거나 결제 금액보다 큰 금액을 돌려주는 기록이 들어갈 수 있기 때문이다.

이런 문제는 이름이나 금액 하나를 그럴듯하게 만드는 것으로 해결되지 않는다. 주문과 환불 기록이 서로 맞물려야 한다. 자료가 올바른 형태라는 말에는 항목이 빠짐없이 채워졌다는 뜻뿐 아니라 여러 기록 사이의 관계가 맞는다는 뜻도 들어간다. 개별 행을 읽을 때 보이지 않던 오류가 다른 기록과 연결하는 순간 드러날 수 있다.

여기에 업무 규칙이 더해진다. 같은 주문이라도 배송 전인지, 반품이 접수됐는지에 따라 허용되는 처리가 달라질 수 있다. 환불을 완료했다면 이후 기록에도 그 결과가 반영돼야 한다. 업무를 수행하는 AI는 현재 값을 읽는 것뿐 아니라 지금 가능한 행동을 고르고 그 행동이 만든 변화를 확인해야 한다. 표에 담긴 한 시점의 상태와 업무의 진행 과정은 서로 다른 정보다.

표 형태의 자료가 쓸모없다는 뜻은 아니다. 실제 상태를 보관하고 비교하는 데 표는 중요하다. 문제는 표가 그럴듯하다는 이유만으로 허용되는 행동과 처리 순서까지 재현했다고 판단하는 데 있다. 업무 AI를 위한 자료라면 결과가 어떻게 생겼는지뿐 아니라 어떤 과정을 거쳐 그 결과가 나왔는지도 물어야 한다.

연구 저자들은 두 가지 생성 방식의 약점을 나누어 설명한다. 표를 직접 합성하는 방식에는 자료 구조의 유효성과 데이터베이스 구조에 대한 접근 문제가 있다. 반대로 정해진 절차로 기록을 만드는 방식은 분야별 절차를 따로 작성하지 않으면 실제 사례의 분포를 닮기 어렵다고 본다. 기록 사이의 관계를 맞추는 일과 현실에서 나타나는 다양한 사례를 만드는 일이 서로 다른 과제라는 설명이다.

규칙이 있는 시스템 안에서 기록을 만든다

이 연구의 접근은 완성된 표를 바로 작성하는 대신 AI가 가상 업무 시스템에 작업을 요청하게 하는 것이다. 사람이 업무 시스템에서 주문을 등록하거나 상태를 변경하면 기록이 남듯이, 자료를 만드는 AI도 가상 시스템에서 작업을 수행한다. 그 결과로 생기는 기록을 데이터로 사용하는 방식이다.

여기서 가상 환경은 화면만 실제 서비스처럼 꾸민 모형이 아니다. 어떤 요청을 받아들일 수 있는지, 처리 결과로 어떤 기록이 생겨야 하는지를 정하는 시스템이다. AI는 시스템이 제공하는 정해진 요청 창구를 통해 일을 시킨다. 이 창구가 연구에서 말하는 인터페이스의 역할이며, 업무 정책은 시스템 쪽에서 적용한다.

가상의 환불 예로 돌아가면 차이가 선명해진다. 표를 직접 만드는 AI는 주문 기록과 환불 기록을 모두 작성하면서 두 기록의 관계를 스스로 맞춰야 한다. 규칙이 적용되는 시스템을 이용하는 방식에서는 환불 작업의 결과가 그 시스템을 거쳐 기록된다. 자료를 만드는 AI 혼자 모든 관계를 기억해 맞추도록 하는 대신 관계와 규칙을 적용할 책임을 환경에 맡기는 셈이다.

연구에서 자료를 생성하는 AI는 데이터베이스 구조를 보지 않고 작업한다. 어떤 표가 있고 각 항목이 어떻게 연결되는지에 관한 내부 설계도를 직접 받아 기록을 채우는 방식이 아니라는 뜻이다. 그렇다고 아무 정보 없이 움직이는 것은 아니다. AI는 작업을 요청할 수 있는 창구를 이용하고, 가상 환경은 그 요청에 업무 규칙을 적용한다. 내부 저장 구조를 아는 것과 시스템을 통해 작업하는 것은 다르다.

저자들은 데이터를 생성하는 환경 자체가 무엇을 유효한 자료로 볼지 정하므로 구조적 유효성을 설계상 확보할 수 있다고 설명한다. 완성된 기록에서 오류를 찾아 고치는 데만 의존하지 않고, 기록을 만드는 과정에 규칙을 적용하는 것이다. 이 접근에서 주목할 부분은 자료가 맞는 이유를 작업 과정과 연결해 설명할 수 있다는 점이다.

다만 그때 확보되는 것은 해당 가상 환경의 규칙에 맞는 기록이다. 가상 환경이 허용한 환불 조건이 실제 회사의 조건과 다르면, 그 안에서 모든 기록이 맞아도 회사가 원하는 자료는 아닐 수 있다. 내부 규칙의 일관성과 현실의 정책에 대한 일치는 별개다. 환경을 평가하려면 화면이나 데이터 예시만 보는 대신 어떤 업무 규칙을 넣었는지 확인해야 한다.

가능한 사례와 자주 생기는 사례는 다르다

자료가 규칙을 어기지 않는다고 해서 실제 업무를 충분히 닮았다고 볼 수는 없다. 가상의 주문을 모두 정상 결제, 정상 배송, 문제없는 완료 상태로 만들었다고 해보자. 기록 사이에 모순이 없고 모든 처리 조건을 지킬 수 있다. 그런데 회사가 AI에 맡기려는 일이 결제 실패나 부분 취소 문의를 다루는 것이라면 이런 자료만으로는 필요한 상황을 접하기 어렵다.

이때 문제가 되는 것이 데이터의 분포다. 쉽게 말해 어떤 사례가 얼마나 자주 나오는지를 뜻한다. 주문 금액의 범위, 처리 상태의 비율, 예외 상황의 빈도 등이 여기에 해당한다. 업무 규칙은 한 사례가 가능한지 판단한다. 분포는 가능한 여러 사례 중 무엇이 많이 나타나고 무엇이 드물게 나타나는지 설명한다.

둘은 서로 대신할 수 없다. 실제 주문 금액의 비율을 잘 따라 만든 자료라도 주문과 환불의 연결이 틀리면 업무 처리에 문제가 생길 수 있다. 반대로 모든 연결이 올바른 자료라도 특정 상황만 가득하면 회사가 다루는 업무의 폭을 보여주지 못한다. 연구 저자들은 기록이 가상 시스템의 규칙을 지키도록 하는 일과, 여러 사례가 자료에 어떤 비율로 담길지를 정하는 일을 따로 다룰 수 있다고 설명한다.

이 구분은 자료를 개선할 때도 도움이 된다. 기록 사이에 모순이 발견된다면 생성 과정과 환경의 규칙을 살펴야 한다. 회사에서 자주 겪는 상황이 거의 나오지 않는다면 어떤 사례를 만들도록 했는지 살펴야 한다. 두 문제를 모두 ‘가상 자료가 덜 현실적이다’라는 말로 묶으면 무엇을 바꿔야 하는지 알기 어려워진다.

자료를 쓰는 목적에 따라서도 원하는 비율은 달라질 수 있다. 평소 업무를 얼마나 잘 처리하는지 평가하려면 실제 발생 비율이 중요하다. 반면 드물지만 중요한 예외를 연습시키려면 그 상황을 일부러 더 많이 포함할 수 있다. 이는 이번 연구에서 확인된 성과가 아니라 자료의 용도를 구분할 때 필요한 판단이다. 자료가 실제 발생 비율을 잘 반영하는지, 필요한 연습 사례를 충분히 담고 있는지는 사용 목적에 맞춰 따로 판단해야 한다.

열 개의 가상 환경이 입증한 범위

연구 초록은 자료를 생성하는 AI가 데이터베이스 구조에 접근하지 않은 채 열 개의 가상 환경에서 데이터 분포와 제약 충족에 관한 결과를 냈다고 보고한다. 가상 시스템을 이용하자는 아이디어만 제시한 것이 아니라 여러 환경에서 데이터 생성을 시험했다는 근거다. 다만 열 개의 가상 환경에서 시험했다는 말은 열 개 회사의 실제 업무에서 성능을 검증했다는 말과 다르다.

초록의 설명만으로는 보고된 지표의 세부 정의와 정확한 측정 대상을 충분히 확인할 수 없다. 따라서 특정 점수를 옮겨 실제 고객 자료와 얼마나 비슷한지 단정할 근거로 쓰기는 어렵다. 어떤 항목을 어떤 기준으로 비교했는지에 따라 점수의 뜻이 달라지기 때문이다. 확인되는 결과는 여러 가상 환경에서 이 데이터 생성 접근을 시험했다는 범위에서 읽어야 한다.

자료를 만든 성과와 그 자료로 훈련한 AI의 성과 사이에도 단계가 하나 더 있다. 기록을 생성하는 AI가 환경의 규칙을 잘 따랐다고 해서, 그 기록으로 준비한 업무 AI가 새로운 요청을 올바르게 처리한다는 결론은 나오지 않는다. 여기서 평가한 생성 과정과 앞으로 회사가 맡기려는 업무 수행은 대상이 다르다.

실제 업무에서는 요청의 뜻을 해석하고 부족한 정보를 확인하며 가능한 처리 방법 중 하나를 골라야 할 수 있다. 생성된 기록에 모순이 없는지 살피는 시험만으로는 이런 행동을 평가할 수 없다. 제공된 초록은 생성 데이터를 사용해 훈련한 AI의 현업 성과를 입증하지 않는다. 실제 회사에서 일을 잘한다는 주장을 하려면 그 업무를 수행한 결과를 직접 보는 평가가 필요하다.

또한 데이터베이스 구조를 보지 않았다는 설명은 모든 단계에서 실제 정보가 불필요하다거나 개인정보 보호가 보장된다는 뜻이 아니다. 가상 환경의 규칙을 현실에 맞추는 일, 실제 업무와의 차이를 확인하는 일에 어떤 정보가 필요한지도 따져야 한다. 내부 설계도 없이 자료를 생성할 수 있다는 특징과 회사 정보를 어느 범위까지 사용해도 되는지에 대한 판단은 서로 다른 문제다.

자료의 출처보다 먼저 시험의 목적을 정해야 한다

회사 입장에서 얻을 수 있는 답은 ‘가상 자료면 충분하다’도, ‘결국 실제 자료를 모두 줘야 한다’도 아니다. 먼저 어떤 능력을 확인하려는지 정해야 한다. 정해진 규칙에 따라 가능한 작업을 선택하는지 보려는 것인지, 실제로 많이 들어오는 요청을 잘 다루는지 보려는 것인지에 따라 필요한 증거가 달라진다. 자료의 출처를 정하기 전에 시험의 목적을 정하는 편이 순서에 맞다.

환불 업무를 준비한다면 처음에는 허용된 조건에서만 처리가 이루어지는지 확인할 수 있다. 다음에는 회사에서 자주 발생하는 상황과 중요한 예외가 자료에 포함됐는지 살펴볼 수 있다. 실제로 일을 맡기려는 단계에서는 AI가 고객의 요청을 이해하고 적절히 처리하는지 평가해야 한다. 앞 단계에서 좋은 결과가 나왔다는 이유로 뒤 단계의 시험을 생략할 수는 없다.

이렇게 나누면 실제 자료를 제공하는 방식도 더 세밀하게 생각할 수 있다. 업무 규칙을 설명하거나 사례별 비율을 확인하는 데 원자료 전체가 필요한지부터 검토할 수 있다. 회사 안에서 비교한 결과를 전달하는 방식과 고객 기록 자체를 외부로 넘기는 방식은 다르다. 이는 연구가 입증한 도입 절차가 아니라, 확인하려는 주장에 맞춰 정보 제공 범위를 정하자는 판단 원칙이다.

가상 환경과 실제 자료를 반드시 경쟁하는 대체재로 볼 필요도 없다. 규칙이 분명한 상황을 가상 환경에서 준비하고 실제 업무와 다른 부분을 별도 평가에서 찾아내는 식으로 역할을 나눌 수 있다. 이때 중요한 것은 자료가 가상이라는 이유로 낮게 평가하거나 실제라는 이유로 믿는 태도를 벗어나는 것이다. 실제 기록도 시험하려는 상황을 충분히 담았는지 살펴야 하고, 가상 기록도 회사의 규칙과 얼마나 맞는지 설명할 수 있어야 한다.

앞으로 회사 AI를 위한 자료나 연습 환경을 평가할 때는 ‘얼마나 많은 기록을 만들었나’보다 그 기록이 어떤 판단을 뒷받침하는지에 주목할 필요가 있다. 규칙을 지킨다는 주장은 생성 과정으로, 실제와 비슷하다는 주장은 비교 기준으로, 일을 잘한다는 주장은 업무 수행 결과로 설명돼야 한다. 하나의 자료 예시나 점수로 세 주장을 함께 입증할 수는 없다.

규칙 준수, 실제와의 닮음, 업무 능력은 각각 다른 근거로 확인해야 한다.

회사 AI를 준비하는 데 실제 고객·업무 자료가 꼭 필요한가라는 질문에 이 연구가 보태는 답은 제한적이지만 의미가 있다. 연습용 데이터를 만드는 데는 실제 기록을 그대로 가져오는 것 외의 경로가 있다. 그 경로는 규칙을 적용하는 시스템 안에서 기록을 생성한다는 점에서 검토할 가치가 있다. 독자가 얻을 판단의 변화는 실제와 가상 중 하나를 고르는 데 있지 않다. 준비 단계마다 필요한 정보와 증거를 구분하면, 원자료를 처음부터 모두 제공해야 한다는 생각과 가상 자료만으로 도입 준비가 끝났다는 생각을 함께 피할 수 있다.