AI 분석의 높은 점수, 어떤 결정을 뒷받침할까

고객 이탈을 예측한 AI 보고서를 받았다고 가정해 보자. 예측 점수가 높고, 분석 코드도 오류 없이 실행됐다고 한다. 이 결과를 바탕으로 고객 관리 예산을 배분해도 될까? 분석 과정을 직접 살펴보기 어려운 팀장에게 숫자는 가장 명료한 판단 근거로 보일 수 있다.

그런데 점수는 분석이 거친 시험의 결과다. 시험에서 어떤 정보를 볼 수 있었는지, 누구를 대상으로 얼마나 낯선 상황을 예측했는지에 따라 숫자의 의미가 달라진다. 실제 업무에서는 알 수 없는 정보를 미리 본 분석과, 결정 시점에 확보할 수 있는 정보만 사용한 분석은 비슷한 점수를 받아도 같은 근거가 아니다.

데이터 분석을 자동화하는 AI에 관한 연구는 이 차이를 짚는다. 중요한 것은 점수를 무시하라는 이야기가 아니다. 좋은 점수가 업무 판단으로 이어지려면 무엇이 확인돼야 하는지, 숫자와 결정 사이에 빠진 설명을 찾는 일이다.

코드가 돌아가는 것과 분석이 타당한 것은 다르다

예측을 평가할 때는 결과를 이미 알고 있는 과거 자료를 활용할 수 있다. 일부 자료로 예측 규칙을 익히게 하고, 다른 자료에서는 결과를 가린 채 맞혀 보게 한다. 그런 다음 예측과 실제 결과를 비교한다. 얼마나 많이 맞혔는지, 실제 값에서 얼마나 벗어났는지 등을 점수로 나타낸다. 따라서 예측 성능은 반드시 하나의 ‘정확도’ 숫자만을 뜻하지는 않는다.

따로 남겨 둔 자료는 분석이 이미 본 사례를 잘 기억하는 데 그치는지, 처음 보는 사례에도 통하는 규칙을 찾았는지 구별하는 데 쓰인다. 시험 자료를 따로 둔다는 것은 파일을 나누는 형식적인 절차가 아니다. 아직 모르는 상황을 작게 재현하려는 시도다.

코드의 정확성은 이와 다른 문제다. 프로그램이 의도한 계산을 수행하는지 확인할 수는 있다. 하지만 계산에 넣어서는 안 될 자료를 넣었더라도 프로그램은 정상적으로 돌아갈 수 있다. 계산 순서가 정확하다는 사실이 자료 선택의 적절성까지 보장하지는 않는다.

앞의 고객 이탈 예시에서 회사가 원하는 것은 다음 달에 떠날 고객을 찾아 미리 연락하는 일이다. 과거의 이탈 고객을 잘 골랐는지뿐 아니라, 연락하려는 시점에 알 수 있는 기록만 사용했는지도 중요하다. 이미 떠난 뒤 생긴 기록으로 떠날 사람을 찾았다면, 회사가 부탁한 미래 예측과 다른 일을 한 셈이다.

이처럼 분석에는 서로 다른 두 질문이 있다. 주어진 시험에서 잘 맞혔는가, 그리고 그 시험이 우리가 하려는 일을 제대로 시험했는가다. 첫 번째 질문에 답하는 점수를 두 번째 질문의 답으로 읽으면 보고서는 정확해 보이면서도 엉뚱한 확신을 줄 수 있다.

아직 알 수 없는 정보가 들어갔을 때

과거 고객 자료에는 이용 기록뿐 아니라 계약 종료 처리 기록도 함께 들어 있을 수 있다. AI가 계약 종료 후에 생긴 정보를 활용하면 떠난 고객을 쉽게 구별할 수 있다. 그러나 실제로는 계약 종료 전에 연락해야 한다. 시험에서 유용했던 정보가 정작 예측을 사용할 때는 존재하지 않는 것이다.

이처럼 평가에서 보이지 않아야 할 정보가 분석 과정에 섞이는 문제를 ‘데이터 누수’라고 부른다. 꼭 정답이라는 이름의 항목을 보여 줘야만 생기는 것은 아니다. 결과가 발생한 뒤 남은 기록이 간접적으로 정답을 알려 줄 수도 있다. 중요한 기준은 자료의 이름이 아니라 그 정보가 언제 생겼고, 예측할 시점에 알 수 있었느냐다.

누수는 AI가 일부러 속여야 생기는 문제도 아니다. 과거 자료를 모은 표에는 사건 전후의 정보가 한꺼번에 들어갈 수 있다. 항목의 의미를 충분히 이해하지 못한 채 예측에 도움이 되는 값을 찾으면, 실제 업무에서는 쓸 수 없는 정보가 선택될 수 있다. 점수를 높이는 데 유용하다는 이유와 업무에서 사용해도 된다는 이유가 여기서 갈라진다.

마지막 확인을 위해 남겨 둔 시험 자료도 같은 원칙을 따른다. 그 자료에서 나온 결과를 보고 분석 방식을 계속 고친다면 최종 시험은 점차 개발 과정의 일부가 된다. 해당 시험에 맞춰 조정한 뒤 얻은 높은 점수만으로는 아직 보지 않은 자료에서도 같은 성능을 낼지 판단하기 어렵다. 시험의 독립성이 줄어들었기 때문이다.

누수가 문제가 되는 이유는 단순히 절차를 어겼기 때문이 아니다. 점수가 보여주는 능력이 달라지기 때문이다. 독자는 ‘앞으로도 이 정도로 맞힐 수 있다’는 증거를 원하지만, 누수가 있는 시험은 ‘이미 얻은 단서로 과거 결과를 잘 구별한다’는 사실을 보여줄 수 있다. 둘은 업무에서 쓸 수 있는 범위가 다르다.

새 자료로 시험해도 실제 상황과 어긋날 수 있다

미리 알 수 없는 정보를 제거했다고 해서 검증이 끝나는 것은 아니다. 따로 남겨 둔 자료가 실제 사용 상황을 닮았는지도 살펴야 한다. 이 문제는 데이터 누수와 구별할 필요가 있다. 정답의 단서를 보지 않았더라도 업무보다 익숙하거나 다른 조건에서 시험을 치를 수 있기 때문이다.

가령 과거 여러 시기의 고객을 무작위로 섞어 일부를 시험에 사용했다고 하자. 이 시험은 비슷한 환경에서 다른 고객을 얼마나 잘 예측하는지 확인하는 데 유용할 수 있다. 하지만 회사가 알고 싶은 것은 새로운 요금제나 영업 조건이 적용된 다음 달의 결과일 수 있다. 과거 자료를 골고루 섞은 시험에서는 시간에 따라 조건이 달라질 때 생기는 어려움이 충분히 드러나지 않을 수 있다.

같은 고객이 여러 번 등장하는 자료에서도 사용 목적에 따라 판단이 달라진다. 기존 고객의 다음 행동을 예측하려는 것이라면 그 사람의 과거 기록을 활용하는 것이 자연스럽다. 반면 처음 만나는 고객에게도 통하는 분석을 원한다면, 같은 사람이 학습 자료와 시험 자료에 함께 등장한 결과만으로는 충분하지 않을 수 있다. 익숙한 사람의 행동을 예측하는 능력과 새로운 사람에게 적용하는 능력은 다르다.

그렇다고 시간을 기준으로 나누거나 고객을 완전히 분리하는 방식이 모든 분석의 정답은 아니다. 누구를 대상으로, 어느 시점에, 어떤 정보를 가진 상태에서 예측할지부터 정해야 알맞은 시험을 만들 수 있다. 검증 방식은 사용 목적에 따라 선택해야 한다.

따라서 보고서의 ‘별도 자료로 검증했다’는 설명은 도움이 되지만, 그것만으로 업무와의 연결이 완성되지는 않는다. 그 자료가 어떤 상황을 대표하는지까지 알아야 한다. 검증은 분석에 붙이는 합격 도장이라기보다, 적용할 수 있는 조건을 확인하는 과정에 가깝다.

220개 과제에서 드러난 평가의 빈틈

데이터 과학 에이전트의 조용한 실패를 다룬 논문의 저자들은 과제 설정부터 실행과 예측 모델 개발까지 자동화하려는 시스템을 연구했다. 여기서 에이전트란 답변만 작성하는 AI가 아니라 분석에 필요한 여러 작업을 이어서 수행하도록 구성한 시스템을 뜻한다.

저자들은 기존 평가가 예측 성능과 코드의 정확성에 초점을 맞추면 데이터 누수나 부적절한 검증 같은 방법론적 실패를 놓칠 수 있다고 지적한다. 결과를 잘 맞히고 코드를 올바르게 실행하는 능력은 확인하더라도, 분석 원칙과 해당 분야의 지식을 제대로 활용했는지는 남는다는 문제 제기다.

논문 초록에 따르면 저자들은 220개 데이터 과학 과제에 걸쳐 에이전트 해법을 분석했고, 해법의 다수에서 적어도 한 가지 실패 유형을 발견했다. 특정한 한 사례의 실수만을 소개한 것이 아니라 여러 과제의 해법을 직접 살펴 분석 방법의 결함을 확인한 결과다.

다만 220이라는 숫자를 오류율로 읽어서는 안 된다. 220개는 분석한 과제의 수이고, ‘다수’라는 표현은 에이전트 해법에 관한 결과다. 모든 과제나 모든 해법이 실패했다는 뜻이 아니며, 초록의 정보만으로 각 실패 유형의 정확한 발생 비율을 계산할 수도 없다.

저자들은 여섯 가지 실패를 통제된 방식으로 살펴볼 수 있는 재사용 가능한 과제 모음도 제시했다. 이런 평가는 잘 맞혔는지만 보는 대신 특정한 분석 원칙을 지켰는지 직접 확인하려는 것이다. 같은 기준으로 다시 시험할 수 있으므로, 시스템을 바꾼 뒤 점수뿐 아니라 분석 방식도 나아졌는지 살피는 데 의미가 있다. 결과 평가와 과정 평가가 서로 다른 정보를 준다는 점이 이 연구의 핵심이다.

높은 성능은 누수가 없다는 신호가 아니었다

눈여겨볼 결과는 데이터 누수 실패의 발생과 예측 성능 사이에 양의 상관관계가 보고됐다는 점이다. 연구에서 누수 문제와 높은 예측 성능이 함께 나타나는 경향을 관찰했다는 뜻이다. 점수가 낮은 해법만 골라 분석 절차를 의심하는 접근으로는 놓칠 수 있는 문제가 있다는 것이다.

여기서 작동 원리와 관찰 결과를 구분해야 한다. 정답을 암시하는 정보가 들어오면 시험이 쉬워질 수 있다는 것은 누수가 점수를 왜곡하는 원리에 대한 설명이다. 반면 논문이 보고한 상관관계만으로 모든 성능 상승의 원인을 누수라고 확정하거나, 누수가 점수를 얼마나 높였는지 계산할 수는 없다.

초록에서 보고한 내용만으로는 상관관계를 계산한 구체적인 지표와 측정 대상의 포함 조건, 관계의 크기를 확인할 수 없다. 따라서 이 결과를 특정 AI끼리의 성능 비교로 옮기거나, 높은 점수일수록 반드시 누수가 심하다고 말해서는 안 된다. 연구가 뒷받침하는 판단은 높은 성능 자체가 누수의 부재를 확인해 주는 신호는 아니라는 것이다.

이는 개발 과정에서 무엇을 성공으로 인정할지에도 영향을 준다. 점수를 올리는 것만 성공으로 삼으면 실제 능력을 높인 변화와 시험을 부당하게 유리하게 만든 변화를 구별하기 어렵다. 둘 다 숫자를 올릴 수 있기 때문이다. 분석 방법을 별도로 확인해야 하는 이유가 여기에 있다.

반대로 적절한 방법을 썼다는 사실만으로 예측 성능이 충분하다고 할 수도 없다. 성능과 방법은 서로 대신하는 기준이 아니다. 하나는 얼마나 유용한 결과를 내는지 보여주고, 다른 하나는 그 결과를 어떤 조건에서 믿을 수 있는지 설명한다.

숫자 밖에서 필요한 업무 지식

저자들은 데이터 분석 대회에서 우승한 전문가들의 해법과 에이전트의 분석 절차도 정성적으로 비교했다. 그 비교에서 에이전트는 문제 해결의 창의성과 분야 지식이 전반적으로 부족했다고 평가했다. 이는 점수 하나로 순위를 매긴 결과가 아니라, 문제를 어떻게 이해하고 풀었는지 살펴본 저자들의 평가다.

분야 지식이 필요한 이유는 전문용어를 많이 알아야 해서만은 아니다. 자료가 업무 현장에서 어떻게 생기는지 알아야 한다. 고객 사례로 돌아가면, 계약 종료 관련 날짜가 고객이 의사를 밝힌 날인지 행정 처리가 끝난 날인지에 따라 분석에 사용할 수 있는 시점이 달라진다. 날짜 형식이 같아도 업무 절차를 모르면 의미를 잘못 읽을 수 있다.

예측하려는 결과의 정의도 업무 목적과 맞아야 한다. ‘떠난 고객’을 계약 종료 처리가 완료된 사람으로 정했다면, 그 예측이 회사가 붙잡을 수 있는 고객을 찾는 데 충분한지 따져야 한다. 연락할 기회가 지난 사람을 정확히 골라냈다면 고객 관리 예산을 배분하는 데 필요한 답은 아직 얻지 못했을 수 있다.

문제 이해는 계산 앞에 잠깐 붙는 준비 단계가 아니다. 무엇을 결과로 삼고, 어느 시점의 정보를 쓰며, 어떤 대상을 시험에 남길지 결정하는 동안 계속 필요하다. 이 연결이 잘못되면 AI는 잘못 설정한 질문에 정교한 답을 내놓을 수 있다. 업무 담당자가 아는 기록의 생성 과정과 결정 시점도 분석에 필요한 지식인 이유다.

이 연구의 범위는 데이터 과학 에이전트와 과제 평가다. 대회 전문가와의 정성적 비교를 모든 분야에서 사람과 AI의 능력을 가르는 결론으로 확대할 수는 없다. 실제 회사에서 오류나 피해가 얼마나 발생하는지도 이 결과가 알려주지는 않는다. 다만 분석 맥락을 이해하는 능력은 코드 실행이나 예측 점수와 별도로 살펴야 한다는 문제 제기를 뒷받침한다.

점수가 뒷받침하는 결정의 범위를 정하라

업무에서 보고서를 받는 사람은 분석 코드를 모두 검토하기 어렵다. 그렇더라도 ‘이 점수는 어떤 상황을 시험한 결과인가’라는 질문은 할 수 있다. 답에는 대상, 예측 시점, 그 시점에 사용할 수 있는 정보가 들어가야 한다. 구현 방법을 자세히 설명하라는 요구가 아니라 분석이 실제로 무엇을 확인했는지 밝혀 달라는 요구다.

대상·시점·사용 정보가 실제 업무와 맞는지 확인해야 점수의 적용 범위를 정할 수 있습니다.

보고서가 과거의 기존 고객을 대상으로 얻은 성능을 보여준다면, 그 결과는 비슷한 조건의 기존 고객 관리에 관한 근거가 될 수 있다. 하지만 곧바로 새로운 시장의 신규 고객에게 적용할 근거가 되지는 않는다. 필요한 것은 새 대상과 달라진 조건에서도 분석이 통하는지 확인하는 일이다. 검증된 범위가 넓어질 때 적용 범위도 넓힐 수 있다.

검증과 업무가 잘 연결됐다고 해도 예측이 모든 결정에 답하지는 않는다. 떠날 고객을 잘 찾는다는 결과와 그 고객에게 할인 혜택을 주면 이탈을 막을 수 있다는 결과는 다른 질문에 대한 답이다. 예측 점수는 대상을 찾는 데 도움을 줄 수 있지만, 어떤 조치가 효과적인지는 별도의 근거가 필요하다. 예산 배분까지 이어 가려면 이 마지막 연결도 구분해야 한다.

결정의 성격에 따라 요구할 증거의 수준도 달라진다. 사람이 다시 검토할 후보 목록을 만드는 분석과 되돌리기 어려운 큰 지출을 정당화하는 분석에 같은 수준의 근거를 요구할 이유는 없다. 전자에서는 제한된 범위의 유용성을 먼저 활용할 수 있다. 후자에서는 실제 사용 조건에 가까운 검증과 조치의 효과에 관한 근거가 더 중요해진다.

결국 높은 점수를 믿고 결정해도 되는지는 그 점수가 확인한 대상과 상황이 지금 내리려는 결정에 얼마나 맞는지에 달려 있다. 연결이 확인되면 점수는 구체적인 판단 근거가 된다. 연결이 비어 있다면 좋은 점수는 유망한 출발점이지 결정의 충분한 이유는 아니다.

분석 자동화의 가치를 판단할 때도 계산을 빠르게 수행하는 능력과 올바른 질문에 답하는 능력을 구별해야 한다. 자동화가 여러 작업을 대신해도 무엇을 검증해야 하는지 정하는 판단까지 불필요해지는 것은 아니다. 독자가 바꿔야 할 습관은 높은 점수를 경계하는 것 자체가 아니다. ‘얼마나 잘 맞혔나’ 다음에 ‘무엇을, 어떤 조건에서 맞혔나’를 묻는 것이다. 그래야 숫자의 힘을 과장하지 않으면서도 쓸 수 있는 곳에서는 제대로 활용할 수 있다.