AI의 되묻기, 횟수보다 중요한 것은 다음 선택이다

AI에게 일을 맡기는 목적은 대개 대화를 오래 나누는 것이 아니다. 여행 일정을 얻고, 업무 초안을 만들고, 여러 선택지 가운데 적당한 것을 고르고 싶어서다. 그런데 요청을 보내자마자 조건을 하나씩 되묻기 시작하면, 일을 맡긴 것인지 설문지를 작성하는 것인지 헷갈릴 수 있다. 반대로 아무것도 확인하지 않고 만든 결과가 자신의 사정과 맞지 않으면 처음부터 다시 설명해야 한다.

“부모님과 갈 이틀짜리 여행 일정을 짜 줘”라는 가상의 요청을 생각해 보자. 사용자는 이동의 편안함을 가장 중요하게 여길 수도 있고, 유명한 장소를 많이 둘러보길 원할 수도 있다. AI는 그 차이를 모른다. 그렇다고 식사 취향부터 숙소의 전망까지 모든 조건을 먼저 물어야 하는 것도 아니다. 아직 정하지 않은 사항까지 답하라고 하면 사용자의 부담만 커진다.

이 문제는 AI가 신중한가, 성급한가라는 평가로는 풀리지 않는다. 필요한 것은 질문할 때와 진행할 때를 가르는 판단이다. 빠진 정보가 있다는 사실과 그 정보를 반드시 지금 확인해야 한다는 결론은 다르다. 핵심은 답을 들었을 때 다음 선택이 달라지는가, 그리고 그 변화가 더 나은 결과로 이어지는가에 있다.

모든 빈칸을 먼저 채울 필요는 없다

사용자의 요청에는 목적과 제약이 함께 들어 있다. 목적은 무엇을 얻으려는지이고, 제약은 어떤 결과를 받아들일 수 있는지를 정한다. 여행에서는 관광이 목적일 수 있지만, 오래 걷기 어렵다는 조건은 갈 수 있는 장소와 이동 수단을 바꾼다. 업무 문서에서는 내용을 잘 정리하는 것이 목적이어도, 사내 공유용인지 외부 고객에게 보낼 것인지에 따라 설명 방식과 포함할 정보가 달라진다.

사용자가 이런 조건을 모두 적지 않는다고 해서 요청을 잘못한 것은 아니다. 사람 사이의 부탁도 공유된 배경과 뒤이은 대화에 기대는 경우가 있다. AI에게는 그 배경이 없을 수 있다. 문제는 빈칸을 채우면서 자신이 세운 가정을 사용자의 뜻처럼 다룰 때 생긴다. 문장이 매끄럽고 계획이 구체적이어도, 출발점이 어긋나면 정교하게 만든 결과가 쓸모없어질 수 있다.

그렇지만 모든 빈칸의 무게가 같지는 않다. 여행 일정표의 설명을 길게 쓸지 짧게 쓸지는 나중에 쉽게 바꿀 수 있다. 반면 이동 능력에 관한 가정이 틀리면 장소 선정부터 동선까지 다시 짜야 한다. 부모님과 여행한다는 말만으로 오래 걷기 어려운지 알 수는 없다. 이때 확인할 이유는 연령에 대한 추측이 아니라, 답에 따라 일정의 구조가 바뀐다는 데 있다.

따라서 질문의 필요성을 판단하려면 AI가 무엇을 모르는지만 볼 것이 아니라, 그 모름이 어디에 영향을 주는지 봐야 한다. 표현이나 형식을 조금 바꾸는 조건인지, 서로 다른 계획을 선택하게 하는 조건인지 구분해야 한다. 사용자의 답이 어느 쪽이든 같은 계획을 내놓을 것이라면, 그 질문은 결과를 위한 확인이라기보다 대화 절차에 가까울 수 있다.

질문하는 순서도 이 관계에서 생각할 수 있다. 여행의 이동 범위가 정해져야 방문할 장소를 고를 수 있다면, 먼저 이동 조건을 확인하는 편이 뒤의 선택을 정리하는 데 도움이 된다. 반대로 일정의 큰 틀도 없는 상태에서 사소한 취향부터 묻는다면, 사용자는 많은 답을 했는데도 여전히 출발점에 머물 수 있다. 중요한 것은 정보를 얼마나 많이 얻었는지가 아니라, 그 정보가 어떤 선택을 정하는 데 도움이 되는지다.

질문의 가치는 묻지 않았을 때와 비교해야 한다

답을 들으면 더 나은 결정을 할 수 있다는 설명은 직관적이다. 그러나 이를 AI에게 학습시키려면 더 구체적인 기준이 필요하다. 질문 뒤의 결과가 괜찮았다는 이유만으로 그 질문이 유용했다고 판단할 수는 없다. 질문하지 않아도 똑같이 좋은 결과를 낼 수 있었다면, 추가 정보를 받은 효과는 크지 않기 때문이다.

CLEAT 연구는 이 차이를 학습 대상으로 삼는다. 연구에서는 같은 과업의 같은 대화 시점을 출발점으로 삼아 AI가 일을 수행하는 두 경우를 비교한다. 한 경우에는 AI가 질문하고 답을 받은 뒤 과업을 이어 간다. 다른 경우에는 AI가 추가 질문 없이 그때까지 받은 정보로 과업을 이어 간다. 두 경우의 과업 결과 차이로 질문이 얼마나 보탬이 됐는지 추정한다. 여기서 질문의 가치는 얼마나 많은 정보를 얻었는지가 아니라, 현재 AI가 그냥 진행했을 때보다 결과를 얼마나 더 낫게 만드는지에 달려 있다.

두 진행 방식의 결과 차이로 질문의 쓸모와 답 활용을 함께 학습합니다.

앞의 여행 요청에 적용하면 의미가 분명해진다. AI가 묻지 않고도 여유로운 동선과 조정 가능한 대안을 잘 제시한다면, 추가 확인이 주는 이득은 제한적일 수 있다. 반면 이동에 관한 답을 듣고 장소를 가까운 곳으로 묶거나 휴식 시간을 늘려야 한다면, 질문은 계획을 개선할 여지가 있다. 같은 정보가 빠져 있어도 AI가 그냥 진행했을 때 어떤 결과를 내는지에 따라 확인의 가치가 달라지는 셈이다.

여기서 비교 기준은 이상적인 AI의 결과가 아니라 현재 AI의 결과다. 이미 받은 정보와 지금 할 수 있는 판단으로 어디까지 잘 진행할 수 있는지를 놓고, 질문이 그 위에 무엇을 더하는지 본다. 그래서 무조건 많이 묻는 방식도, 무조건 바로 답하는 방식도 목표가 되지 않는다. 질문은 더 나은 수행을 위한 수단으로 평가된다.

또 질문이 유용하다는 것은 그 답을 통해 불확실성을 모두 없앴다는 뜻도 아니다. 사용자의 이동 선호를 확인해도 날씨나 현지 상황까지 확정할 수는 없다. 다만 지금 고를 수 있는 일정 가운데 사용자의 목적에 더 가까운 것을 선택할 수 있다면 확인은 역할을 한 것이다. 완벽한 정보가 모일 때까지 멈추는 것과, 필요한 정보를 얻어 다음 결정을 개선하는 것은 다르다.

이 비교는 학습 과정에서 질문의 효과를 추정하는 방법이지, 이용자가 매번 같은 부탁을 두 번 해야 한다는 뜻은 아니다. 중요한 발상의 전환은 질문을 했다는 사실에 점수를 주는 대신, 그 질문이 없었다면 얻기 어려웠을 개선을 찾는 데 있다. “꼼꼼하게 확인했다”는 인상과 “확인 덕분에 일이 나아졌다”는 결과를 구분하는 것이다.

잘 묻는 능력과 답을 쓰는 능력은 함께 움직인다

질문을 정확히 골라도 답을 활용하지 못하면 이득이 사라진다. 사용자가 오래 걷기 어렵다고 말했는데 AI가 일정 소개에 “편안한 여행”이라는 표현만 덧붙이고 장소와 동선을 그대로 둔다면, 대화는 늘었지만 계획은 달라지지 않았다. 답을 기록하거나 다시 말하는 것과, 그 답 때문에 선택을 바꾸는 것은 다른 능력이다.

답을 반영한다는 것은 관련된 선택들을 함께 조정하는 일일 수 있다. 이동 거리를 줄이려면 방문지를 바꿔야 하고, 방문지를 바꾸면 식사 장소나 하루의 순서도 달라질 수 있다. 한 문장에 사용자의 조건을 넣는 것으로 끝나지 않는다. 그 조건이 계획의 어느 부분에 영향을 주는지 알아보고, 서로 맞물린 선택을 수정해야 한다.

CLEAT은 그래서 질문할 가치가 있는지 가리는 기능과 실제 과업을 수행하는 방식을 함께 학습한다. 같은 상호작용에서 나온 결과를 바탕으로, 한쪽은 어떤 확인이 도움이 될지 예측하고 다른 쪽은 유용한 질문을 고른 뒤 받은 답을 행동에 반영하도록 배운다. 질문을 잘하는 기능과 일을 잘하는 기능을 따로 개선하는 데 그치지 않고, 둘의 연결을 학습에 포함하는 설계다.

학습은 한 번 정한 질문 기준을 끝까지 적용하는 방식도 아니다. 질문의 가치를 판단하는 기능이 다음 학습에 쓸 실행 사례를 모으는 데 관여하고, 새로 학습한 AI의 수행 결과가 다시 질문의 가치를 판단할 자료가 된다. 수행 능력이 바뀌었으니 어떤 질문이 도움이 되는지도 다시 살펴보는 구조다.

이런 갱신이 필요한 이유는 같은 답을 받아도 AI가 활용할 수 있는 정도가 달라지기 때문이다. 이동 제약을 알아듣는 데 그쳤던 AI가 나중에는 장소와 교통편을 함께 조정할 수 있다면, 해당 질문의 이득이 커질 수 있다. 반대로 불완전한 정보만으로도 좋은 초안을 만드는 능력이 나아지면 어떤 질문은 예전보다 덜 필요해질 수 있다. 질문의 가치는 질문 문장 자체에 고정돼 있지 않다.

연구 초록은 별도의 질문 판단 기능을 실제 과업 수행 시점에 제거해도 공동 학습이 과업 수행 능력을 높였다고 보고한다. 변화하는 수행 방식에 맞춰 질문 지침을 조정하면 추가 이득도 있었다고 설명한다. 이는 질문을 다루는 학습의 효과가 외부에서 “지금 물어보라”고 지시하는 기능에만 머물지 않고, AI가 일을 수행하는 방식에도 남을 수 있음을 시사한다.

다만 능력이 좋아지면 사용자에게 물을 필요가 모두 사라지는 것은 아니다. 세계에 관한 지식이 늘어나는 것과 특정 사용자가 무엇을 원하는지 알아내는 것은 다르다. 교통편을 잘 아는 AI도 그 사람이 경치를 위해 먼 길을 감수할지, 이동을 줄이고 싶어 할지는 요청에 드러나지 않으면 확정할 수 없다. 질문을 줄일 수 있는 능력과 사용자의 선호를 대신 정할 권한은 구분해야 한다.

실험 성과를 서비스의 편리함으로 읽어서는 안 된다

연구진은 Qwen3-4B라는 언어 모델을 사용해 여러 벤치마크에서 이 접근을 평가하고 성능 개선을 보고했다. 벤치마크는 정해진 과제와 평가 방식으로 여러 접근을 비교하는 시험이다. 이 결과는 질문 선택과 답변 활용을 함께 학습하는 설계가 평가 환경에서 성과로 이어질 수 있다는 근거가 된다.

그러나 논문 초록만으로는 각 점수가 정확히 무엇을 측정했는지, 어떤 시도들이 집계에 포함되거나 제외됐는지, 비교 대상들이 어떤 조건에서 수행했는지를 충분히 확인할 수 없다. 따라서 성과 보고를 특정 서비스의 성공률이 얼마나 높아진다는 수치로 바꾸거나, 모든 요청에서 우수하다는 결론으로 넓힐 수는 없다.

특정 모델을 사용한 설정이라는 점도 중요하다. 다른 모델은 불완전한 요청을 처리하는 능력도, 답을 받은 뒤 계획을 수정하는 능력도 다를 수 있다. 이 연구 자체가 질문의 가치는 현재 AI의 수행 방식에 달려 있다고 설명한다. 그렇다면 한 설정에서 얻은 결과를 다른 제품에 그대로 옮기는 해석은 연구의 핵심 논리와도 맞지 않는다.

이 결과에서 가져갈 수 있는 것은 만능 질문 규칙보다 평가의 방향이다. 질문을 하는지와 결과를 잘 내는지를 별개로 보지 말고, 질문 때문에 무엇이 개선됐는지 연결해서 살펴볼 이유가 생겼다. 확인 질문을 추가하기만 하면 어떤 AI든 좋아진다는 주장보다 좁지만, 질문 기능을 실제 능력으로 평가하는 데는 더 유용한 기준이다.

중요한 갈림길은 확인하고, 고칠 수 있는 가정은 드러내라

이 관점을 일상에 적용할 때는 답이 계획을 바꾸는지, 잘못 짐작했을 때 영향이 큰지, AI가 답을 실제로 활용하는지를 함께 볼 수 있다. 이는 연구가 검증한 보편 규칙이 아니라 연구의 작동 관계에서 도출한 판단 틀이다. 이용자의 시간과 정보 제공 부담까지 고려하려면, 과업 결과만으로는 충분하지 않다.

먼저 답에 따라 선택이 갈라지는지 생각해 볼 수 있다. 업무 초안을 요청했을 때 “누가 읽을 문서인가”라는 질문은 근거 설명의 깊이와 표현 방식을 바꿀 수 있다. 반면 이미 분량을 명시했는데 길이를 다시 확인한다면, 그 질문이 새롭게 해결하는 문제가 무엇인지 불분명하다. 요청에 이미 있는 정보인지 살피는 일도 적절한 확인의 일부다.

다음으로 잘못 추측했을 때의 영향과 수정 가능성을 봐야 한다. 초안의 말투는 보고 나서 고칠 수 있지만, 그 초안을 누구에게 보낼지 잘못 짚으면 공개 범위가 달라질 수 있다. 여행 후보를 정리하는 일과 실제 예약을 진행하는 일도 같은 무게가 아니다. 결과를 되돌리기 어렵거나 중요한 선택이 걸려 있을수록, 해당 조건을 확인할 이유가 커진다.

영향이 작은 빈칸은 가정을 밝히고 진행하는 편이 유용할 수 있다. “예산이 정해지지 않아 우선 중간 가격대의 후보로 초안을 만들겠다”고 알리면 사용자는 결과를 본 뒤 수정할 수 있다. 가정을 드러내면 사용자가 어디를 고쳐야 하는지도 알기 쉽다. 다만 되돌리기 어려운 결정을 앞둔 상황에서 가정 표시만으로 확인을 대신할 수는 없다.

사용자가 아직 답을 모를 때도 있다. 여행을 얼마나 여유롭게 할지 처음부터 정해 놓지 않았을 수 있다. 이런 경우에는 추상적인 선호를 계속 묻기보다, 이동이 적은 안과 방문지가 많은 안을 보여 주고 선택하게 하는 방식도 생각할 수 있다. 이용자가 결과의 차이를 보고 자신의 의도를 구체화하도록 돕는 것이다. 확인의 목적은 정해진 문답을 끝내는 것이 아니라, 다음 선택에 필요한 뜻을 알아내는 데 있다.

답을 준 뒤에는 그것이 어디에 반영됐는지 봐야 한다. 새 제약 때문에 제외한 후보가 있는지, 순서를 바꿨는지, 설명의 대상과 깊이를 조정했는지가 중요하다. 사용자의 말을 그대로 되풀이하는 문장보다 결과물의 변화가 더 강한 단서다. 답변을 수집하는 데 능숙한 AI와 그 답변으로 일을 개선하는 AI를 이 지점에서 구분할 수 있다.

질문에도 비용이 든다. 대화 시간이 늘고, 사용자는 기억을 더듬거나 정보를 찾아야 하며, 때로는 사적인 사정을 제공해야 한다. 초록만으로는 실제 이용 환경에서 이런 시간·피로·정보 제공 부담이 평가에 반영됐는지 확인할 수 없다. 과업 점수가 높아지는 질문이라도 그 이득에 비해 이용자의 부담이 크다면 좋은 서비스 선택이라고 단정하기 어렵다.

그래서 제품을 판단할 때는 질문의 수를 줄였다는 설명만큼, 필요한 확인을 놓치지 않았는지도 봐야 한다. 질문이 적어도 숨긴 가정 때문에 여러 번 수정해야 한다면 편리하다고 보기 어렵다. 반대로 중요한 조건 하나를 확인해 큰 수정을 피했다면 짧은 멈춤이 도움이 될 수 있다. 한 번의 응답이 얼마나 빨랐는지와 원하는 결과에 도달하기까지 얼마나 수고했는지는 서로 다른 기준이다.

나쁜 결과의 원인을 구분하면 실력도 더 정확히 보인다

AI의 결과가 마음에 들지 않을 때 이 관점은 원인을 구분하는 데 도움이 된다. 사용자의 목표를 제대로 알았는데 수행을 못 했다면 실행 능력의 문제다. 중요한 조건을 묻지 않아 다른 목표를 향해 잘 수행했다면 의도 파악의 문제다. 필요한 답까지 받았는데 반영하지 못했다면 둘 사이의 연결이 문제다. 겉으로는 모두 나쁜 결과지만, 개선해야 할 능력은 서로 다르다.

앞으로 AI가 더 많은 일을 맡게 된다면, 완성한 결과만큼 확인 과정도 비교할 필요가 있다. 같은 과업을 얼마나 잘 끝냈는지뿐 아니라 어떤 정보를 요청했는지, 그 정보가 선택을 어떻게 바꿨는지, 이용자에게 어느 정도 부담을 줬는지를 함께 보여 주는 평가가 유용할 것이다. 질문을 전혀 하지 않는 제품과 꼼꼼하게 묻는 제품 가운데 어느 쪽이 낫다는 단순한 순위로는 이 차이를 설명하기 어렵다.

좋은 되묻기는 사용자가 AI 대신 모든 판단을 하게 만드는 절차가 아니다. AI가 현재 정보로 처리할 수 있는 부분은 맡고, 사용자만 결정할 수 있는 중요한 갈림길에서는 확인하는 방식이다. 결국 물어야 할 순간을 안다는 것은 모르는 것을 나열하는 능력이 아니라, 어떤 답이 다음 선택을 바꿀지 알아보고 그 답에 맞춰 움직이는 능력이다. 그 연결을 볼 때 질문은 대화의 길이가 아니라 AI의 실력이 된다.