계산까지 혼자 하는 AI가 더 똑똑할까?

AI에게 계산이나 문제 풀이를 맡기면 답은 대개 문장으로 돌아온다. 설명이 자연스럽고 숫자도 자신 있게 제시되면, 질문을 이해한 일과 계산을 끝낸 일을 한꺼번에 잘했다고 느끼기 쉽다. 하지만 둘은 서로 다른 일이다. 말이 매끄럽다는 사실만으로 계산까지 정확하다고 볼 수 있을까?

문장에서 무엇을 해야 하는지 읽는 일과, 정해진 식을 계산하는 일은 별도로 생각할 수 있다. 대화형 AI가 설명을 맡고 계산 도구가 숫자 연산을 맡는다면, 한 모델의 처리 능력만이 아니라 둘을 이어주는 과정도 답의 품질에 영향을 준다.

질문을 이해하는 데 강한 AI가 꼭 계산을 정확히 한다는 보장은 없다. 반대로 계산 도구는 올바른 식을 받으면 정해진 규칙대로 값을 낼 수 있지만, 문장만 보고 어떤 식을 세워야 하는지는 스스로 판단하지 못할 수 있다. 그렇다면 AI의 실력을 한 모델이 모든 일을 직접 해내는 능력으로만 재야 할까? 아니면 잘하는 일을 골라 맡기고 결과를 이어 붙이는 능력도 중요할까?

문장을 이해하는 일과 계산은 다르다

언어 모델은 질문의 맥락에 맞는 문장을 만드는 데 강하다. 그러나 숫자 답이 꼭 필요한 문제에서, 모델이 계산기처럼 정해진 연산을 수행한다고 생각하면 곤란하다. 계산과 논리 추론 과정에서 그럴듯한 답을 내더라도 중간 단계나 숫자가 틀릴 수 있다. 말이 자연스럽다는 점과 답이 맞다는 점은 별도로 확인해야 한다.

계산 도구는 반대편의 장점을 가진다. 알맞은 식이나 입력을 받으면 빠르고 일관되게 결과를 낼 수 있다. 다만 식을 잘못 만들면 계산이 아무리 정확해도 답은 틀린다. 질문의 조건과 다른 식을 넘기면, 계산기는 그 잘못된 문제를 정확히 풀어줄 뿐이다.

그래서 일을 나누는 방식에는 두 단계가 있다. 먼저 질문의 뜻을 파악하고 어느 풀이 방식이 맞는지 골라야 한다. 그다음 해당 도구가 낸 결과를 빠뜨리거나 바꾸지 않고 최종 답에 담아야 한다. 계산에 쓸 입력을 만드는 과정과 나온 값을 설명하는 과정까지 이어져야 사용자의 질문에 답할 수 있다.

이 구분은 AI를 실제로 쓰는 사람에게도 중요하다. 수치가 정해진 계산을 물었을 때 답변의 말투만 보고 믿을 게 아니라, AI가 어떤 뜻으로 질문을 받아들였는지 살펴야 한다. 특히 문장에 조건이 여러 개 있거나 기준이 불분명하면, 계산 결과보다 먼저 어떤 조건을 식에 넣었는지가 답을 좌우할 수 있다.

정확한 계산도 조건을 대신 정해주지는 않는다

할인 뒤 배송비를 더하는 상황을 설명용으로 생각해보자. 물건값은 1만 원이고 물건에만 10% 할인이 적용된다. 배송비 3천 원은 별도다. 이 조건이라면 물건값에서 1천 원을 뺀 뒤 배송비를 더해 1만 2천 원이 된다. 그런데 전체 금액을 먼저 합친 뒤 10%를 빼면 1만 1,700원이 나온다. 두 계산은 각자 식에 맞게 수행됐어도 같은 질문에 대한 답은 아니다. 할인 대상이 무엇인지 읽는 단계에서 차이가 생겼다.

이런 경우 계산기 사용 여부만 확인해서는 오류를 찾기 어렵다. 계산기에 넘긴 숫자와 순서는 정확했을 수 있기 때문이다. 사용자가 확인할 것은 AI가 할인 범위를 어떻게 이해했는지다. 답을 더 길게 설명한다고 잘못된 조건이 저절로 바뀌지도 않는다. 오히려 틀린 조건으로 계산한 과정을 그럴듯하게 자세히 보여줄 수도 있다.

반대로 조건이 빠진 질문에는 계산을 시작하기 전에 확인할 일이 생긴다. “이 금액에 할인을 적용하면 얼마인가”라는 말만 있고 배송비가 포함되는지 정해지지 않았다면, 더 빠른 계산기가 그 빈칸을 채워주지는 않는다. 필요한 조건을 묻거나 가정한 범위를 밝혀야 한다. 여기서 AI가 잘해야 하는 일은 숫자를 많이 만들어내는 것이 아니라, 계산할 수 있게 정리된 문제와 아직 정해지지 않은 부분을 구분하는 것이다.

이 예시는 연구에서 실제 구매를 시험했다는 이야기가 아니다. 말의 조건을 이해하는 단계와 정해진 식을 계산하는 단계가 왜 구분되는지 보여주는 상황이다. 그런 구분을 해두면 계산 도구를 연결했다는 발표를 봐도 무엇이 개선됐고 무엇은 여전히 확인해야 하는지 알 수 있다.

작은 컴퓨터에서 문제 유형에 따라 풀이를 나눈 실험

이 차이를 시험한 최근 연구는 인터넷 연결 없이도 작동할 수 있는 작은 컴퓨터에서 진행됐다. 연구진은 작은 컴퓨터인 라즈베리 파이에서 소형 언어 모델과 정해진 풀이 도구를 함께 돌렸다. 산술·대수·논리 문제는 해당 계산 도구로 보내고, 문장으로 된 수학 문제는 언어 모델이 풀도록 구성했다.

핵심은 모델이 매번 모든 문제를 직접 풀게 하지 않은 데 있다. 질문의 유형을 먼저 판별한 뒤, 그 유형에 맞는 풀이 방식으로 넘겼다. 계산에 알맞은 문제는 계산 도구가 맡고, 문장의 뜻을 파악해 풀어야 하는 문제는 언어 모델이 맡는 식이다. 연구진은 이 분류 규칙을 학습해 사용했다.

연구진이 9월 24일 공개한 논문 원고는 평가용 문제의 유형을 올바르게 나누는 데 성공했다고 보고했다. 다만 문제 유형과 형식이 정해진 작은 시험이었다. 그 결과를 어떤 일상 질문이든 정확히 알아듣는 능력으로 읽어서는 안 된다.

질문을 잘 보냈다고 답까지 맞는 건 아니다

분류가 완벽했다는 결과만 보면 최종 답도 모두 맞았을 것 같지만, 둘은 다른 측정값이다. 연구진은 질문이 어느 유형인지 올바르게 나눴는지 따로 보고, 최종 답은 정답과 정확히 일치했는지로 계산했다. 질문을 알맞은 풀이 방식에 보냈어도 그 뒤의 문장 풀이가 틀리면 최종 답은 오답이다.

그 차이는 시험 결과에서 드러났다. 연구진은 학습에 쓰지 않은 문제 100개의 유형을 모두 올바르게 분류했다고 보고했다. 그런데 최종 답이 정답과 정확히 일치한 비율은 짧은 풀이 분량을 허용했을 때 78.0%, 더 긴 풀이를 허용했을 때 98.3%였다. 문제를 나누는 방식은 같아도 그 뒤의 답변이 달라진 것이다. 각 설정에서 같은 100개 문제를 세 번 실행했으므로 300회 시험이지만, 서로 다른 문제 300개를 푼 것은 아니다. 이 결과는 제한된 문제에서 분류 성공과 최종 답의 정확도를 따로 볼 근거가 된다.

연구진은 같은 풀이 도구를 언어 모델에 제공하고 모델이 질문마다 어떤 도구를 부를지 직접 고르게 한 방식도 비교했다. 시험에서는 먼저 질문을 분류하는 구성이 최종 답을 더 잘 맞혔다고 보고했다. 도구의 목록이 같아도 일을 보내는 방식에 따라 결과가 달라진 것이다. 비교 대상도 제한된 기기와 문제 집합이므로 모든 AI 서비스에서 같은 우열이 나온다고 말할 수는 없다.

정확도와 효율은 같은 조건에서 봐야 한다

이 연구에는 정확도뿐 아니라 속도와 에너지 사용량도 등장한다. 그러나 그 결과들을 한데 묶어 ‘빠르고, 정확하고, 전기도 덜 쓰는 방식’이라고 요약하면 조건을 놓치게 된다. 빠른 응답과 낮은 에너지 사용량은 짧은 생성을 허용한 설정에서 보고됐다. 더 높은 정확도를 보인 긴 생성 설정은 에너지 사용량도 더 컸다.

이 차이는 AI의 성능을 하나의 숫자로 말하기 어려운 이유를 보여 준다. 빠르게 답하는 것이 중요한 상황과, 답을 더 충분히 검토하는 것이 중요한 상황은 다를 수 있다. 이 연구의 결과만으로 둘 중 어느 설정이 모든 사용자에게 더 낫다고 정할 수는 없다. 더구나 측정은 라즈베리 파이 한 대에서 이뤄졌다. 여기서 보고한 에너지 차이를 스마트폰 배터리 사용 시간이나 실제 제품의 전력 절감 효과로 바꿔 말할 근거는 없다.

모델의 크기만으로 실력을 말하기 어려운 이유

작은 기기에는 쓸 수 있는 메모리와 처리 능력이 제한돼 있다. 그 안에서 언어 모델을 더 오래 돌릴지, 정해진 풀이 도구로 일을 넘길지는 실제 설계의 선택이다. 이번 연구가 택한 것은 모든 문제에 긴 문장 생성을 거치는 대신, 형식이 뚜렷한 문제를 먼저 골라 계산 도구로 보내는 방식이다. 같은 질문에 누가 답하느냐를 바꾼 것이므로 언어 모델 자체가 더 큰 모델이 됐다는 이야기는 아니다.

예를 들어 숫자로 주어진 곱셈을 처리하는 상황에서는 문장을 길게 생성할 필요가 없다. 반면 글로 설명된 문제에서는 무엇을 묻는지 이해하고 필요한 식을 정하는 일이 남는다. 두 상황에 같은 처리 과정을 강제하면 이미 정해진 계산에도 모델이 답을 만드는 비용을 들일 수 있다. 먼저 구분하는 설계는 그 비용을 줄이려는 것이다. 물론 무엇이 형식이 뚜렷한 문제인지 잘못 판별하면 다른 풀이로 보내는 오류가 생긴다.

따라서 이 사례에서 얻을 통찰은 작은 모델이 큰 모델을 전부 대체했다는 주장보다 구체적이다. 눈앞의 답은 모델 하나의 능력뿐 아니라 일을 나누는 설계에서도 나온다. 더 큰 모델을 고르는 선택과 불필요한 생성 과정을 줄이는 선택은 서로 다른 개선이다. 어느 쪽의 효과가 큰지는 실제 질문의 종류와 처리 조건을 함께 봐야 한다. 정해진 계산이 많은 시험에서 잘 작동한 구성이 자유로운 대화가 많은 환경에서도 같은 효율을 낼 것이라고 미리 정할 수는 없다.

이 결과를 일상에서 어디까지 믿을 수 있을까

이 실험이 직접 다룬 것은 한 종류의 작은 기기와 소형 언어 모델, 그리고 유형이 나뉜 수학·논리 문제다. 사람의 말이 애매하거나 여러 조건이 뒤섞인 일상 질문, 한국어 대화, 상용 AI 앱에서도 같은 성능을 낸다는 점은 확인하지 않았다. 실제 사용에서 자주 나오는 질문은 계산과 해석이 한 문장 안에 함께 들어가기도 한다. 이때 무엇을 계산할지 정하는 일 자체가 쉽지 않을 수 있다.

또한 기기 안에서 모델과 계산 도구를 실행했다는 사실만으로 개인정보 보호 효과가 입증되는 것도 아니다. 이번 실험은 개인정보가 외부로 전송됐는지, 실제 이용자의 배터리가 얼마나 오래 가는지를 비교하지 않았다. 오프라인 작동을 염두에 둔 구성은 그런 가능성을 시험하기 위한 출발점이지만, 가능성과 측정된 효과는 구분해야 한다.

그렇다고 이 연구가 쓸모없는 것은 아니다. 한 모델이 모든 문제를 직접 처리해야만 AI가 유능하다는 생각을 점검할 근거는 제공한다. 정해진 답을 계산하는 일과 자연어의 뜻을 파악하는 일이 다르다면, 그 일을 잘하는 도구에 나눠 맡기는 편이 더 나을 수 있다. 다만 역할을 나누는 구조가 제대로 작동하려면 질문을 올바르게 읽고, 적절한 풀이 방식에 보내고, 그 결과를 정확히 답에 담아야 한다.

도구 사용 여부보다 전체 과정을 보자

AI가 계산기를 썼는지, 모델이 답을 직접 만들었는지는 신뢰를 가늠하는 단서가 될 수 있다. 하지만 그것만으로는 부족하다. 질문을 잘못 해석하면 정확한 계산 도구도 엉뚱한 값을 내고, 도구 선택이 맞아도 문장 풀이가 틀리면 최종 답은 오답이다. 신뢰성은 질문 이해에서 결과 제시까지 이어지는 과정 전체에 달려 있다.

그래서 수치 답변을 확인할 때는 결과만 볼 게 아니라 어떤 식과 조건을 사용했는지도 따져야 한다. 예를 들어 AI가 계산식을 함께 보여 주면 질문을 어떻게 이해했는지 확인할 수 있다. 계산 결과는 맞더라도 적용한 기준이 잘못됐다면, 내가 원하는 답과는 다를 수 있다. 중요한 것은 도구 이름을 들었는지가 아니라 도구에 넘긴 문제가 내가 묻고 싶었던 문제와 같은지다.

AI 서비스의 성능을 소개하는 숫자도 같은 기준으로 읽을 수 있다. 질문을 잘 분류한 비율과 최종 답을 맞힌 비율은 다르다. 정확도와 속도, 에너지 사용량은 어떤 조건에서 측정했는지 함께 살펴야 한다. 한 실험에서 분류가 완벽했다는 결과를 곧바로 일상 질문 전반의 신뢰성으로 넓히지 않는 태도가 필요하다.

AI의 똑똑함은 하나의 모델이 모든 계산을 혼자 해내는 데서만 나오지 않는다. 서로 다른 일을 나누고 필요한 도구를 고르는 설계도 실력을 높일 수 있다. 다만 이번 연구가 보여 준 것은 그 가능성을 제한된 문제에서 시험한 결과다. 앞으로 AI의 답을 판단할 때는 ‘도구를 썼는가’에서 한 걸음 더 나아가, 질문을 제대로 이해하고 알맞은 방법에 넘긴 뒤 최종 결과까지 정확히 전달했는지를 봐야 한다.