Revolut의 AI 코딩 비용 90% 절감, 모델을 직접 운영해서만 가능했을까?

·
#AI 코딩#자체 호스팅#AI 비용#GPU#개발 생산성

엔지니어가 AI 코딩 도구를 쓸 때 회사가 내는 돈은 얼마나 될까. 한 달 구독료만 보면 간단한 질문 같지만, 실제 사용이 늘어나면 계산은 복잡해진다. AI에게 짧은 코드를 한 번 물어볼 수도 있고, 긴 프로그램과 오류 기록을 함께 읽힌 뒤 여러 차례 수정안을 요청할 수도 있기 때문이다. 같은 한 사람의 사용이라도 요청의 크기와 횟수에 따라 비용이 크게 달라질 수 있다.

영국 핀테크 기업 Revolut의 사례는 이 부담을 어떻게 다르게 다룰 수 있는지 보여준다. 2026년 11월 3일 더 레지스터 보도에 따르면 Revolut은 외부 상용 서비스에 주로 의존하는 대신 자체 호스팅 모델을 기본으로 삼아, 1년이 채 안 되는 기간에 AI 코딩 추론 비용을 대략 90% 줄였다. 자체 호스팅이란 외부 서비스의 완성된 답변을 사는 대신, 회사가 확보한 컴퓨터 자원에서 모델을 실행하고 이용자에게 제공하는 방식이다.

눈여겨볼 말은 ‘추론 비용’이다. 추론은 이미 만들어진 AI 모델이 사용자의 입력을 처리해 답변을 생성하는 과정이다. 따라서 보도의 90%는 모델을 이용해 답을 얻는 비용에 관한 수치다. 회사의 전체 AI 도입비가 90% 줄었다는 말도, AI가 개발자의 일을 90% 빠르게 해줬다는 말도 아니다. 기사에는 모든 장비와 운영 인력의 비용을 포함한 총비용 산식이 공개돼 있지 않다.

그렇다고 이 사례를 단순한 가격표 비교로 축소할 수도 없다. Revolut은 모델을 실행할 대규모 장비를 마련하고, 개발자가 기다릴 만한 속도를 맞추고, 작업에 따라 다른 모델을 쓰도록 했다. 그리고 사용량을 아껴야 했던 때와는 다른 방식으로 AI를 업무에 투입했다. 숫자 뒤에 있는 변화는 모델 가격 하나보다 넓다.

100만 토큰당 가격이 보여주는 것

AI 서비스에서 사용량을 셀 때 자주 등장하는 단위가 토큰이다. 모델이 읽거나 생성하는 글을 나눈 조각이라고 생각하면 된다. 사용자가 입력한 질문과 함께 보낸 코드도 토큰으로 계산되고, 모델이 내놓은 답변도 토큰으로 계산된다. 긴 코드와 과거 대화, 오류 메시지를 통째로 보내면 짧은 질문보다 더 많은 입력 토큰을 쓸 수 있다.

기사에 따르면 Revolut이 자체 호스팅한 GLM 5.1의 비용은 입력·출력 토큰 100만 개당 0.30달러였다. 보도는 이를 OpenAI의 Codex나 Anthropic의 Claude Code를 이용하는 비용의 약 10분의 1로 비교했다. 이 단가는 Revolut 사례에서 관찰된 비교이지, 누구나 같은 모델을 설치하면 적용받는 가격표는 아니다. 기사에 비교 대상 서비스의 상세한 이용 조건과 자체 운영비 산식이 모두 제시된 것도 아니다.

외부 서비스를 이용하면 모델을 실행하는 데 필요한 설비를 이용자가 직접 관리하지 않아도 된다. 대신 계약 방식에 따라 구독료나 사용량에 연동된 비용을 낸다. 직접 운영하면 외부 서비스에 요청할 때마다 지불하는 비용을 줄일 여지가 생긴다. 그러나 계산이 사라지는 것은 아니다. 모델을 돌리는 장비와 그것을 운영하는 부담이 회사 쪽으로 옮겨온다.

그래서 토큰 한 개를 처리하는 데 드는 비용과 회사가 한 해 동안 쓰는 총액은 구분해야 한다. 토큰 단가가 내려가도 사용량이 늘면 총지출은 단가 하락만큼 내려가지 않을 수 있다. 반대로 총지출이 크게 줄지 않더라도 같은 예산으로 더 많은 일을 맡길 수 있다면 회사가 얻는 가치는 달라질 수 있다. Revolut이 보고한 절감 수치만으로는 그 모든 결과를 계산할 수 없다.

저렴한 호출 뒤에는 큰 컴퓨터가 있다

Revolut이 처음 자체 호스팅한 GLM 5.1은 가벼운 모델이 아니었다. 기사에 따르면 모델이 학습을 통해 갖게 된 수치인 가중치를 저장하는 데만 약 380GB의 GPU 메모리가 필요하다. GPU는 원래 그래픽 처리에 쓰였지만, 대량의 계산을 병렬로 수행할 수 있어 대형 AI 모델을 실행하는 데도 널리 쓰이는 반도체다. 여기에 사용자의 대화와 작업 내용을 유지하기 위한 메모리가 정밀도에 따라 사용자당 약 6–26GB 더 필요하다고 기사는 설명한다.

이 수치는 왜 ‘모델을 내려받아 직접 실행한다’는 말이 장비 한 대를 켜는 일과 다를 수 있는지 보여준다. 모델이 답을 만들 때마다 전체 부분을 똑같이 사용하는 것은 아니더라도, 큰 모델을 이용자에게 제공하려면 가중치를 저장하고 요청을 처리할 자원이 필요하다. 여러 사람이 동시에 긴 코드를 보내면 사용자별 작업 내용을 유지할 공간도 고려해야 한다.

Revolut은 이후 GLM 5.3으로 옮겨 갔고, 이를 대규모로 서비스하기 위해 엔비디아 B200 GPU 56개를 사용했다고 기사에 나왔다. 앞서 소개한 380GB는 GLM 5.1의 가중치에 관한 설명이고, 56개 GPU는 GLM 5.3의 운영 사례다. 두 숫자를 합쳐 이 모델을 운영하는 데 반드시 필요한 최소 장비를 계산할 수는 없다. 모든 자체 호스팅이 이런 규모여야 한다는 뜻도 아니다.

중요한 것은 선택의 방향이다. 상용 서비스의 청구서를 줄이는 대신 회사가 처리해야 할 일이 생긴다. 장비를 확보하고 계속 작동시키는 비용, 이를 관리할 사람, 전력과 운영 환경 등을 살펴야 한다. 기사는 Revolut의 각 항목에 얼마가 들었는지 밝히지 않는다. 따라서 56개 GPU를 근거로 총비용을 역산하거나, 자체 호스팅이 결국 더 쌌다고 일반화할 수는 없다.

특히 사용량이 적거나 일정하지 않은 조직이라면 설비를 충분히 활용하지 못할 가능성도 판단해야 한다. 반면 많은 사람이 계속 사용한다면 운영 부담을 감수하면서도 자체 설비를 활용할 여지가 커질 수 있다. 어느 쪽이 유리한지는 실제 계약과 장비 비용, 사용량에 달려 있다. Revolut의 약 2,000명 규모를 자신의 조직에 그대로 대입해서는 답이 나오지 않는다.

빠른 답변도 운영 비용의 일부다

장비를 갖추는 것만으로 개발자가 만족하는 도구가 자동으로 만들어지는 것도 아니다. AI가 정확한 답을 내놓더라도 첫 반응까지 너무 오래 걸리면, 개발자는 기다리는 대신 다른 방법을 찾거나 사용 자체를 줄일 수 있다. 반대로 대기 시간을 짧게 만들려고 자원을 넉넉하게 배치하면 운영 부담이 커질 수 있다. 단가와 속도를 따로 결정하기 어려운 이유다.

기사에 인용된 Revolut의 운영·인프라 책임자 데이비드 아비톨은 가장 큰 성능 개선이 GPU를 더하는 일보다 모델과 제공 방식을 조정하는 데서 나왔다고 설명했다. 예를 들어 모델의 숫자를 더 적은 공간으로 표현하는 양자화를 적용하고, 입력을 먼저 읽는 단계와 답변을 생성하는 단계를 나눠 처리했다. 긴 자료를 한꺼번에 읽힐 수 있는 범위도 조정했다. 기술 항목 자체보다 중요한 것은, 같은 장비라도 요청을 어떤 방식으로 처리하느냐에 따라 이용자가 체감하는 속도가 달라진다는 점이다.

긴 입력 범위는 클수록 좋아 보이지만 그만큼 처리할 자료와 유지할 정보도 늘어난다. 아비톨은 100만 토큰을 담을 수 있다고 해서 그 크기가 반드시 유용하거나 효율적인 것은 아니라고 주장했다. Revolut의 엔지니어에게는 약 25만 6천 토큰 정도가 적절하다는 설명이었다. 이는 다른 회사의 업무에도 같은 길이가 정답이라는 뜻이 아니다. 전체 코드나 방대한 자료를 한 번에 읽혀야 하는지, 더 작은 단위로 나눠도 되는지에 따라 필요한 범위가 달라진다.

아비톨은 이런 최적화 뒤 약 25만 6천 토큰의 입력 범위에서 첫 토큰이 나오기까지 3초 미만, 생성 속도는 초당 약 200토큰을 달성했다고 말했다. 그는 이를 자사 엔지니어들이 상호작용하기에 적절한 수준으로 제시했다. 첫 반응이 5초를 넘으면 불만이 들어온다는 경험도 전했다.

이 수치 역시 회사가 제시한 운영 조건으로 읽어야 한다. 모든 상황에서 항상 같은 속도가 나온다거나, 다른 조직에도 같은 속도면 충분하다는 검증은 아니다. 다만 개발자가 체감하는 비용에는 청구서뿐 아니라 기다리는 시간도 들어간다는 점은 분명하다. 값싼 모델을 띄웠더라도 답변이 너무 늦어 쓰이지 않는다면 토큰당 가격만 낮춘 셈이 된다.

사용량 제한이 풀리면 맡기는 일도 달라진다

Revolut이 자체 호스팅을 검토한 출발점에는 사용료에 대한 걱정이 있었다. 아비톨은 일부 엔지니어가 한 달에 1,000달러, 심지어 1만 달러를 쓰는 상황을 보면서 투자 대비 효과에 회의적이었다고 말했다. 회사는 AI 도구를 도입할 때 엄격한 예산 한도를 뒀고, 그 결과 엔지니어가 사용할 수 있는 토큰도 제한됐다.

한도가 있으면 개발자는 AI가 가장 어려운 문제에만 쓰일 수 있도록 사용량을 아끼게 된다. 예를 들어 오류 메시지를 여러 번 대조하거나 긴 작업 내용을 함께 읽혀야 하는 일은 시도 자체를 망설일 수 있다. 요청 하나에 드는 돈만의 문제가 아니다. 이번 달에 얼마나 남았는지 신경 써야 한다면, AI에게 맡길 만한 일의 범위도 좁아진다.

아비톨은 토큰이 저렴해진 뒤에는 개발자가 분기 말이나 가장 어려운 과제를 위해 사용량을 남겨둘 필요가 없어졌다고 설명했다. 그가 특히 큰 효과가 있었다고 꼽은 것은 코드 작성 자체보다 디버깅, 즉 오류를 찾아 고치는 일과 Jira·Confluence에 기록된 업무 티켓 처리였다. 개발 업무에는 새 코드를 입력하는 시간 외에도 문제 상황을 파악하고, 남겨진 요청과 기록을 읽고, 다음 조치를 정하는 일이 섞여 있다. 그런 작업까지 AI를 활용할 수 있게 됐다는 것이 회사 측 설명이다.

작동 방식에도 변화가 있었다. 아비톨은 엔지니어들이 AI가 생성하는 내용을 계속 지켜보기보다 여러 작업을 병렬로 실행하고 완료됐을 때 확인한다고 말했다. 이 경우 모든 글자가 나오는 속도를 무조건 높이는 것보다, 첫 반응이 빠르고 작업이 실용적인 시간 안에 끝나는지가 중요해질 수 있다. 비용을 낮춘 선택이 실제 업무에 의미가 있으려면 이런 사용 방식과도 맞아야 한다.

다만 사용이 편해졌다는 설명과 생산성 수치는 구분해야 한다. 아비톨은 약 2,000명의 엔지니어에게 AI 코딩 도구를 도입한 뒤 회사가 코딩 시간에서 60%, 리드 타임에서 70% 개선을 경험했다고 발표했다. 리드 타임은 일이 시작돼 완료되기까지 걸리는 시간을 가리킨다. 기사는 이 지표의 상세한 측정 방법이나 비교 조건을 제시하지 않는다. 무엇보다 이 수치는 AI 도구 도입 뒤 회사가 보고한 결과이지, 자체 호스팅 전환만으로 얻은 효과라고 확인된 수치가 아니다.

한 모델로 다 바꾼 것도 아니다

Revolut의 선택은 ‘외부 모델을 버리고 자체 모델 하나로 모든 일을 처리한다’는 방식도 아니었다. 기사에 따르면 회사는 코드 생성에 GLM을 사용하면서, 시각 정보가 필요한 요청은 Gemini나 다른 모델로 보내는 분배 장치를 뒀다. 텍스트 전용인 GLM이 화면을 보고 판단해야 하는 사용자 인터페이스 작업에 적합하지 않기 때문이다. GPT나 Claude도 완전히 대체된 것은 아니었다.

이 구분은 비용 비교에 중요하다. 어떤 회사가 코드 생성 요청 대부분을 자체 모델로 처리하더라도, 그림이나 화면을 이해해야 하는 작업까지 같은 모델로 처리할 수 있는지는 별개의 문제다. 외부 모델을 계속 쓰면 그 비용도 남는다. 반대로 모든 요청을 가장 비싼 외부 모델에 보낼 필요가 없다면, 각 모델이 잘하는 일에 맞춰 나누는 방식이 가능하다. 어느 정도를 나눌 수 있는지는 회사의 실제 업무에 달려 있으며, 기사에는 Revolut의 모델별 사용 비중이 나와 있지 않다.

따라서 자체 호스팅을 검토하는 조직이 먼저 확인할 것은 ‘남들이 몇 퍼센트를 아꼈는가’보다 ‘우리가 무엇을 비교하는가’다. 현재 비용이 정액 구독료인지 사용량에 따른 요금인지, 제한 때문에 하지 못하는 작업이 있는지부터 살펴야 한다. 그다음 직접 운영할 때 필요한 장비와 인력, 개발자가 기다릴 수 있는 응답 시간, 외부 모델에 계속 맡겨야 하는 작업을 함께 계산해야 한다.

Revolut 사례에서 저렴한 토큰은 단순히 청구서의 숫자를 바꾸는 데 그치지 않았다. 회사 측 설명대로라면 사용 제한을 덜 의식하게 하면서 오류 수정과 업무 기록 처리까지 AI를 활용할 여지를 넓혔다. 하지만 그 여지는 대형 인프라를 운영하고 속도를 조정한 조건 위에 있었다. 자체 호스팅의 질문은 결국 ‘모델이 더 싼가’가 아니라, 필요한 일을 필요한 속도로 처리하면서 그 운영 부담까지 감당할 때 우리 조직의 계산이 맞는가에 가깝다.