ChatGPT와 오픈소스 AI

ChatGPT와 오픈소스 AI를 살펴보다 보면, AI 시장은 크게 폐쇄형과 오픈소스 진영으로 나뉘어 가고 있습니다.

현재 폐쇄형 진영의 선두주자로는 OpenAI와 MS가 있으며, 오픈소스 진영에는 개발자 커뮤니티, 유망한 AI 스타트업, 그리고 메타와 같은 일부 빅테크 기업들이 포함되어 있습니다. 특히, 오픈소스 진영은 OpenAI가 MS의 지원을 받아 오픈소스의 정신에서 멀어졌다고 보며, 이에 대항해 오픈소스 기반의 대안을 개발하고 연구 성과를 지속적으로 발표하고 있습니다.

오픈 소스 진영과 폐쇄형 진영의 동향

오픈소스 진영은 현재 두 가지 큰 목표를 가지고 다양한 시도를 하고 있습니다.

첫째는 연구자뿐만 아니라 비개발자를 포함한 모든 일반 사용자들을 대상으로 하며,
둘째는 AI 모델을 상업적인 제품으로 개발하려는 기업들입니다.

비개발자들까지도 ChatGPT와 같은 서비스를 통해 오픈소스 모델을 쉽게 사용할 수 있도록 하는 사례가 등장했으며, 기업들이 고비용의 대규모 GPU 클러스터를 이용해 모델을 수개월간 학습시킬 필요 없이 오픈소스 모델을 자유롭게 활용할 수 있는 상업용 라이선스를 제공하는 오픈소스 AI 모델 공개 사례도 증가하고 있습니다. 주요 소식들을 통해 오픈소스 AI의 연구 및 개발 동향과 폐쇄형 진영과의 경쟁 상황을 살펴보겠습니다.

오픈 소스 AI의 대표주자 Open Assistant

ChatGPT와 유사한 기능을 제공하는 다양한 오픈소스 대형 언어 모델(Large Language Model, LLM) 기반의 챗봇 사례 중에서 ‘Open Assistant’가 주목을 받았습니다. Open Assistant는 사용자가 웹사이트에 접속만으로도 별도의 설치 과정 없이 챗봇 서비스를 이용할 수 있도록 만든 점이 특징입니다. 최근 패키지화된 스크립트 덕분에 설치 과정이 대폭 간소화되었는데, Open Assistant는 이러한 설치 과정조차 필요 없이 웹 접속만으로 서비스를 제공합니다.

‘Open Assistant’는 대화형 인터페이스를 통해 이메일이나 디스코드 계정 등으로 로그인하여 사용할 수 있는 ChatGPT 스타일의 서비스입니다. 사용자는 우측 상단의 아이콘을 클릭하여 서비스의 파라미터 값을 조정할 수 있습니다.

지난 1월, 대규모 AI 비영리 조직 LAION과 여러 개발자들이 ChatGPT의 대안으로 ‘Open Assistant’ 프로젝트를 시작했습니다. 며칠 전에는 이 프로젝트를 서비스화하여 대중이 자유롭게 이용할 수 있는 챗봇 서비스를 론칭했습니다. 아직 개발 초기 단계이며 성능 개선이 필요한 상태이지만, 웹 인터페이스를 통해 사용자가 쉽게 접근할 수 있도록 한 점에서 큰 의미를 가지고 있습니다. Open Assistant의 모델은 Apache 2.0 라이선스를 기반으로 하여, 소스 코드의 복제, 수정, 업데이트가 가능하며 상업적 용도로도 활용할 수 있습니다. 또한 학습 데이터는 무료로 공개되어 있으며, 다양한 버전의 모델이 제공되어 로컬 디바이스에서도 실행이 가능합니다.

오픈 소스 : GPT-4 기반 실험들

GPT-4 기반의 오픈소스 실험들도 활발하게 진행되고 있습니다. 이 실험들은 기본 모델과 서비스 공개를 넘어서, ChatGPT 플러그인과 같은 기능 확장이 가능한 AI 프로젝트로서 많은 주목을 받고 있습니다. OpenAI의 GPT-4를 활용한 다양한 어플리케이션과 코드가 오픈소스로 공개되면서, 그 활용 가능성과 다양성에 대한 관심이 커지고 있습니다.

Auto-GPT

‘Auto-GPT’는 사용자가 수행할 수 있는 컴퓨터 작업을 대신 해주는 오픈소스 AI 챗봇으로, 최근 많은 이목을 끌고 있습니다. GPT-4를 기반으로 하며, ‘자율 반복(autonomous iterations)’ 기능을 사용해 사고 과정 중 발생하는 실수를 스스로 수정하고 결과물을 생성합니다. 이 기능을 통해, 사용자가 특정 목표를 설정하면 Auto-GPT는 세부적인 지시 없이도 스스로 태스크를 설정하고 원하는 결과물을 생성할 수 있습니다. 예를 들어, Auto-GPT는 구글 검색을 통해 웹사이트에 접근, 분석 후 사용자가 지정한 위치에 텍스트로 요약하여 내용을 정리할 수 있습니다.

Baby AGI

또 다른 주목할 만한 실험인 ‘Baby AGI’는 OpenAI의 GPT-4, LangChain 프레임워크, 그리고 클라우드 기반 벡터 데이터베이스 Pinecone을 결합한 파이썬 스크립트입니다. LangChain은 복잡한 응용 프로그램을 만드는 프로세스를 간소화하는 역할을 하고, Pinecone은 복잡한 데이터를 저장하는 역할을 합니다. Baby AGI는 이들을 결합해 복잡한 작업을 효율적으로 수행할 수 있는 새로운 에이전트를 생성합니다. 기본적으로 gpt-3.5-turbo 모델을 사용하며, OpenAI의 모든 모델 및 LLaMA와 호환됩니다.

Baby AGI 스크립트는 목적이 달성될 때까지 다음 단계를 무한 루프로 실행합니다: 첫 태스크를 선택, OpenAI의 NLP 기능을 이용해 태스크 수행, Pinecone을 통해 결과값 저장, 그리고 LangChain 프레임워크로 새로운 태스크 생성 및 우선 순위 지정. 이 태스크 관리 시스템은 반복 실행될 때 API 사용량이 많아질 수 있으므로 주의가 필요합니다.

StableLM-Alpha

상업적 용도로 사용 가능한 최신 오픈소스 대규모 언어 모델들도 주목받고 있습니다.

이미지 생성 모델 Stable Diffusion으로 잘 알려진 스타트업 Stability AI는 자신들의 새로운 거대 언어 모델 ‘StableLM-Alpha’를 오픈소스로 공개했습니다. 이 모델은 EleutherAI의 ‘The Pile’을 기반으로 하며, 1.5조 개의 토큰으로 구성된 대규모 데이터셋에서 학습되어 ‘The Pile’보다 약 세 배 큰 규모를 자랑합니다. Stability AI는 모델의 성능을 증명하기 위해 스탠포드 대학의 Alpaca, Nomic-AI의 gpt4all, RyokoAI의 ShareGPT52K datasets, Databricks labs의 Dolly, 그리고 Anthropic의 HH 등 최신 데이터셋 5종을 사용하여 파인튜닝을 진행했습니다. 이 모델은 현재 Huggingface 허브에서 호스팅되며, cc-by-sa-4.0 라이선스에 따라 상업적 용도로 사용이 가능합니다.

Dolly 2.0

데이터브릭스는 상업용 ChatGPT 스타일 AI 모델 ‘Dolly 2.0’을 오픈소스로 공개했습니다. 이 모델은 데이터브릭스 머신러닝 플랫폼에서 학습되었으며, 초기 모델인 Dolly 1.0의 성능을 향상시켜 출시되었습니다. Dolly 1.0은 스탠포드 대학의 Alpaca 모델 개발팀과 OpenAI API를 사용하여 구축된 데이터셋으로 학습되었습니다. 데이터브릭스는 OpenAI의 API에 의존하지 않고도 더 많은 사람들이 상업적 목적으로 거대 언어 모델을 활용할 수 있도록 EleutherAI의 Pythia 모델을 기반으로 Dolly 2.0을 개발했습니다. Dolly 2.0은 약 5,000명의 데이터브릭스 직원들의 크라우드소싱을 통해 RLHF 기법으로 파인튜닝되었습니다.

GPT4All-J

GPT4All-J는 로컬 컴퓨터에서 커스텀 LLM 챗봇을 실행할 수 있는 플랫폼으로, 최초 공개 시 스탠포드의 LLaMA 모델을 기반으로 했습니다. 하지만 LLaMA의 라이선스는 상업적 용도로의 사용을 금합니다. 이번 주에 GPT4All은 대규모 업데이트를 통해 상업적 용도로 사용할 수 있는 라이선스를 기반으로 한 새로운 접근 방식을 소개했습니다. 업데이트에서는 LLaMA 대신 EleutherAI의 오픈소스 언어 모델 GPT-J를 사용하여 모델을 파인튜닝했습니다. GPT-J는 Apache 2.0 라이선스를 기반으로 하여 상업적 용도로의 활용을 가능하게 하며, 설치 패키지 제공 및 사용자 인터페이스 개선을 통해 비개발자에게도 친화적인 사용성을 제공합니다.

주요 빅테크 기업 들의 동향

Meta

메타의 인공지능 연구 부서인 FAIR(Facebook Artificial Intelligence Research)는 AI 모델을 오픈소스로 공개하는 것으로 잘 알려져 있습니다. 지난 3월, 메타는 GPL-3 라이선스 하에 LLaMA라는 오픈소스 모델을 공개했으며, 이 모델은 연구자들 사이에서 빠르게 확산되었습니다. 그러나 이후 코드 유출 사건이 발생하기도 했습니다. LLaMA의 공개는 Alpaca, Vicuna와 같은 다양한 후속 오픈소스 모델의 등장을 촉진했고, 새로운 연구 개발의 기회를 제공했습니다.

또한, 메타는 2021년에 공개했던 ‘Animated Drawings’ 프로젝트의 코드를 오픈소스로 공개했습니다. 이 프로젝트는 낙서 이미지를 애니메이션으로 변환해주는 기능을 제공하는데, 이제 개발자들은 이 소스 코드를 사용하여 자신만의 Image-to-Animation 제품을 개발할 수 있게 되었습니다. 프로젝트 코드는 MIT 라이선스 아래 공개되어, 상업적 용도로도 자유롭게 사용할 수 있습니다. 이처럼 대규모 언어 모델부터 멀티모달 모델에 이르기까지, 메타의 AI 연구팀은 오픈소스 진영과 함께 성장하려는 목표를 분명히 하고 있습니다.

MS

한편, 마이크로소프트(MS)는 OpenAI와 협력하여 AI 학습용 자체 개발 반도체를 시험 중입니다. MS는 2019년부터 AI에 특화된 연산용 반도체를 개발해왔으며, 구글, 아마존, 메타 등 다른 주요 기업들도 인하우스 AI 칩을 개발하고 있습니다. MS는 AI 기술을 Bing, MS Office, GitHub 등 다양한 서비스에 접목하고 있으며, 자체 개발 칩 ‘아테네’를 통해 경쟁력을 강화하고 비용을 절감하려는 계획을 가지고 있습니다.

구글

구글이 최근에 다양한 멀티모달 입력을 조합하여 영상을 생성할 수 있는 ‘Dreamix’ 모델과 이미지 입력으로 마치 사람이 카메라로 촬영한 듯한 공간 탐색 영상을 만들어내는 ‘Zip-NeRF’를 공개하며, 멀티모달 미디어 생성 AI 분야에 집중하고 있습니다. 이러한 행보는 구글이 단순히 언어 모델 기반의 검색 서비스를 넘어 다양한 형태의 미디어 생성에 주목하고 있음을 보여줍니다.

구글이 이미지 및 영상 생성 AI를 공개하는 이유는 무엇일까요?

구글은 ChatGPT와 유사한 대규모 언어 모델 기반의 정보 서비스를 출시할 경우, 이는 자사의 핵심 비즈니스 모델인 검색 광고 모델에 도전하는 것과 마찬가지일 수 있습니다. 이에 구글은 자체 검색 광고 모델을 해치지 않는 범위 내에서 ‘Bard’와 같은 실험적인 대규모 언어 모델 기반 서비스와 함께 멀티모달 미디어 생성 AI 연구 결과들을 발표하고 있습니다.

구글의 CEO 순다르 피차이는 4월 초에 구글 검색 엔진에 새로운 AI 기능을 추가할 것임을 예고했습니다. 이는 구글이 자신들의 비즈니스 모델에 반하는 새로운 트렌드에 어떻게 대응할지에 대한 주목할 만한 신호입니다. 언어 모델을 넘어서, 구글이 소개한 이미지 및 영상 생성 AI 기술들이 향후 어떤 방식으로 활용될지, 예를 들어 유튜브 콘텐츠 제작 등에서 어떤 새로운 기회를 열어줄지 지켜보는 것이 중요합니다.

삼성전자

구글에 대한 도전도 이어지고 있습니다.

삼성전자는 자사 디바이스의 기본 검색 엔진을 구글에서 Bing으로 교체하는 것을 검토 중입니다. 이 소식이 전해지면서 구글의 모회사 알파벳의 주가는 급락했으며, 구글은 검색엔진에 새로운 AI 기능을 도입하기 위한 작업을 진행 중이라고 밝혔습니다. 삼성전자와의 협약에서 발생하는 수익이 연간 3억 달러에 달하는 만큼, 이번 변화는 구글에 큰 영향을 미칠 것으로 보입니다. 구글이 오랫동안 지배해온 검색 시장의 판도가 변화하고 있으며, AI 경쟁에서의 움직임에 대한 월가의 우려도 커지고 있습니다.

OpenAI의 신규 경쟁자 : AWS, 그리고 일론 머스크

아마존의 클라우드 서비스 부문인 AWS가 생성형 AI의 B2B 제품군을 출시하며 시장에 본격적으로 뛰어들었습니다. AWS는 사용자들이 AI21 Labs, Anthropic, Stability AI 및 Amazon 자체의 고성능 기반 모델(Foundation Model)을 활용하여 생성형 AI 애플리케이션을 개발할 수 있는 ‘Amazon Bedrock’ 서비스를 리미티드 프리뷰로 선보였습니다.

또한, 텍스트 처리와 벡터 임베딩을 위한 두 개의 새로운 대규모 언어 모델 ‘Amazon Titan’도 공개했습니다. 이 모델들은 광범위한 데이터셋을 기반으로 학습되어 다양한 용도로 활용될 수 있습니다. AWS는 또한 저비용으로 모델을 학습하고 인퍼런싱을 클라우드에서 수행할 수 있게 하는 ‘Amazon EC2 Trn1n’과 ‘Amazon EC2 Inf2’ 인스턴스들을 정식으로 출시했습니다. 마지막으로, AWS는 개인 개발자를 위해 AI 기반 코딩 어시스턴트 ‘Amazon CodeWhisperer’를 무료로 출시했으며, 이는 경쟁 제품인 Copilot에 대한 파격적인 대응으로 해석됩니다.

한편, 일론 머스크는 OpenAI와 경쟁하기 위한 ‘TruthGPT’ 출시 계획을 발표했습니다. 머스크는 약 한 달 전 미국 네바다 주에서 ‘X.AI Corp’라는 새로운 법인을 설립했으며, 이는 작년 Twitter 인수 당시 발표한 다양한 기능을 통합한 ‘X’라는 슈퍼앱 개발 계획의 연장선입니다. 그는 TruthGPT를 ‘진리를 추구하는 최대한의 AI’로 설명하며, 이 AI가 세상에 대한 깊은 이해를 바탕으로 인류에게 해를 끼치지 않는 방향으로 개발되길 원한다고 밝혔습니다.

머스크는 OpenAI에 반대하는 입장을 취하며 2018년 회사 이사회를 떠났고, 현재는 그들의 모델과 서비스에 대항할 AI를 개발하려고 합니다. AI 시장 진입이 다소 늦었다는 것을 인지하고 있음에도 불구하고, 머스크는 AI 전문가 영입과 대량의 GPU 구매를 통해 AI 모델 개발에 속도를 내고 있습니다.

결 론

최근 시장 동향을 살펴보면, 오픈소스 진영의 다양한 실험들이 단순히 탐색적인 단계를 넘어서 폐쇄형 진영과 경쟁할 만한 성능의 모델 및 서비스로 발전할 가능성이 높아 보입니다. 이는 오픈소스 AI 연구의 중요성이 점점 더 강조되는 상황에서, 투명한 오픈소스가 AI 연구 윤리에 필수적인 요소라는 주장과 맞닿아 있습니다.

예를 들어, GPT-4와 같은 대규모 언어 모델은 사용된 데이터의 출처가 불분명하여 연구 윤리에 위배될 가능성을 내포하고 있습니다. 반면, 오픈소스 모델은 모든 데이터와 프로세스에 대한 투명한 접근을 가능하게 하여, 보다 개방된 연구 개발 환경을 조성하는 데 기여합니다.

그러나 오픈소스 AI 연구가 지속가능하려면 극복해야 할 몇 가지 과제가 있습니다. 첫째, 오픈소스의 고도의 자유도는 특정 사상이나 정치적 편향성을 전파하거나 스팸 발송, 사기 등으로 악용될 수 있는 위험을 내포하고 있습니다. 둘째, AI 시장에서는 데이터 소유권 문제가 점점 더 중요해지고 있습니다. 예를 들어, 일론 머스크와 마이크로소프트의 데이터 사용을 둘러싼 분쟁이나 Reddit의 데이터 유료화 계획 등이 오픈소스 및 폐쇄형 진영 모두에게 큰 도전이 되고 있습니다.

오픈소스 진영의 흥미로운 도전은 기술의 대중화와 개방성을 통해 새로운 기회를 제공합니다. Open Assistant, AutoGPT, Baby AGI, GPT4All-J와 같은 프로젝트들은 더 넓은 접근성과 함께 상업적 사용을 허가하는 라이선스를 바탕으로 AI를 다양한 목적과 비즈니스에 적용할 수 있는 기회를 넓히고 있습니다. 이러한 오픈소스 프로젝트들이 GPT-4와 같은 대규모 모델과 동등한 성능을 발휘하지는 못할지라도, 일반 사용자와 기업이 비용과 고사양 하드웨어의 부담 없이 대규모 AI 모델을 활용할 수 있게 하는 점에서 큰 의미를 가진다고 볼 수 있습니다.