AI가 찾은 논문이 연구의 실마리가 되려면

연구를 시작할 때는 해결하고 싶은 문제가 있어도, 어떤 이전 연구가 그 문제를 다루는 데 도움이 될지는 아직 분명하지 않을 수 있다. 이럴 때 AI 검색은 질문에 가까운 논문을 모아 출발점을 마련해 준다. 그러나 검색 결과가 많고 제목이나 초록이 익숙한 표현으로 채워져 있다고 해서, 연구자가 놓치고 있던 접근까지 찾아냈다고 볼 수는 없다.

선행연구 검색에는 서로 다른 판단이 이어진다. 먼저 현재 질문과 관련된 자료를 찾고, 그다음 각 자료에서 무엇을 가져올 수 있는지 따진다. 첫 단계에서는 주제나 용어가 비슷한지가 유용한 단서다. 다음 단계에서는 다른 분야의 방법이 옮겨올 수 있는지, 기존 설명의 어떤 한계가 새로운 질문을 만드는지처럼 논문 사이의 관계를 살펴야 한다. 검색 결과를 평가할 때 이 두 판단을 한데 묶으면, 자료를 많이 찾은 성과를 연구의 실마리를 발견한 성과로 오해하기 쉽다.

검색은 질문에 들어 있는 단서를 따라간다

일반적인 문헌 검색은 질문에 쓰인 단어가 겹치는 글을 찾거나, 표현은 달라도 뜻이 가까운 글을 위에 놓는다. 주제가 이미 정해져 있고 관련 용어를 알고 있을 때는 효과적인 방식이다. 어떤 분야에서 무엇이 연구됐는지 훑고, 익숙한 방법과 결과를 비교할 수 있다. 하지만 연구 초기에는 무엇을 검색어로 삼아야 할지부터 불확실하다. 아직 이름 붙이지 못한 문제의 연결고리를 검색어에 넣을 수는 없기 때문이다.

이런 연결은 검색어에 드러나 있지 않을 수 있다. 질문을 조금 고쳐 검색하면 비슷한 표현의 자료를 더 찾을 수는 있지만, 어떤 다른 분야의 생각을 가져와야 하는지까지 자동으로 알려주는 것은 아니다. 이번 연구가 살펴본 핵심도 논문이 질문과 관련 있는지에 그치지 않는다. 초기 연구 질문을 놓고, 어떤 이전 논문이 해당 연구에 기여했거나 기여할 가능성이 있었는지를 찾는 능력이다.

연구자에게 도움이 된 논문을 물었다

이 차이를 시험하기 위해 연구진은 컴퓨터과학 분야 논문 207편을 이끈 주저자 184명에게 프로젝트 초기의 연구 질문을 확인하게 하고, 어떤 이전 논문이 연구에 기여했거나 기여할 수 있었는지 표시하도록 했다. 연구자들은 그 판단의 근거도 설명했다. 프로젝트에 실제로 도움을 준 논문뿐 아니라, 당시 접하지 않았더라도 도움이 됐을 수 있는 논문도 평가 대상이었다. 연구 논문은 2026년 10월 1일 공개됐다.

이 자료는 완성된 논문의 참고문헌만으로 유용한 선행연구를 추정하는 방식과 다르다. 참고문헌은 실제로 인용한 자료를 보여주지만, 연구자가 어떤 아이디어를 중요하게 여겼는지, 또 어떤 자료가 다른 방향을 열어줄 수 있었는지까지 모두 드러내지는 않는다. 프로젝트를 직접 이끈 연구자에게 초기 질문과 후보 논문을 함께 보이고 판단을 물으면, 공개된 논문만으로는 알기 어려운 연구 과정의 일부를 평가에 담을 수 있다.

전체 자료에는 연구자들이 검토한 질문 894개와 약 19만 1천 편의 논문이 포함됐다. 검색 대상은 각 프로젝트가 시작될 때 이용할 수 있었던 문헌으로 제한했다. 훗날 나온 논문을 마치 당시에도 검색할 수 있었던 것처럼 다루지 않기 위해서다. AI는 초기 질문을 입력받아 그 시점에 존재하던 자료 가운데 연구자들이 유용하다고 판단한 논문을 찾아야 했다.

이 평가에서 연구자들의 판단은 중요한 기준이지만, 그 자체가 실험실에서 검증된 객관적 정답은 아니다. 연구자는 자신의 프로젝트를 잘 알지만, 프로젝트를 마친 뒤 과거를 돌아보며 평가했다. 어떤 논문이 당시 실제로 읽혔다면 연구 결과가 달라졌을지까지 이 자료만으로 확인할 수는 없다. 이 점은 결과를 해석할 때 기억해야 할 조건이다. 다만 연구자가 직접 평가한 덕분에, 단순히 주제가 비슷하거나 참고문헌에 등장했다는 이유만으로 ‘도움이 된 논문’이라고 간주하는 평가와는 다른 질문을 던질 수 있다.

검색을 되풀이해도 유용한 논문은 더 늘지 않았다

연구진은 질문의 의미와 가까운 논문을 순서대로 제시하는 검색 방식과, 질문을 바꿔가며 검색을 반복하는 AI 에이전트를 비교했다. 상위 20편을 살펴봤을 때 의미가 가까운 문헌을 찾는 방식은 연구자들이 유용하다고 표시한 논문의 48%를 찾아냈다. 에이전트는 42%를 찾았다. 이 비율은 상위 20편 중 몇 편이 유용했는지를 뜻하는 정답률이 아니다. 연구자들이 유용하다고 표시한 논문 중 몇 퍼센트가 검색 결과의 상위 20편에 들어왔는지를 나타낸다.

에이전트는 검색어를 달리 만들어 여러 번 검색하고, 나온 결과를 바탕으로 다시 질문할 수 있다. 그런데 이번 평가에서 에이전트가 논문을 찾을 때마다 사용한 것도 의미가 가까운 문헌을 골라주는 같은 검색 도구였다. 질문을 바꾸는 과정은 있었지만, 매번 그 도구가 정한 후보들 안에서 자료를 찾았다. 따라서 검색을 반복하는 것만으로는 기본 검색보다 유용한 논문을 더 잘 골라내지 못했다. 수치만으로 모든 반복 검색이 효과 없다고 결론 내릴 수는 없지만, 적어도 이 에이전트와 검색 도구의 조합에서는 성과 향상이 확인되지 않았다.

연구진의 비교에서, 도움이 된 논문과 주제만 관련된 논문은 검색 질문과 얼마나 닮았는지만으로 잘 구분되지 않았다. 이는 주제 유사성이 논문을 찾는 데는 쓰여도, 그 논문이 연구에 어떤 기여를 할지 가려내는 데는 약한 신호일 수 있음을 보여준다. 검색어를 바꾸면 표현의 차이를 보완할 수 있지만, 검색 도구가 계속 비슷한 문헌을 우선한다면 질문과 멀리 떨어진 아이디어의 연결을 찾아내기는 어렵다. 연구진이 비교한 결과는 이런 한계를 보여주지만, 다른 검색 구조까지 시험한 결과는 아니다.

점수가 측정한 것과 연구자가 판단할 것

상위 20편에서 유용하다고 표시된 논문을 얼마나 찾아냈는지는 검색 결과를 평가하는 점수다. AI가 논문을 읽고 핵심 생각을 제대로 이해했는지, 그 생각이 독창적인지, 실제 연구 성과를 바꿀지는 이 점수로 알 수 없다. 평가에 참여한 연구자들의 표시를 기준으로 후보 논문을 결과 목록의 앞쪽에 올리는 능력을 측정한 것이다. 따라서 결과의 의미를 정확히 읽으려면 ‘AI가 아이디어를 냈다’고 말하기보다 ‘표시된 선행 논문을 상위 20편에서 얼마나 회수했는가’고 표현해야 한다.

AI가 추천한 논문을 연구에 활용할 때는 현재 문제와 연결되는 생각이 무엇인지, 그 생각이 어떤 조건에서 유효했는지, 현재 연구에는 어떤 차이가 있는지를 확인해야 한다. 설명이 구체적이라면 논문 원문에서 방법과 한계를 대조해 볼 수 있다. 예컨대 다른 분야의 접근을 가져온다는 추천은 두 문제의 닮은 점만으로 충분하지 않다. 그 접근이 성립한 전제와 지금 연구의 조건이 어디서 일치하고 갈리는지도 살펴야 한다. 설명에서 그 연결을 찾을 수 없다면, 목록에 들어 있다는 사실만으로 연구의 실마리라고 판단할 근거는 부족하다.

48%라는 결과는 연구자들이 유용하다고 본 논문 가운데 일부를 상위 20편에 올렸다는 사실을 보여준다. 동시에 그 목록에 들어오지 않은 유용한 논문도 적지 않았다. 선행연구를 폭넓게 훑는 보조 수단과 연구 방향을 선택하는 판단은 다르게 평가해야 한다. 연구자가 검색 목록을 검토하고 논문 사이의 연결을 설명하는 과정은 여전히 필요하다.

단서의 이름을 모를 때 검색은 더 어려워진다

가상의 연구 상황을 떠올려보자. 사람이 몰리는 시설에서 대기 시간을 줄이고 싶은데, 줄을 더 만들지 않고 처리 순서를 바꿀 수 있는지부터 알고 싶다. 이 문제에 ‘대기 시간’이라는 말이 들어간 논문만 모으면 같은 대상을 다룬 자료를 얻기는 쉽다. 그런데 여러 작업을 어떤 순서로 처리할지 연구한 다른 분야의 방법이 더 유용한 단서가 될 수도 있다. 그 자료에는 처음 사용한 검색어가 중심에 놓이지 않을 수 있다. 이 예는 이번 연구가 실제로 그런 성과를 냈다는 뜻이 아니라, 필요한 아이디어와 주제의 이름이 일치하지 않을 수 있음을 설명하는 상황이다.

이때 다른 분야에서 찾았다는 사실만으로 추천의 가치를 판단하기도 어렵다. 두 문제에서 무엇이 닮았는지 설명할 수 있어야 한다. 한 번에 처리할 수 있는 양이 제한돼 있고 요청이 순서대로 들어온다는 점은 닮을 수 있다. 하지만 기다리던 사람이 줄을 떠날 수 있는 상황과 작업이 끝까지 남는 상황은 다르다. 그 조건을 무시하고 방법을 옮겨오면 해결하려던 문제에 맞지 않을 수 있다. 자료 사이의 연결이 흥미롭다는 판단과 실제로 그 연결을 쓸 수 있다는 판단 사이에는 이런 검토가 남는다.

유용한 추천은 읽어볼 문헌을 하나 더 주는 데서 끝나지 않고, 확인해야 할 조건을 드러낼 수 있다. 처리 순서를 바꾸는 방법을 검토하다가 순서를 바꿀 권한이 있는지, 순서를 바꿨을 때 기다리는 사람에게 어떤 차이가 생기는지 먼저 묻게 되는 식이다. 질문이 더 구체적으로 바뀌면 다음 검색에서 무엇을 찾아야 하는지도 달라진다. 반대로 AI가 ‘다른 분야에서도 비슷한 문제를 다뤘다’는 말만 반복하면, 독자는 연결을 검토할 근거를 얻기 어렵다.

연구를 시작할 때는 이런 단서의 이름을 아직 모르는 경우가 있다. 이미 알고 있는 방법을 찾는 검색에서는 그 이름을 입력하면 되지만, 어떤 방법이 필요한지 알아가는 검색에서는 질문을 다시 정리하는 과정도 중요하다. 그래서 검색을 몇 번 했는지보다 결과가 다음 질문에 어떤 변화를 주었는지를 살펴볼 이유가 있다. 이번 실험은 이런 변화를 직접 측정하지 않았다. 다만 연구자가 고른 유용한 논문을 별도로 평가함으로써, 비슷한 자료를 찾는 능력만으로는 설명하기 어려운 탐색의 목적을 드러냈다.

다음에 검증해야 할 것은 연결의 역할이다

평가 범위는 컴퓨터과학 문헌을 대상으로 한 검색 과제와 시험한 도구 조합에 한정된다. 다른 분야에서도 같은 결과가 나올지, AI 추천이 실제 연구 방향과 성과를 바꿀지는 별도로 확인해야 한다.

추천 논문을 실제로 활용하는 과정을 평가하면 지금 점수가 보여주지 않는 부분도 살필 수 있다. 연구자가 그 논문에서 어떤 접근을 발견했는지, 그 연결이 초기 질문을 어떻게 구체화했는지, 실제로 다음 연구 선택에 영향을 줬는지를 살펴볼 필요가 있다. 이는 검색 점수만으로 확인되지 않는 연구 과정의 변화를 평가하는 방향이다. 그런 근거가 쌓이면 논문을 찾는 시스템이 연구자의 판단에 어떤 도움을 주는지 더 정확히 말할 수 있다.

AI가 제시한 논문은 연구 방향을 대신 정해주는 답이 아니라, 사람이 연결의 근거와 적용 조건을 검토할 후보로 다루는 편이 타당하다. 평가의 핵심도 목록의 길이보다 그 후보가 연구자의 질문을 더 정밀하게 만드는 데 실제로 어떤 역할을 했는지에 놓여야 한다.