Skip to content
뉴스레터2026.10.08

← 지난 발행

AI 과학자 시대, 연구자의 일은?

발송일 2026.10.08

AI가 쓴 논문이 학회 심사를 통과했다

💡 이번 주 뉴스레터 요약

  • Sakana AI를 비롯한 연구진이 아이디어를 내고, 실험을 돌리고, 논문을 쓰고, 스스로 리뷰까지 하는 ‘The AI Scientist’를 만들었습니다.
  • 이 시스템이 쓴 논문 한 편이 ICLR 2025 워크숍의 블라인드 심사에서 채택 기준을 넘겼습니다.
  • 시스템 안에서 쓰는 AI 모델(GPT, Claude, Gemini 등)의 성능이 좋아질수록 논문 점수도 올라갔습니다. 다만 이 점수는 사람이 아니라 AI 리뷰어가 매긴 것입니다.
  • 그러나 채택률이 70%인 워크숍이었고, 세 편을 내서 한 편만 통과했습니다. 본 학회 수준으로 볼 만한 논문은 없었습니다.

왜 이런 연구가 나왔나

AI가 과학을 도운 역사는 꽤 깁니다. 화학 구조를 찾고, 수학 증명을 하는 등 다양한 분야에서 도움을 주었죠. 더 나아가 대규모 언어 모델(Large Language Model, LLM)이 나온 뒤로는 가설을 떠올리고 문헌을 정리하고 실험 코드를 짜는 데까지 도움의 손길이 커졌습니다. 대표적으로 2023년 Nature에 실린 ‘Coscientist’처럼, 목표만 주면 실험을 설계하고 자동화 장비로 직접 수행하는 AI도 나왔습니다.

그런데 조금 아쉬운 면이 있었습니다. 바로 주제를 정하고 논문을 내는 것까지 혼자 끌고 가는 시스템은 없었다는 것이죠. 이 논문이 노린 게 바로 그 빈자리입니다.

The AI Scientist는 이렇게 연구합니다

‘The AI Scientist’는 아이디어를 내고, 실험을 돌리고, 논문을 쓰고, 스스로 리뷰까지 하는 시스템으로 아래의 4단계로 작업을 수행합니다.

The AI Scientist의 워크플로우

① 아이디어 내기

주어진 분야 안에서 연구 방향과 가설을 계속 내놓고 목록에 쌓아 둡니다. 시스템에는 “의미 있는 논문을 내고 싶은 야심 찬 AI 박사과정생”처럼 행동하라는 지시가 들어 있습니다. 아이디어마다 제목과 동기, 실험 계획을 붙이고, 흥미로움·새로움·실현 가능성을 각각 10점 만점으로 스스로 매깁니다. 그다음 Semantic Scholar에서 검색어를 바꿔 가며 기존 논문을 찾아보고, 이미 나온 연구와 너무 비슷한 아이디어는 버립니다.

② 실험하기

코드를 짜서 돌리고, 에러가 나면 에러 메시지를 읽고 스스로 고칩니다. 아이디어가 돌아가는지 확인하는 예비 실험을 하고, 하이퍼파라미터를 조정한 뒤, 실험을 진행합니다. 마지막으로 구성 요소를 하나씩 빼 보며 효과를 확인하는 어블레이션(ablation) 실험을 합니다. 단계마다 여러 시도를 동시에 돌리고, 가장 나은 결과를 골라 다음 단계로 넘깁니다.

The AI Scientist는 그래프도 검사합니다. 실험 결과로 그린 그래프를 Vision Language Model(VLM)에게 보여 주고, 축 이름이 불분명하거나 범례가 빠졌거나 오해를 부를 만한 그림이면 문제가 있는 실험으로 표시해 다시 고치게 합니다. 무작위 시드를 바꿔 같은 실험을 여러 번 돌려 평균과 표준편차도 냅니다. 모든 결과는 실험 노트처럼 기록해 두었다가 다음 계획과 논문 작성에 씁니다.

③ 논문 쓰기

실험 노트와 그래프를 바탕으로 학회 논문 양식(LaTeX)을 섹션별로 채웁니다. 관련 연구를 쓸 때는 Semantic Scholar 검색을 최대 20번까지 돌리고, 인용할 때마다 왜 이 논문을 인용하는지 이유를 따로 적어 둡니다. 초안을 쓴 뒤에는 여러 차례 스스로 고칩니다. LaTeX 문법 검사기의 지적을 반영하고, 그래프와 캡션이 서로 맞는지도 다시 확인받습니다.

④ 스스로 리뷰받기

완성된 원고는 AI 리뷰어인 ‘Automated Reviewer’가 NeurIPS 심사 가이드라인에 따라 평가합니다. OpenAI의 o4-mini가 서로 독립적인 리뷰 다섯 개를 쓴 뒤, 학회의 영역 의장(area chair)처럼 이를 종합해 채택 여부를 정합니다. 리뷰에는 실제 학회처럼 건전성, 표현, 기여도, 종합 점수(10점 만점)와 강점, 약점이 담깁니다.

더 좋은 모델 → 더 좋은 논문

연구진은 시스템 안의 AI 모델만 바꿔 가며 논문을 쓰게 하고, 앞의 AI 리뷰어인 ‘Automated Reviewer’로 채점했습니다. 2023년 GPT-4에서 2025년 Claude Sonnet 4, Gemini 2.5로 올수록 점수가 뚜렷하게 올랐습니다.

출처: Lu et al., Nature 2026, Fig. 1b

연구진은 이 결과에서 두 가지를 읽어 냅니다. 첫째, 최신 모델을 쓰면 AI 리뷰어 기준으로 이미 워크숍 채택선 언저리의 논문이 나온다는 것입니다. 둘째, 앞으로 모델이 좋아지는 만큼 이 시스템도 함께 좋아질 거라는 전망입니다.

다만 단서도 달았습니다. AI가 쉽게 속거나, 틀린 답을 자신 있게 내놓는 환각 문제는 진전이 있었지만 생각보다 해결이 어려웠다는 겁니다. 이런 약점이 남아 있다면 시스템이 내놓은 결과를 그대로 믿기 어렵습니다. 과학의 큰 개념적 도약 같은 창의적인 아이디어를 AI가 낼 수 있을지도 아직 모른다고 덧붙였습니다.

실제 학회 심사를 받아 보니

AI 논문을 평가하는 가장 공정한 방법은 사람 논문과 똑같이 심사받게 하는 겁니다. 저자들은 이걸 ‘AI 과학자 튜링 테스트’라고 불렀습니다.

연구진이 논문을 낸 곳은 ICLR 2025의 ICBINB 워크숍입니다. 이름부터 “I Can’t Believe It’s Not Better”로, 딥러닝이 기대만큼 안 된 사례를 다루는 자리죠. 연구진은 IRB 승인을 받고 ICLR과 워크숍 주최 측의 협조를 얻어 AI가 쓴 논문 세 편을 냈습니다. 심사위원들은 AI 논문이 섞여 있다는 것만 알았고, 어느 논문인지는 몰랐습니다. 심사를 받은 43편 가운데 AI 논문 세 편이 있었고, 그중 한 편이 6, 7, 6점(평균 6.33)으로 채택선을 넘었습니다.

하지만 연구진은 처음부터 AI가 만든 논문은 심사 결과와 관계없이 철회하기로 정해 두었고, 실제로 메타리뷰 전에 논문을 거둬들였습니다. 주최 측은 철회하지 않았다면 채택됐을 가능성이 매우 높았다고 설명했습니다.

그렇다고 “AI가 이제 ICLR급 논문을 쓴다”고 보기는 어렵습니다. 이 워크숍의 채택률은 70%였지만 ICLR 본회의는 32%였고, 연구진도 세 편 모두 본회의 수준에는 미치지 못했다고 평가했습니다.

연구자의 일은 어떻게 달라질까

실험을 돌리고 초안을 쓰는 일이 빨라지면 그만큼 우리는 다른 질문에 시간을 더 쓸 수 있습니다. 이 아이디어가 연구할 가치가 있는지, 결과가 내가 세운 가설을 제대로 검증하고 있는지, AI가 내놓은 결과를 어떤 근거로 믿을 수 있는지 같은 질문들이요.

연구실에 이런 시스템을 들인다면 일을 맡기는 방법만큼 확인하는 절차도 같이 설계해야 합니다. 실험 로그와 코드를 남겨 두고, 핵심 결과는 따로 재현해 보고, 주장과 근거가 맞는지 짚어 보는 식으로 말이죠.

자동화할수록 검증이 중요해진다

이 논문은 AI 연구의 여러 단계를 이어 붙여 원고를 자동으로 만들고, 외부 심사에서 어느 정도 인정받을 수 있다는 걸 보여 줬습니다. 하지만 결과의 신뢰성과, 방법론의 엄밀함도 아직 숙제로 남아 있습니다.

앞으로 연구 자동화를 볼 때는 얼마나 빨리 만드느냐보다 먼저 따져 볼 것들이 있습니다. 재현이 되는지, 근거가 정확한지, 지식에 실제로 보탬이 되는지입니다.


연구도 자동화하는 시대,

최고의 연구자는 ‘잘 만드는 사람’이 아니라 ‘가장 날카롭게 검증하는 사람’입니다.

이 글에 의견 남기기