Skip to content
Research2026.10.08

← 아카이브

AI 과학자 시대, 연구자의 일은?

AI 과학자 시대, 연구자의 일은?

AI 과학자 시대,  연구자의 일은? — 1 / 11
01
AI 과학자 시대,  연구자의 일은? — 2 / 11
02
AI 과학자 시대,  연구자의 일은? — 3 / 11
03
AI 과학자 시대,  연구자의 일은? — 4 / 11
04
AI 과학자 시대,  연구자의 일은? — 5 / 11
05
AI 과학자 시대,  연구자의 일은? — 6 / 11
06
AI 과학자 시대,  연구자의 일은? — 7 / 11
07
AI 과학자 시대,  연구자의 일은? — 8 / 11
08
AI 과학자 시대,  연구자의 일은? — 9 / 11
09
AI 과학자 시대,  연구자의 일은? — 10 / 11
10
AI 과학자 시대,  연구자의 일은? — 11 / 11
11
01/11

AI가 쓴 논문이

학회 심사를 통과했다

AI가 과학을 도운 역사는 꽤 깁니다. 화학 구조를 찾고, 수학 증명을 하는 등 다양한 분야에서 도움을 주었죠. 더 나아가 대규모 언어 모델(Large Language Model, LLM)이 나온 뒤로는 가설을 떠올리고 문헌을 정리하고 실험 코드를 짜는 데까지 도움의 손길이 커졌습니다. 대표적으로 2023년 Nature에 실린 ‘Coscientist’처럼, 목표만 주면 실험을 설계하고 자동화 장비로 직접 수행하는 AI도 나왔습니다.

그런데 조금 아쉬운 면이 있었습니다. 바로 주제를 정하고 논문을 내는 것까지 혼자 끌고 가는 시스템은 없었다는 것이죠. 이 논문이 노린 게 바로 그 빈자리입니다.

Sakana AI의 ‘The AI Scientist’는 아이디어를 내고, 실험을 돌리고, 논문을 쓰고, 스스로 리뷰까지 하는 시스템으로 다음 4 단계로 작업을 수행합니다.

① 아이디어 내기 시스템에 “의미 있는 논문을 내고 싶은 야심 찬 AI 박사과정생”이라는 프롬프트를 주면, AI가 직접 가설과 연구 방향을 떠올립니다. 아이디어의 독창성과 실현 가능성을 10점 만점으로 자체 평가하고, 기존 논문과 중복되는 주제는 알아서 걸러냅니다.

② 실험하기 코드를 돌리다 에러가 나면 오류 메시지를 직접 읽고 디버깅까지 해냅니다. 가장 흥미로운 건 실험 결과로 그린 그래프를 시각 AI(VLM)가 직접 검수한다는 점입니다. 축 이름이 흐리거나 범례가 빠진 그림은 ‘문제 있음’으로 표시해 다시 그리게 하고, 여러 번 반복 실험해 평균과 표준편차까지 깔끔하게 기록해 둡니다.

③ 논문 쓰기 이렇게 정리된 실험 노트를 바탕으로 학회 양식(LaTeX)에 맞춰 원고를 써 내려갑니다. 관련 연구를 인용할 때는 ‘왜 이 논문을 인용하는지’ 그 이유를 일일이 밝힐 정도로 치밀한 모습을 보입니다. 초안이 완성되면 문법 검사는 물론, 그래프와 본문의 설명이 서로 맞는지 스스로 확인하며 수차례 원고를 수정합니다.

④ 스스로 리뷰받기 마지막으로 AI 리뷰어인 ‘Automated Reviewer’가 실제 학회 심사 가이드라인에 따라 평가를 진행합니다. 서로 독립적인 5개의 리뷰를 작성한 뒤, 학회의 영역 의장(Area Chair)처럼 이를 종합해 강점·약점과 함께 최종 채택 여부를 결정합니다.

더 좋은 모델

→ 더 좋은 논문

연구진은 시스템 안의 AI 모델만 바꿔 가며 논문을 쓰게 하고, 앞의 AI 리뷰어인 ‘Automated Reviewer’로 채점했습니다. 2023년 GPT-4에서 2025년 Claude Sonnet 4, Gemini 2.5로 올수록 점수가 뚜렷하게 올랐습니다.

연구진은 이 결과에서 두 가지를 읽어 냅니다. 첫째, 최신 모델을 쓰면 AI 리뷰어 기준으로 이미 워크숍 채택선 언저리의 논문이 나온다는 것입니다. 둘째, 앞으로 모델이 좋아지는 만큼 이 시스템도 함께 좋아질 거라는 전망입니다.

다만 단서도 달았습니다. AI가 쉽게 속거나, 틀린 답을 자신 있게 내놓는 환각 문제는 진전이 있었지만 생각보다 해결이 어려웠다는 겁니다. 이런 약점이 남아 있다면 시스템이 내놓은 결과를 그대로 믿기 어렵습니다. 과학의 큰 개념적 도약 같은 창의적인 아이디어를 AI가 낼 수 있을지도 아직 모른다고 덧붙였습니다.

실제 학회 심사를 받아 보니

연구진은 AI 논문의 가치를 입증하려 사람 논문과 똑같이 심사받는 ‘AI 과학자 튜링 테스트’를 진행했습니다. ICLR 2025 워크숍에 AI 논문 3편을 비밀리에 제출했는데, 그중 1편이 평균 6.33점으로 채택 선을 넘겼습니다. 사전 계획에 따라 바로 철회하긴 했지만 실제 합격권에 들어간 셈입니다.

다만 “AI가 최정상 학회 논문을 쓴다”고 보기는 어렵습니다. 해당 워크숍은 채택률이 70%로 문턱이 낮았고(본회의 32%), 연구진도 제출한 논문들이 본회의 수준엔 미치지 못했다고 인정했기 때문입니다. AI 과학자의 가능성과 현실적 한계를 동시에 보여준 실험입니다.

연구자의 일은 어떻게 달라질까

실험과 초안 작성이 빨라질수록 연구자는 아이디어의 가치나 결과의 신뢰성 같은 본질적인 질문에 더 시간을 쓸 수 있습니다. 따라서 AI 시스템을 도입할 때는 일을 잘 맡기는 것만큼이나, 실험 로그 남기기·핵심 결과 재현·근거 검증과 같은 ‘확인 절차’를 함께 설계하는 것이 무엇보다 중요합니다.

자동화할수록 검증이 중요해진다

이 논문은 기계학습 연구의 여러 단계를 이어 붙여 원고를 자동으로 만들고, 외부 심사에서 어느 정도 인정받을 수 있다는 걸 보여 줬습니다. 하지만 결과의 신뢰성과, 방법론의 엄밀함도 아직 숙제로 남아 있습니다.

앞으로 연구 자동화를 볼 때는 얼마나 빨리 만드느냐보다 먼저 따져 볼 것들이 있습니다. 재현이 되는지, 근거가 정확한지, 지식에 실제로 보탬이 되는지입니다.

태그

  • #인공지능
  • #AI논문
  • #AI과학자
  • #AIScientist
  • #SakanaAI
  • #ICLR
  • #LLM
인스타그램에서 보기이 글에 의견 남기기