과학이 완전히 자동화될 수 있을까? 머신 러닝 연구자 팀이 이제 시도했습니다.

도쿄의 Sakana AI와 캐나다와 영국의 학술 연구실에서 팀이 만든 'AI Scientist'는 문제에 대한 기존 문헌을 읽고 새로운 개발을 위한 가설을 수립하는 것부터 해결책을 시도하고 논문을 쓰는 것까지 연구의 전체 주기를 수행합니다. AI Scientist는 심지어 동료 평가자의 일부 업무를 수행하고 자체 결과를 평가합니다.

 

AI Scientist는 과학 과정의 일부를 최소한 자동화한 AI 에이전트를 만드는 일련의 노력에 동참합니다. 캐나다 밴쿠버에 있는 브리티시 컬럼비아 대학교의 머신 러닝 연구자인 AI Scientist 공동 제작자 Cong Lu는 "제가 아는 한, 아직 전체 과학 커뮤니티를 하나의 시스템으로 만든 사람은 없습니다."라고 말합니다. 결과 1은 이번 달 arXiv 사전 인쇄 서버에 게시되었습니다.

시애틀에 있는 워싱턴 대학교의 계산 사회 과학자인 제빈 웨스트는 "그들이 이것을 처음부터 끝까지 해냈다는 것은 인상적입니다."라고 말합니다. "그리고 저는 우리가 이런 아이디어를 가지고 놀아야 한다고 생각합니다. 왜냐하면 과학을 도울 수 있는 잠재력이 있을 수 있기 때문입니다."

연구실 가운을 입은 과학자가 거대한 로봇 머리를 조종하여 끝없는 텍스트 문서를 생성하는 모습을 담은 만화 그림입니다.

 

영어: 지금까지의 출력은 지구를 뒤흔들 만큼 크지 않으며, 이 시스템은 머신 러닝 분야에서만 연구를 수행할 수 있습니다.특히 AI Scientist는 대부분의 과학자가 과학을 수행하는 데 있어 중요한 부분이라고 생각하는 실험실 작업을 수행하는 능력이 부족합니다.로렌스 버클리 국립 연구소와 캘리포니아 대학교 버클리의 재료 과학자인 Gerbrand Ceder는 "가설을 세우는 AI에서 로봇 과학자에게 이를 구현하는 데 이르기까지는 아직 많은 작업이 필요합니다."라고 말합니다.그래도 Ceder는 "미래를 내다보면 과학의 많은 부분이 이곳으로 갈 것이라는 데 의심의 여지가 없습니다."라고 덧붙입니다.

 

자동화된 실험

AI Scientist는 대규모 언어 모델(LLM)을 기반으로 합니다. 머신 러닝 알고리즘을 템플릿으로 설명하는 논문을 사용하여 유사한 작업에 대한 문헌을 검색하는 것으로 시작합니다. 그런 다음 팀은 다윈 진화의 돌연변이와 자연 선택에서 영감을 받은 진화 계산이라는 기술을 사용했습니다. 알고리즘에 작고 무작위적인 변경 사항을 적용하고 효율성을 개선하는 변경 사항을 선택하여 단계적으로 진행합니다.

 

이를 위해 AI Scientist는 알고리즘을 실행하고 성능을 측정하여 자체 '실험'을 수행합니다. 마지막으로 논문을 작성하고 일종의 자동화된 동료 검토에서 평가합니다. 이런 방식으로 '문헌을 증강'한 후 알고리즘은 자체 결과를 기반으로 다시 사이클을 시작할 수 있습니다.

 

저자들은 AI 과학자들이 작성한 논문이 점진적인 발전만을 담고 있다는 것을 인정합니다. 다른 연구자들 중 일부는 소셜 미디어에 대한 댓글에서 비판적이었습니다. 웹사이트 Hacker News의 한 댓글러는 "저널 편집자로서 저는 아마도 그들을 데스크 리젝트할 것입니다. 리뷰어로서 저는 그들을 리젝트할 것입니다."라고 말했습니다 .

 

웨스트는 또한 저자들이 연구자들이 자신의 분야의 현재 상태에 대해 어떻게 배우는지에 대한 축소된 관점을 취했다고 말합니다. 그들이 아는 것의 많은 부분은 컨퍼런스에 가거나 워터쿨러에서 동료들과 대화하는 것과 같은 다른 형태의 의사소통에서 나옵니다. 웨스트는 "과학은 종이 더미 이상입니다."라고 말합니다. "5시간 동안 문헌을 연구하는 것보다 5분 동안 대화하는 것이 더 나을 수 있습니다."

 

West의 동료 Shahan Memon도 동의하지만 West와 Memon은 모두 저자들이 코드와 결과를 완전히 공개한 것을 칭찬합니다. 이를 통해 그들은 AI Scientist의 결과를 분석할 수 있었습니다. 예를 들어, 그들은 AI Scientist가 참조로 나열한 이전 논문을 선택할 때 "인기 편향"이 있고, 인용 횟수가 많은 논문을 피하는 것을 발견했습니다. Memon과 West는 AI Scientist의 선택이 가장 관련성이 있는지도 측정하는 것을 고려하고 있다고 말합니다.

 

반복적인 작업

AI Scientist는 물론 연구원의 업무 중 적어도 여러 부분을 자동화하려는 최초의 시도는 아닙니다.과학적 발견을 자동화하려는 꿈은 인공 지능 자체만큼 오래되었습니다.예루살렘에 있는 Allen Institute for AI의 컴퓨터 과학자인 톰 호프는 1950년대로 거슬러 올라간다고 말합니다.예를 들어 이미 10년 전에 Automatic Statistician 2는 데이터 세트를 분석하고 자체 논문을 작성할 수 있었습니다.그리고 Ceder와 그의 동료들은 일부 벤치 작업을 자동화하기도 했습니다.작년에 공개한 ' 로봇 화학자 '는 새로운 재료를 합성하고 실험할 수 있습니다 3 .

 

Hope는 현재 LLM이 "유행어의 기본적인 피상적인 조합을 넘어 새롭고 유용한 과학적 방향을 공식화할 수 없다"고 말합니다. 그래도 Ceder는 AI가 가까운 시일 내에 작업의 보다 창의적인 부분을 수행할 수 없더라도 연구의 보다 반복적인 측면을 많이 자동화할 수 있다고 말합니다. "낮은 수준에서는 무언가가 무엇인지, 무언가가 어떻게 반응하는지 분석하려고 합니다. 그것은 과학의 창의적인 부분은 아니지만 우리가 하는 일의 90%입니다." Lu는 다른 많은 연구자로부터도 비슷한 피드백을 받았다고 말합니다. "사람들은 '시간이 없는 아이디어가 100개나 있어. AI 과학자에게 그걸 하라고 해'라고 말할 것입니다."

 

루는 AI 과학자의 역량을 확대하려면(순수 수학과 같이 기계 학습을 넘어선 추상적인 분야까지) 언어 모델을 넘어 다른 기술을 포함해야 할 수도 있다고 말합니다. 예를 들어, Google Deep Mind가 수학 문제를 푸는 최근 결과는 LLM과 '상징적' AI 기술을 결합하는 것의 힘을 보여주었습니다. 이는 단순히 데이터의 통계적 패턴에서 학습하는 것에 의존하는 것이 아니라 논리적 규칙을 시스템에 구축합니다. 하지만 현재의 반복은 시작에 불과하다고 그는 말합니다. 그는 캘리포니아주 샌프란시스코에 있는 OpenAI의 초기 대규모 언어 모델을 언급하며 "우리는 이것이 AI 과학의 GPT-1이라고 믿습니다."라고 말합니다.

 

웨스트는 그 결과가 오늘날 많은 연구자들의 우려의 최우선 순위에 있는 논쟁으로 이어진다고 말합니다. "다른 과학 분야의 모든 동료들은 AI가 우리가 하는 일에 어디에 들어맞는지 알아내려고 노력하고 있습니다. 그것은 우리에게 21세기에 과학이 무엇인지 생각하게 합니다. 과학이 무엇이 될 수 있는지, 무엇인지, 무엇이 아닌지 말입니다."라고 그는 말합니다.