인공지능과 인공신경망을 이용한 기술이 세상을 변화시키고 있음은 지속적으로 확인하고 있지만, 물리학에서, 그것도 노벨 물리학상이 AI 연구에 수여된 것이라고는 생각하지 못하였습니다. 이번 포스팅에서는 노벨 물리학상이 AI 연구를 선정하여 수여하게 된 내막을 소개한 IEEE Spectrum 글을 통해 관련 내용을 전하도록 하겠습니다.
AI 연구자에게 수여된 노벨 물리학상
2024년 노벨 물리학상을 존 J. 홉필드와 제프리 E. 힌턴에게 수여한 것은 학계에 큰 놀라움을 주었습니다. 두 사람은 신경망에 대한 기초적인 연구로 이 상을 수상했습니다.
두 수상자는 1980년대에 발표한 신경망에 관한 기념비적인 논문으로 상을 받았습니다. 이 논문에서 다룬 신경망은 오늘날 ChatGPT나 Stable Diffusion과 같은 현대적 생성형 AI에서 사용되는 네트워크에 비해 훨씬 단순했지만, 그들의 아이디어는 이후 연구의 토대를 마련했습니다.
심지어 홉필드와 힌턴도 자신들이 수상할 것이라고는 예상하지 못했다고 합니다. 힌턴은 AP 통신과의 인터뷰에서 자신이 “매우 당황했다”고 언급했습니다. 대부분의 사람들이 물리학을 생각할 때 AI가 떠오르지 않기 때문입니다. 그러나 노벨 위원회는 연구자들이 신경망을 “물리학의 근본적인 개념과 방법에 기반하여” 연구했다는 점을 고려해 더 넓은 시각을 취했다고 전해집니다.
캘리포니아 대학교 어바인의 파드라익 스미스 교수는 처음에는 물리학 분야의 노벨상이 AI와 머신러닝 분야의 연구에 수여된 것이 의아했다고 언급하면서도, 깊이 생각해 보니 노벨 위원회가 이러한 결정을 내린 이유가 더 명확해졌다고 덧붙였습니다. 그는 또한 통계 역학 분야의 물리학자들이 오래전부터 “발현적 행동을 보이는 시스템”에 대해 고민해 왔다고 설명했습니다.
홉필드는 1982년에 발표한 논문에서 신경망에 대한 아이디어를 처음으로 제시했습니다. 그는 상호 연결된 뉴런의 단일 층으로 구성된 신경망, 이후에 홉필드 네트워크라 불리게 된 신경망 유형을 설명했습니다. 이 논문은 원래 생물물리학으로 분류되었으며, 신경망이 “어느 정도 크기의 하위 부분”에서 “기억”을 유지할 수 있다고 언급했습니다.
힌턴은 이 연구를 발전시켜 1985년에 데이비드 H. 애클리와 테런스 J. 세이노프스키와 함께 공동 저술한 논문에서 더 복잡한 신경망인 볼츠만 머신을 개념화했습니다. 이들은 입력층과 출력층 사이에 위치하여 직접적으로 상호작용하지 않는 “은닉 유닛”이라는 개념을 도입했습니다. 이로 인해 이미지 분류와 같이 보다 일반적인 이해가 필요한 작업을 처리할 수 있게 되었습니다.
그렇다면 신경망과 물리학의 연결 고리는 무엇일까요?
홉필드의 논문은 “스핀 글래스”라는 개념을 언급합니다. 스핀 글래스는 무질서한 자기 입자들이 복잡한 상호작용을 일으키는 물질입니다. 힌턴과 그의 공동 저자들은 통계 역학을 바탕으로 연구를 진행했으며, 그들의 신경망 이름을 통계 역학의 기초를 닦은 물리학자 루트비히 볼츠만을 기리기 위해 볼츠만 머신이라고 명명했습니다.
신경망과 물리학 간의 연결은 단방향이 아닙니다. 머신러닝은 양성자 충돌에서 발생하는 엄청난 양의 데이터를 분석하는 데 중요한 역할을 하여 힉스 보손 발견에 기여했습니다. 올해의 노벨 화학상도 머신러닝의 중요성을 다시 한번 강조했으며, AI 모델을 통해 단백질 구조를 예측한 세 명의 과학자들이 상을 받았습니다.
홉필드와 힌턴은 영향력 있는 논문을 저술했을 뿐만 아니라 지속적인 연구를 통해 기계 학습에 기여했고, 노벨상 외에도 여러 상을 받았습니다. 홉필드는 2022년에 볼츠만 메달을 수상했으며, 힌턴은 2014년에 IEEE 프랭크 로젠블랫 상, 2016년에 IEEE 제임스 클러크 맥스웰 메달, 2018년에는 야노 르쿤과 요슈아 벤지오와 함께 튜링 상을 수상했습니다.
스미스는 캘리포니아 공과대학교에서 학생으로 있으면서 홉필드의 노력을 직접 목격했다고 말했습니다. 그는 홉필드가 수학자, 엔지니어, 컴퓨터 과학자, 물리학자들을 한데 모아 그들에게 뇌 모델링, 패턴 인식 및 머신러닝에 대한 열정을 불어넣었다고 전했습니다. 이는 그가 물리학에서 가져온 수학 이론으로 통합되었습니다.
힌턴은 2012년에 일리아 수츠케버와 알렉스 크리제프스키와 함께 DNNResearch라는 회사를 공동 창업했습니다. 수츠케버는 이후 OpenAI의 공동 창업자가 되었으며, 이 세 사람은 함께 컴퓨터 비전을 위한 신경망인 AlexNet을 개발했습니다. 힌턴은 토론토 대학교에서 머신러닝을 계속 연구하며 교육을 이어갔습니다.
애플에서 딥러닝 연구원으로 일하는 나브딥 자이틀리는 힌턴이 새로운 세대의 엔지니어와 연구자들에게 영감을 주었다고 말했습니다. 자이틀리의 경우, 힌턴은 그에게 직접적인 영향을 미쳤습니다. 자이틀리는 토론토 대학교에서 힌턴의 지도를 받았다고 합니다.
자이틀리는 자신이 통계 모델링 경험을 가지고 있었지만, 힌턴은 여전히 문제 해결 방식을 완전히 바꾸어 놓았다고 말했습니다. 또한 그는 머신러닝에 대한 힌턴의 기여가 거의 모든 현대적 방법론에 중심이 된다고 덧붙였습니다.
마무리
이번 포스팅에서는 2024년 노벨 물리학상을 수상한 존 홉필드와 제프리 힌턴의 신경망 연구에 대해 다루어 보았습니다. 두 연구자의 초기 연구는 오늘날의 인공지능 기술 발전에 중요한 토대를 마련했으며, 물리학과 신경망의 연결 고리를 통해 AI 연구의 새로운 가능성을 열었습니다. 이들의 업적은 단순히 과거에 머무르지 않고, 현재와 미래의 과학 연구와 기술 발전에 지속적으로 영향을 미치고 있습니다. 앞으로도 이러한 혁신적인 연구들이 어떤 새로운 발견을 이끌어낼지 기대됩니다.