ChatGPT를 시작으로 폭발적인 수요 상승을 보이고 있는 생성형 AI는 어느덧 전문적인 자료를 만드는 영역에 까지 그 도전이 이어지고 있습니다. 이번 포스팅에서는 학술자료를 생성하는 인공지능에 거대한 자금을 투자하는 아마존에 대한 내용을 IEEE Spectrum 글을 인용하여 소개합니다.
개요
생성형 AI는 현재 이미지, 비디오, 텍스트 및 코드를 합성하는 데 점점 더 많이 활용되고 있습니다. 이에 아마존은 해당 분야의 혁신을 촉진하기 위해 대학이 주도하는 생성형 AI 연구에 1억 1천만 달러를 투자하겠다고 발표했습니다.
DALL-E, Midjourney, Stable Diffusion과 같은 생성형 AI 시스템은 이제 정교한 사진처럼 보이는 이미지를 정기적으로 만들어냅니다. 가장 잘 알려진 생성형 AI 챗봇인 ChatGPT는 로스쿨 및 경영대학원 시험에 합격하고, 소프트웨어 코딩 직종의 면접 질문에 성공적으로 답하며, 부동산 광고 문구를 작성하거나 광고 콘텐츠를 개발하는 데까지 활용되고 있습니다.
그러나 새로운 생성형 AI 응용 프로그램을 개발하는 데는 점점 더 많은 컴퓨팅 파워가 필요합니다. 이러한 자원은 종종 학계 연구자들이 감당하기 어려운 수준이며, 이에 대해 두 연구자는 올해 1월 IEEE Proceedings에 실린 논문에서 유머러스하게 지적한 바 있습니다.
아마존 웹 서비스(AWS)의 Annapurna Labs 사업 개발 담당 시니어 디렉터인 가디 허트(Gadi Hutt)는 “현재 AI 학술 연구는 자원의 부족으로 인해 심각하게 제약을 받고 있으며, 학계는 빠르게 뒤처지고 있습니다”라고 말했습니다.
아마존의 Build on Trainium 이니셔티브: AI를 학계로
아마존은 새로운 이니셔티브인 Build on Trainium을 통해 AWS가 연구자들이 최대 40,000개의 Trainium 칩에 접근할 수 있는 컴퓨터 클러스터를 예약하여 사용할 수 있도록 제공하고 있다고 허트는 설명했습니다. 이 Trainium 프로세서는 AWS가 고성능, 저비용 딥러닝을 위해 개발한 것입니다.
허트는 또한 “Build on Trainium을 통해 AWS는 대학의 선도적인 AI 연구를 기반으로 생성형 AI 응용 프로그램, 라이브러리 및 최적화를 발전시킬 새로운 AI 연구 및 강의에 투자하고 있습니다”라고 덧붙였습니다.
아마존에 따르면, Trainium용 Neuron Kernel Interface라는 새로운 프로그래밍 인터페이스는 연구자들에게 ‘베어 메탈’ 칩 프로그래밍 기능을 제공하여 칩의 명령 세트에 직접 접근할 수 있게 하고, 새로운 모델 연산 및 성능 최적화를 위한 컴퓨팅 커널을 구축할 수 있도록 합니다.
뉴욕대학교 컴퓨터공학과 준교수인 줄리안 토겔리우스(Julian Togelius)는 이를 두고 “훌륭하다”고 평가하며, 많은 기업들이 특정 독점 툴 체인 사용을 전제로 자원을 공유하는 반면, 하드웨어의 기능을 조정할 수 있는 저수준 접근 권한을 제공하는 것은 매우 인상적이라고 밝혔습니다. 토겔리우스는 IEEE Proceedings 논문의 두 저자 중 한 명입니다.
AWS 이니셔티브는 카네기 멜런 대학교와 캘리포니아 대학교 버클리 캠퍼스를 포함한 대학들과 전략적 파트너십을 발전시킬 예정이며, 향후 몇 주 내에 추가 파트너십이 발표될 예정이라고 허트는 전했습니다. 또한, 이 이니셔티브를 통해 아마존은 향후 3~5년에 걸쳐 연구 논문 모집을 통해 Trainium 크레딧을 보조금 형태로 학계 전반에 제공할 계획입니다. 연구자들은 이 보조금에 즉시 신청할 수 있으며, 이를 통해 대규모 분산 Trainium 클러스터를 위한 새로운 AI 아키텍처, 머신러닝 라이브러리 및 성능 최적화를 개발할 기회를 얻을 수 있을 것입니다.
Build on Trainium의 다음 단계
이번 새로운 이니셔티브를 통해 개발된 모든 코드는 오픈 소스 머신러닝 소프트웨어 라이브러리를 통해 제공될 예정입니다. 뉴욕대학교의 줄리안 토겔리우스(Julian Togelius)는 “아마존이 스타트업과 매우 적극적으로 협력해 온 만큼, 이제 학계를 대상으로 하는 것도 매우 논리적입니다. 이로써 더 많은 연구자들이 아마존의 클라우드 시스템을 활용하여 연구를 진행하고, 자신들만의 기업을 설립하여 AWS와 협력할 가능성이 높아질 것입니다”라고 말했습니다.
아마존은 이번 이니셔티브가 미래의 AI 전문가를 양성하는 데도 기여할 것이라고 언급했습니다. 예를 들어, Build on Trainium에 참여하는 연구자들은 Trainium을 위한 AWS의 기술 교육 및 지원 프로그램에 접근할 수 있을 뿐 아니라, 아마존의 칩 개발 조직인 Annapurna가 주도하는 Neuron Data Science 커뮤니티와 협력하게 될 것이라고 가디 허트(Gadi Hutt)는 설명했습니다.
성공의 열쇠: 지원 대상 선정
토겔리우스는 이번 이니셔티브의 성공 여부는 자원을 누구에게 어떻게 지원할지를 결정하는 데 달려 있다고 강조했습니다.
그는 “중요한 질문은 아마존이 이러한 자원을 어떻게 배분하여 빅테크 기업이 하지 못하거나 하지 않을 연구를 가능하게 할 것인가입니다”라고 말했습니다. 이어 “만약 아마존이 자원을 자사 내부에서 컴퓨팅 자원을 분배하듯이 분배한다면 큰 의미가 없을 것입니다. 이니셔티브는 대형 기술 기업들이 투자하지 않는 분야에 집중해야 합니다. 그 이유는 다양할 수 있습니다—너무 좁은 범위라든지, 실험적이라든지, 혹은 외관상 독특한 연구라든지—벤처 캐피탈이나 주주들에게 판매할 수 없는 연구 분야들입니다. 학계는 이러한 ‘독특함’에 더욱 집중해야 합니다”라고 덧붙였습니다.
마무리
이번 포스팅에서는 아마존의 새로운 이니셔티브 Build on Trainium이 생성형 AI 연구와 학계의 발전에 어떻게 기여할 수 있을지에 대해 살펴보았습니다. 이 프로그램은 학계 연구자들에게 고성능 컴퓨팅 자원과 오픈 소스 도구를 제공함으로써 AI 분야의 새로운 가능성을 열어줄 것으로 기대됩니다. 특히, 빅테크 기업이 쉽게 다루지 않는 실험적이거나 독창적인 연구를 지원하여 학계의 독립성과 다양성을 강화할 수 있을 것입니다. 앞으로 이 이니셔티브가 어떤 방식으로 연구와 교육에 변화를 가져올지, 그리고 AI 분야의 발전을 어떻게 이끌어 나갈지 주목해볼 필요가 있습니다.