인공지능의 관심도가 급격히 높아지면서 대중들의 상식이 점점 더 전문적인 깊이까지 다가가고 있는 듯 합니다. 이번 포스팅에서는 AI 에이전트란 무엇인지, 그리고 어떤 점이 흥미로운지 IEEE Spectrum에 올라온 글을 통해 전달합니다.
개요
인공지능(AI) 분야는 최근 AI 에이전트에 대한 논의로 뜨겁습니다. 마이크로소프트는 최근 고객 서비스, 영업, 공급망 업무를 간소화할 수 있는 자율 에이전트 세트를 출시했습니다. 유사하게, OpenAI는 다중 에이전트 시스템 간의 더 나은 협력을 탐구하기 위한 실험적 프레임워크인 Swarm을 공개했습니다. 한편, Anthropic의 대형 언어 모델(LLM)인 Claude는 에이전트 기반 AI를 한 단계 더 발전시키며, 화면에서 마우스 커서를 이동시키고 버튼을 클릭하며 가상 키보드를 사용해 텍스트를 입력하는 등 컴퓨터 활용 능력의 베타 단계를 선보이고 있습니다.
그렇다면, AI 에이전트란 정확히 무엇일까요?
아마존 웹 서비스(AWS)에서 AI 기반 소프트웨어 개발 보조 도구인 Amazon Q Developer의 제품 관리 이사 아드난 이자즈에 따르면, AI 에이전트는 특정 작업을 완료하거나 결정을 내릴 수 있는 고급 인공지능 시스템입니다. 그는 “인간이 목표를 설정하면, 에이전트는 스스로 최적의 행동 방식을 자율적으로 찾아냅니다”라고 설명합니다. 이러한 에이전트는 외부 시스템과 인터페이스하여 실제로 행동을 취할 수 있습니다.
뿐만 아니라, 에이전트 기반 AI는 피드백을 받고 지속적으로 작업을 개선할 수도 있다고 MIT 컴퓨터과학 및 인공지능 연구소의 조교수 윤 킴은 덧붙입니다.
AI 에이전트는 생성형 AI보다 더 발전된 형태라고 볼 수 있습니다. 두 기술 모두 LLM을 기반 모델로 사용하지만, 생성형 AI는 학습된 데이터의 패턴을 기반으로 새로운 콘텐츠를 생성합니다. 반면, 에이전트 시스템은 콘텐츠를 생성할 뿐만 아니라 환경에서 얻은 정보를 바탕으로 행동을 취할 수 있습니다. 이에 대해 이자즈는 “이 모든 것이 생성형 AI보다 한 단계 진화한 형태입니다”라고 강조합니다.
AI 에이전트의 작동 원리
AI 에이전트는 특정 작업을 수행하기 위해 일반적으로 세 단계의 워크플로를 따릅니다. 첫째, 사용자 지정 프롬프트를 통해 목표를 결정합니다. 둘째, 목표를 달성하기 위한 방법을 찾아 이를 더 작고 단순한 하위 작업으로 나누고 필요한 데이터를 수집합니다. 마지막으로, 지식 베이스와 수집한 데이터를 활용하여 태스크를 실행하며, 호출 가능한 기능이나 사용할 수 있는 도구를 적절히 활용합니다.
예를 들어, 항공편 예약을 생각해봅시다. “A에서 B까지 Y 날짜에 가장 저렴한 항공편 예약하기”라는 프롬프트를 AI 에이전트에게 제공했다고 가정합니다. AI 에이전트는 먼저 A에서 B까지 Y 날짜의 모든 항공편을 웹에서 검색하고, 검색 결과를 스캔하여 가장 저렴한 항공편을 선택합니다. 그런 다음, 항공사의 항공편 예약 플랫폼 API에 연결하는 함수를 호출합니다. AI 에이전트는 선택된 항공편을 예약하고, 지식 베이스에 저장된 정보를 바탕으로 사용자의 세부 정보를 입력합니다.
이자즈는 “에이전트 상호작용의 핵심은 시스템이 사용자가 달성하려는 목표를 이해하고 이를 자율적으로 수행할 수 있다는 점입니다”라고 설명합니다. 그러나 여전히 인간이 이 과정을 주도하며, 필요한 경우 개입할 수 있습니다. 예를 들어, 항공편 예약 AI 에이전트는 가장 저렴한 항공편에 좌석이 없을 경우 이를 사용자에게 알리도록 설계되어 사용자가 다음 단계를 결정할 수 있게 합니다. 이에 대해 이자즈는 “시스템이 올바른 방향으로 나아가지 않는다고 판단되면 인간이 이를 제어할 수 있습니다. 궁극적인 통제권은 인간에게 있습니다”라고 부연했습니다.
에이전트형 AI의 가능성과 함정
생성형 AI와 마찬가지로, 에이전트형 AI는 효율성과 생산성 향상을 약속합니다. 이 AI 에이전트는 일상적으로 인간이 지루하거나 반복적으로 느끼는 작업을 대신 수행할 수 있습니다.
MIT 컴퓨터과학 및 인공지능 연구소의 조교수 윤 킴은, 이러한 시스템이 충분히 신뢰를 얻게 된다면 개인 비서가 대신할 수 있는 작업—예를 들어, 일정 관리나 레스토랑 예약과 같은 일을 에이전트가 처리할 수 있을 것이라고 설명합니다.
여기서 핵심은 신뢰성입니다. 데이터 개인정보 보호와 보안은 에이전트형 AI의 주요 과제입니다. 아드난 이자즈는 에이전트가 방대한 데이터를 분석하고 수집하며 이를 기반으로 추론하기 때문에, 적절한 개인정보 보호 및 보안 가드레일이 필수적이라고 말합니다.
예를 들어, 캘리포니아 대학교 샌디에이고와 싱가포르 난양기술대학교의 연구진은 AI 에이전트를 부적절하게 도구를 사용하도록 속이는 데 성공한 사례가 있습니다. 이들은 악의적인 프롬프트 공격을 통해 사용자의 채팅 세션을 분석하고, 개인 식별 정보를 추출하여 이를 데이터 유출 명령으로 포맷해 공격자의 서버로 전달하는 방식의 공격을 설계했습니다. 이 공격은 Mistral AI의 대화형 비서 Le Chat에서도 작동했으며, 연구진은 보안 취약점을 회사에 알렸고 이를 통해 제품의 보안 패치가 이루어졌습니다.
사실적 정확성 또한 AI 에이전트의 또 다른 문제입니다. 에이전트는 종종 정보를 잘못 생성하는 ‘환각(hallucinations)’이라는 문제를 지닌 LLM을 기반으로 만들어집니다. 윤 킴은 AI 에이전트가 항공편에 대한 잘못된 정보를 제공하는 것은 바람직하지 않지만, 이는 대체로 심각한 문제로 이어지지는 않는다고 지적합니다. 하지만 그는 금융이나 의료와 같은 고위험 환경에서는 에이전트의 부정확한 출력이나 행동이 심각한 결과를 초래할 수 있다고 경고합니다.
에이전트형 AI는 아직 초기 단계에 있으며, 앞으로 발전하면서 사람들의 삶을 더 편리하고 생산적으로 만들 것으로 기대됩니다. 하지만 여전히 이들이 초래할 수 있는 위험에 주의가 필요합니다. 이자즈는 에이전트형 AI가 중요한 발전을 이루고 있으며, 이에 대한 많은 관심이 정당하다고 평가합니다. 그는 에이전트를 책임감 있는 AI 실천 원칙을 따르도록 설계한다면, 인간이 이를 유용한 도구로 활용할 수 있을 것이라고 덧붙입니다.
마무리
이번 포스팅에서는 에이전트형 AI의 가능성과 한계에 대해 살펴보았습니다. 에이전트형 AI는 일상적인 업무를 자동화하고 생산성을 높이는 데 큰 잠재력을 지니고 있지만, 신뢰성과 보안, 사실적 정확성 등 해결해야 할 과제도 여전히 많습니다. 기술이 발전함에 따라 이러한 문제들이 점차 해결되고, 에이전트형 AI가 우리의 삶에 실질적인 도움을 주는 도구로 자리 잡기를 기대합니다. 앞으로도 AI 기술의 발전과 그에 따른 사회적, 윤리적 논의에 지속적인 관심을 기울이는 것이 중요합니다.