처음엔 신기하고 놀라웠던 딥페이크 기술은 이제 전세계 안보의 위협으로서 다가오고 있습니다. 기술이 발전하는 만큼 이를 제한하는 역할 역시 더 필요해지는데, 이것이 쉬운일은 아닙니다. 이번 포스팅에서는 딥페이크 탐지 기술을 연구하는 뉴욕 대학교의 연구성과를 소개한 IEEE Spectrum 글을 통해 관련 내용을 소개합니다.

개요

오늘날 디지털 세계에서 인공지능을 활용하여 제작된 하이퍼리얼리즘 비디오와 오디오, 일명 딥페이크가 점차적인 위협으로 대두되고 있습니다. 딥페이크는 콘텐츠를 조작하거나 날조하여 진짜처럼 보이게 함으로써, 시청자를 기만하고 허위 정보를 확산시키며 평판을 훼손하는 데 사용될 수 있습니다. 그 남용은 정치적 선전, 사회적 조작, 신원 도용, 그리고 사이버 범죄까지 확장됩니다.

딥페이크 기술이 더욱 정교해지고 접근 가능해지면서 사회적 피해의 위험 또한 증가하고 있습니다. 딥페이크에 대한 연구는 탐지 방법을 개발하고, 인식을 높이며, 개인적, 직업적, 그리고 글로벌 영역에서 발생할 수 있는 피해를 완화하기 위한 법적 체계를 마련하는 데 필수적입니다. 딥페이크와 관련된 위험과 그 잠재적 영향을 이해하는 것은 미디어와 디지털 소통에서 신뢰를 유지하기 위해 필수적입니다.

여기에서 뉴욕대 탠던 스쿨의 컴퓨터 과학 및 공학, 전기 및 컴퓨터 공학 부교수인 친메이 헤지 교수가 중요한 역할을 합니다.

헤지 교수는 AI 안전성 전반에 걸쳐 관심이 있다고 하면서, “AI와 같은 기술이 급격히 발전하고 빠르게 개선될 때, 이를 악용하여 해를 끼치려는 사람들에 의해 쉽게 악용될 수 있는 영역”이라고 말했습니다.

인도 출신인 헤지 교수는 세계 여러 곳에서 생활해왔습니다. 그는 텍사스 휴스턴에서 라이스 대학교에서 학업을 이어갔고, 매사추세츠 케임브리지에서 MIT의 계산 이론(TCO) 그룹에서 박사 후 연구를 수행했으며, 아이오와 주립대 전기 및 컴퓨터 공학과에서 교수직을 역임했습니다.

헤지 교수는 데이터 처리 및 머신러닝 전문가로, 이미지 및 컴퓨터 비전, 교통, 소재 설계 등 다양한 응용 분야에서 발생하는 데이터 처리 문제를 해결하기 위해 빠르고 견고하며 검증 가능한 알고리즘을 개발하는 연구에 집중하고 있습니다. 탠던 스쿨에서 컴퓨터 과학 및 공학 교수인 나시르 메몬 교수와 협력하면서 딥페이크에 대한 관심을 키웠습니다.

그는 “불과 6년 전만 해도 생성 AI 기술은 매우 기초적이었습니다. 당시 학생 중 한 명이 어두운 배경에 하얀 원을 생성하는 모델을 보여줬고, 그때만 해도 그것에 모두 깊은 인상을 받았죠. 그런데 이제는 테일러 스위프트, 버락 오바마, 교황의 고화질 가짜 영상이 나오는 시대입니다. 이 기술이 얼마나 발전했는지 놀랍기만 하죠. 제 생각에는 여기에서 더 발전할 가능성이 높습니다.”라고 전했습니다.

헤지 교수는 NYU 탠던 공과대학의 연구팀을 이끌고, 실시간 딥페이크(RTDF)로 알려진, 실제 사람을 실시간 비디오와 음성 통화에서 모방할 수 있는 고도화된 인공지능 생성 가짜 오디오와 비디오에 맞서 싸우기 위한 새로운 접근법을 개발했습니다.

최근 가짜 비디오를 이용한 2,500만 달러 사기 사건을 포함하여 고위험 딥페이크 사기 사건들이 이미 발생하고 있어, 효과적인 대응책의 필요성이 분명해지고 있습니다.

두 개의 개별 논문에서 연구팀은 “도전-응답” 기법이 현재 RTDF 생성 파이프라인의 내재적 한계를 악용하여, 모방의 품질을 저하시키고 그 속임수를 드러낼 수 있음을 보여주었습니다.

“GOTCHA: 실시간 비디오 딥페이크 탐지를 위한 도전-응답”이라는 제목의 논문에서 연구진은 사용자가 실제 사람과 소통하고 있지 않다는 신호를 제공하는 8가지 시각적 도전 과제를 개발했습니다.

헤지 교수는 두 논문 모두를 이끌면서, “대부분의 사람들은 온라인에서 인간임을 확인하는 CAPTCHA에 익숙할 것입니다. 우리의 접근 방식은 RTDF가 적절히 응답할 수 없는 질문이나 요청을 함으로써 본질적으로 그 기술을 반영하는 것”이라고 설명했습니다.

연구팀은 47명의 참가자로부터 56,247개의 비디오 데이터를 수집하여 얼굴을 일부러 가리거나 얼굴 일부를 덮는 등 다양한 도전 과제를 평가했습니다. 인간 평가자는 딥페이크를 감지하는 데 약 89%의 AUC 점수를 달성했으며 (80% 이상이 매우 우수한 것으로 간주됨), 머신러닝 모델은 약 73%의 AUC 점수를 기록했습니다.

헤지 교수는 “얼굴 앞에 손을 빨리 움직이거나 극적인 표정을 짓거나 조명을 갑자기 변경하는 등의 도전 과제는 실제 사람에게는 간단하지만, 현재의 딥페이크 시스템이 실시간으로 이를 설득력 있게 재현하기는 매우 어렵습니다”라고 설명했습니다.

딥페이크 탐지를 위한 오디오 도전 과제

또 다른 논문 “AI를 활용한 도전-응답 방식을 통한 딥페이크 오디오 통화 태그 지정”에서는 22개의 오디오 도전 과제를 다양한 범주로 나누어 연구했습니다. 가장 효과적인 과제 중 일부는 속삭이기, 입을 가린 채 말하기, 높은 음조로 말하기, 외국어 단어 발음하기, 배경 음악이나 말소리가 있는 환경에서 말하기 등이 포함되었습니다.

헤지 교수는 “최신 음성 복제 시스템조차도 이러한 독특한 음성 과제를 실시간으로 수행할 때 품질을 유지하기 어렵습니다. 예를 들어, 속삭이거나 비정상적으로 높은 음조로 말하는 경우 오디오 딥페이크의 품질이 크게 저하될 수 있습니다”라고 전했습니다.

이 오디오 연구에는 100명의 참가자와 160만 개 이상의 딥페이크 오디오 샘플이 포함되었으며, 인간 단독, AI 단독, 인간과 AI 협력 방식의 세 가지 탐지 시나리오가 적용되었습니다. 인간 평가자는 딥페이크 감지에서 약 72%의 정확도를 달성했으며, AI 단독의 경우 85%의 정확도로 더 높은 성능을 보였습니다.

협력 방식에서는 인간이 초기 판단을 내린 후 AI 예측을 보고 결정을 수정할 수 있도록 하여 약 83%의 정확도를 달성했습니다. 또한, 인간이 확신을 가지기 어려운 경우 AI가 최종 결정을 내릴 수 있는 시스템이었습니다.

연구팀은 이 기술이 현실에서 실용적으로 사용될 수 있도록 설계되었다고 강조하며, 대부분의 도전 과제가 몇 초 내에 완료될 수 있다고 설명했습니다. 일반적인 비디오 도전 과제는 빠른 손 동작이나 얼굴 표정을 포함할 수 있으며, 오디오 도전 과제는 짧은 문장을 속삭이는 정도일 수 있습니다.

헤지 교수는 “이러한 과제는 실제 사람에게는 쉽고 빠르지만, AI가 실시간으로 위조하기는 어렵습니다. 도전 과제를 무작위로 적용하거나 여러 과제를 결합하여 보안을 더욱 강화할 수 있습니다”라고 밝혔습니다.

딥페이크 기술이 계속 발전함에 따라 연구팀은 도전 과제의 구성을 더욱 정교하게 하고, 감지 방법을 한층 더 강화할 수 있는 방안을 모색할 계획입니다. 특히 여러 과제를 동시에 수행하는 “복합” 도전 과제 개발에 큰 관심을 가지고 있습니다.

헤지 교수는 “온라인에서 대화하고 있는 상대를 신뢰할 수 있도록 방해 요소 없이 신원을 확인할 수 있는 신뢰성 있는 도구를 제공하는 것이 목표입니다. AI가 더 나은 위조 기술을 개발할수록, 우리는 더 나은 감지 방법을 개발해야 합니다. 이러한 도전-응답 시스템은 그 방향으로 나아가는 유망한 단계입니다”라고 전했습니다.

마무리

이번 포스팅에서는 인공지능을 활용한 딥페이크 기술의 위협과 이를 감지하기 위한 도전-응답 방식의 최신 연구를 살펴보았습니다. 딥페이크가 진화하면서 그 악용 가능성도 함께 커지고 있으며, 이에 대응하기 위한 신뢰성 있는 탐지 방법이 필요합니다. 연구팀이 제안한 영상 및 오디오 도전 과제들은 사용자가 일상 대화 중 간편하게 활용할 수 있는 동시에, AI 위조 기술에 효과적으로 대응할 수 있는 가능성을 보여주었습니다. 앞으로 딥페이크 탐지 기술이 더 발전하여 디지털 환경에서의 신뢰성을 더욱 높이는 데 기여하기를 기대합니다.