영상의 딥페이크 여부를 구분하지 못해 발생하는 위험을 방지하기 위해 AI로 생성되거나 조작된 정보는 별도로 표시하도록 의무화하는 방안이 필요하다는 주장이 제기된다.
딥페이크는 AI로 만든 가상의 정보를 말한다. 다만 사실과 같이 정교하게 만들어져 가짜임을 구분하기 어렵다는 점이 문제로 꼽힌다. 콘텐츠에 생동감과 현실감을 불어넣는 등 유용하게 쓰일 수 있지만, 타인 사칭 범죄나 합성음란물 등에 악용돼 사회적 혼란과 개인의 피해를 초래할 수도 있다.
국회입법조사처는 ‘딥페이크 식별을 위한 AI 생성물 표시 의무 입법 방안’ 보고서를 통해 AI로 만든 정보임을 표시해 사람들이 딥페이크를 쉽게 식별해 위험을 예방하게 할 필요가 있다고 주장했다.
분야별 딥페이크 규제와 AI 관점의 일반 규제가 서로 맞물리는 ‘이중 안전장치’가 마련돼야 한다는 지적이다.
해외는 이미 식별방법 마련 중
실제 유럽연합(EU)과 미국은 이미 AI 생성물 표시에 관한 법제를 완성했으며, 우리나라 역시 다수의 법률안이 발의된 상태다.
EU는 ‘인공지능법’ 제50조를 통해 AI 제공자와 배포자에게 AI 생성물임을 표시하는 의무를 부과하는 한편 딥페이크 식별 기반을 만들었다. 제50조 제2항은 제공자는 AI 산출물임을 기계 판독한 형식으로 표기해 AI로 생성 또는 조작됐다는 것을 탐지할 수 있도록 해야 한다고 명시한다.
제50조 제4항에서는 배포자에게 해당 콘텐츠가 AI로 생성 또는 조작됐다는 것을 공개할 의무를 부과하고 있다.
EU의 ‘디지털서비스법’ 제35조에서는 초대형 온라인 플랫폼 및 초대형 온라인 검색엔진 사업자가 실존 인물·물체·장소 등과 상당히 유사하고 진실인 것처럼 보이도록 생성 또는 조작된 콘텐츠를 온라인에 게시하기 위해선 생성·조작된 것임을 눈에 잘 띄게 표시하는 의무를 부과한다.
미국의 경우 연방 차원의 AI 일반법은 없지만, 정부공공기관에 AI 관련 의무를 부과하기 위해 지난해 12월 바이든 대통령의 행정명령이 시행되고 있다.
행정명령 제3조는 딥페이크를 합성 콘텐츠로 규정하고, 합성콘텐츠의 진위와 출처 확인 방안을 마련하도록 했다. 이에 따라 정부는 상무부장관을 중심으로 콘텐츠 진위여부를 확인하고 출처를 추적하는 방법, 합성콘텐츠를 탐지하는 방법 등 AI로 생성한 정보를 식별하는 기술을 개발해야 한다.
한국, AI 법안 논의 한창
우리나라는 올해 9월 30일 기준 11건의 인공지능법안이 발의돼 있으며, 이중 5건의 법안이 생성형 AI로 만든 콘텐츠는 해당 사실을 표시하도록 규정한다. 생성형 AI를 이용해 제품 또는 서비스를 제공하려는 자는 해당 제품 또는 서비스의 결과물이 생성형 AI에 의해 생성됐다는 사실을 표시해야 한다.
다만 실제 법률 집행 과정에서 무엇이 생성형 AI인지 판단하기 쉽지 않고 의무 불이행에 대한 처벌 조항이 없어 이행력 확보에 어려움이 우려된다는 의견이 제시된다.
보고서는 표시 의무 적용 범위를 ‘AI로 생성한 콘텐츠’ 등 명확하게 설정할 필요가 있다고 제언했다. 다만 피해 가능성이 분야는 예외로 설정하는 것이 적절하다고 설명했다.
또 AI 모델을 개발, 판매하는 자에게는 기계 판독한 메타정보 제공과 같은 식별가능성 확보 의무를 부과하고, AI 모델을 자신의 제품·서비스에 활용하는 자에게는 AI로 생성된 정보임을 표시하는 의무를 부과해 딥페이크의 대량생산에 대응해야 한다는 의견도 제시됐다.
이용자가 직접 오픈소스 등으로 AI를 만들어 생성한 콘텐츠는 타인에게 공개·제공할 때 표시하도록 규정하는 방안도 고려할 수 있다. 딥페이크 콘텐츠를 유통하는 온라인 플랫폼은 적법한 표시 의무를 이행하지 않은 콘텐츠에 대한 처리 방침을 명확히 공개하고 부적절한 표시가 됐다고 신고된 콘텐츠에 대해서는 삭제 또는 임시조치하도록 할 필요성이 제시된다.
끝으로 제도 정착을 위해 정부의 지원도 필요하다고 보고서는 강조했다.
보고서는 “AI 발전 속도를 고려한다면 앞으로 딥페이크는 더욱 증가하고 정교해질 것”이라며 “지금처럼 피해자의 신고에 의존하거나 규제기관의 모니터링으로 차단하는 방식은 한계에 직면할 수밖에 없다”고 설명했다.
그러면서 “딥페이크가 만들어지고 유통되는 단계에서 적절하게 표시될 수 있도록 의무화하는 것이 필요하다”고 밝혔다.
