夜雨聆风중국에서 인공지능(AI)으로 조작한 가짜 사진을 이용해 전자상거래 환불을 요구하는 사례가 늘어나자, 당국이 AI 생성 여부를 판별하는 기능을 도입했다.
18일 앙스신원(央视新闻, CCTV)에 따르면, 국가반사기센터앱(国家反诈中心App)은 최근 ‘AI 콘텐츠 감정(鉴定)’ 기능을 새롭게 추가했다. 사용자는 이미지·영상·음성·텍스트 등을 업로드해 AI 생성 흔적 여부를 검사할 수 있다. 해당 기능은 주로 사기 범죄에 사용되는 위조 콘텐츠를 식별하기 위해 개발됐다.
최근 중국 전자상거래 업계에서는 구매자들이 AI로 조작한 ‘문제 상품 사진’을 이용해 ‘반품 없는 환불(仅退款)’을 요구하는 사례가 잇따르고 있다. 상품은 그대로 보유하면서 환불까지 받는 방식이다.
허베이성 신지시(辛集市)에서 무화과 묘목을 판매하는 장 씨도 피해를 입었다. 그는 지난달 한 라이브커머스 플랫폼에 입점해 무화과 묘목을 판매했는데, 단 12건의 주문 이후 환불 요청을 받았다. 구매자는 “묘목이 말라 죽었다”며 잎이 누렇게 변한 사진을 증거로 제출했다.
하지만 장 씨는 “건강한 묘목을 화분째 배송했고 배송 기간도 이틀에 불과했다”며 의심을 품었다. 그는 “정상적으로 수분이 빠진 식물이라면 잎이 쭈글쭈글 처져야 하는데, 사진 속 묘목은 정상 잎의 색만 노랗게 바꾼 것처럼 보였다”고 주장했다.
장 씨는 AI 조작이라고 판단해 환불 요청을 거부하고 반품 후 환불을 요구했지만, 구매자는 플랫폼 중재를 신청했다. 결국 플랫폼은 몇 분 만에 구매자 측 손을 들어주며 ‘반품 없는 환불’을 승인했다. 45위안(약 9900원) 손해를 본 장 씨는 결국 해당 플랫폼에서 철수하기로 결정했다.
이 같은 사례는 온라인상에서도 잇따라 공유되고 있다. 일부 상인들은 “옷걸이 5개가 똑같은 위치에서 동시에 부러진 사진”, “휴대전화 케이스 파손 부위에 비현실적인 균열이 나타난 사진”, “깨진 팔찌가 속이 빈 껍데기처럼 표현된 사진” 등을 AI 조작 사례로 제시했다. 겉보기에는 그럴듯하지만 자세히 보면 물리적·논리적 오류가 드러난다는 설명이다.
이런 가운데 국가반사기센터 앱의 AI 감정 기능이 주목받고 있다. 기자가 온라인에서 수집한 의심 사례 이미지 10장을 해당 앱과 여러 AI 감정 도구에 넣어 분석한 결과, 모두 “AI 생성 흔적이 포함됐다”는 판정을 받았다. 장 씨가 제출받은 무화과 묘목 사진 역시 같은 결과가 나왔다. 반면 기자가 직접 촬영한 일반 사진은 “합성 흔적이 발견되지 않았다”는 판정을 받았다.
중국의 한 인터넷 플랫폼 시각 알고리즘 책임자인 란쥔(兰钧)은 “AI 감정 기술은 소형 모델과 대형 모델을 결합해 작동한다”며 “소형 모델은 AI 생성 콘텐츠 패턴을 학습하고, 대형 모델은 이미지 속 물리적 결함이나 논리적 오류를 분석한다”고 설명했다.
업계에서는 AI 위조 대응의 핵심은 결국 ‘AI로 AI를 잡는 것’이라고 보고 있다. 현재 비교적 성숙한 감정 도구들은 실제 사진을 잘못 판정하는 사례를 줄이면서도 AI 생성 콘텐츠를 비교적 정확히 찾아내고 있다는 평가다.
전문가들은 AI 위조 이미지로 환불을 요구하는 행위가 사실상 민사 사기에 해당한다고 지적한다. 이를 방치할 경우 전자상거래 시장 질서를 해칠 수 있다는 것이다.
베이징우전대학(北京邮电大学)의 인터넷 거버넌스·법률연구센터의 셰융장(谢永江) 주임은 “플랫폼은 거래 질서와 소비자·판매자의 권익 보호를 위해 AI 콘텐츠 감정 기술을 도입할 의무가 있다”고 전했다.
