개발사 “진행 중인 작업”
인공지능(AI) 챗봇 ‘챗GPT’를 제작한 스타트업 ‘오픈AI’가 AI 작성 텍스트 탐지 도구를 내놓았다. 아직은 정확도가 높지 않다는 평가를 받고 있지만, 향후 정확도를 끌어올릴 경우 AI가 작성한 텍스트를 구분할 수 있게 된다.
미국 캘리포니아주 샌프란시스코에 본사를 둔 오픈AI는 지난달 31일(현지 시각) 홈페이지를 통해 ‘AI작성 텍스트 탐지’ 앱 베타버전을 공개했다.
오픈AI는 이 도구의 자체 평가를 시행하였으나 적발 성공률이나 정확도가 높게 나오지 않았다고 설명했다. 평가 결과 이 도구는 AI가 작성한 텍스트 중 26%에 대해 ‘AI 작성 가능성 높음’으로 판정했다. AI 작성 텍스트 4개 중 1개만 걸러낼 수 있는 수 있는 수준인 것이다. 사람이 쓴 글에 대해 AI가 쓴 것이라고 잘못 판정한 ‘위양성’(false positive)의 비율도 9%에 달했다.
영문 기준으로 1000자 미만의 짧은 텍스트에서 판정의 신뢰성이 특히 낮았다. 입력 텍스트의 길이가 증가할수록 신뢰성이 높아지는 경향을 보였다.
평가에 쓰인 텍스트는 모두 영문이었으며, 인간이나 챗GPT뿐만 아니라 다른 챗봇들이 생성한 것도 포함됐다.
오픈AI가 이런 도구를 내놓은 것은 작년 11월 말 일반에 공개한 챗GPT가 사기, 스팸발송, 표절 등에 악용될 우려가 있다는 지적에 따른 것이다. 챗GPT는 다양한 주제에 대해 마치 사람이 쓴 것처럼 보이는 글을 몇 초 혹은 몇십 초 만에 만들어내는 능력을 보여 공개 직후부터 글로벌 돌풍을 일으키고 있다.
그러나 특히 교육계를 중심으로 우려가 제기되기도 한다. 학생들이 과제물 작성을 챗GPT로 하는 등 악용의 가능성이 있다는 것이다. 작년 12월에는 미국 의사면허 필기시험의 3개 부분 모두에서 챗GPT가 합격 점수를 받기도 했다.
오픈AI는 이번 ‘AI작성 텍스트 탐지기’에 대해 “완전히 신뢰할만한 것은 아니다”라며 “진행 중인 작업”이라고 설명했다. 그러면서 AI가 쓴 텍스트를 모두 탐지해내는 것은 불가능하지만, 교육자나 고용주 등이 텍스트가 어디서 비롯됐는지를 가려내는 데 보조 수단으로 쓰일 수 있을 것이라고 설명했다.
또한 오픈AI는 명확한 하나의 정답이 있는 내용의 경우에도 이것이 AI의 작품인지 아닌지 탐지할 수 없다고 밝혔다. 컴퓨터 코드의 경우도 이 도구로는 AI가 짠 것인지 여부를 가리기 어렵다고 덧붙였다.
