이미지 크게보기 로이터 연합뉴스

일반인들은 셰익스피어 등 유명 시인의 시와 생성형 인공지능(AI) 챗GPT3.5가 이를 모방해 지은 시를 구분하지 못하는 것으로 나타났다. 또 두 시를 제시하고 평가할 경우 AI가 지은 시를 더 선호했다.

특히 두 시를 비교한 사람들은 사람이 창작한 시의 복잡성을 AI가 만들어낸 ‘일관성 없음’으로 착각하고 생성형 AI가 얼마나 인간과 유사해 보일 수 있는지에 대해 과소평가한 것으로 나타났다.

미국 피츠버그대 브라이언 포터 박사팀은 15일 과학 저널 사이언티픽 리포트에서 일반인들에게 유명 시인 10명의 시와 이들의 시를 모방해 챗GPT3.5가 지어낸 시를 제시한 뒤 이를 구분하고 평가하게 하는 두 가지 실험에서 이 같은 결과를 얻었다고 밝혔다.

연구팀에 따르면 우선 연구팀은 첫 실험으로 1634명을 대상으로 AI가 생성한 시와 유명 시인의 시를 구별하는 테스트를 했다. 두 번째 실험에서는 696명을 대상으로 AI의 시와 시인들의 시에 대해 아름다움, 리듬, 독창성 등 14가지 특성을 평가하게 했다.

실험에서는 14세기 시인 제프리 초서부터 윌리엄 셰익스피어, 월트 휘트먼, TS 엘리엇 등 유명 시인 10명의 시 50편과 챗GPT3.5가 이들의 시를 모방해 지은 시 50편이 사용됐다.

특히 첫 번째 실험에서 유명 시인의 시 5편과 AI의 시 5편을 무작위로 제시한 다음 시인과 AI의 시를 구별하도록 한 결과 정확도는 46.6%에 불과했다. 우연히 맞힐 수 있는 확률보다도 못한 셈이다.

두 번째 실험에서는 참가자들을 세 그룹으로 나눈 다음 각 그룹에 시를 제시할 때 시에 대해 ‘사람이 쓴 시’ ‘AI가 쓴 시’ ‘출처 정보 없음’ 등 정보를 주고 그 시의 질과 아름다움, 감정, 리듬, 독창성 등 14가지 특성을 평가하게 했다.

그 결과 ‘AI가 쓴 시’라는 말을 들은 참가자들은 실제 시인이 쓴 시인지 AI가 쓴 시인지 관계없이 ‘사람이 쓴 시’라는 말을 들은 참가자들에 비해 13가지 특성에서 낮은 점수를 줬다.

그러나 시의 출처 정보가 없다는 말을 들은 참가자들은 AI가 생성한 시를 시인들이 쓴 시보다 더 높은 점수를 준 것으로 나타났다.

연구팀은 "시는 생성형 AI가 아직 인간과 구별할 수 없는 수준의 작품을 쓰지 못하는 텍스트 영역 중 하나로 여겨져왔다"면서도 "하지만 이 연구 결과는 생성형 AI의 능력이 시에서도 이미 사람들의 기대를 넘어섰음을 보여준다"고 평가했다.

임정환 기자