이미지 크게보기 게티이미지뱅크

■ AI안전연구소 오늘 출범

AI發 위험 예측해 피해 최소화
윤리·안정성 위해 통제방안 연구

英·美등 이어 5번째 국가연구소
AI 서울정상회의 후속으로 개설
글로벌 AI 안전·신뢰 선도 조치

AI 기술대비 규제 간극 커지면
사회 全분야 잠재적 사고 위험↑

오픈AI의 챗GPT(ChatGPT)가 불러일으킨 생성형 인공지능(AI) 열풍은 우리 사회의 모습을 크게 바꾸고 있다. 단순 번역·요약에 사용되던 생성형 AI는 이제 그림을 만들고 촬영한 적 없는 영상을 만들어내며, 급기야 작곡도, 녹음도 한 적 없는 음악을 만들어내는 수준에 도달했다. 이렇듯 AI가 급성장하다 보니, AI 기술이 가진 잠재적 위험에 대한 우려 역시 함께 커지고 있다. AI 기술을 악용하는 범죄나, 인간의 통제를 벗어난 AI가 스스로 진화하며 인류를 위협한다는 다소 공상과학영화 같은 우려도 이제는 설득력을 얻고 있다.

AI 기술을 개발·개선해 다양한 문제를 해결하는 데 목적을 두는 AI 연구와 달리 AI 안전연구는 AI의 위험을 예측, 최소화하고 더 나아가 신뢰성과 안정성을 보장하는 데 목적이 있다. 27일 출범한 AI안전연구소는 이처럼 AI 안정성을 확보하기 위한 국가 차원의 연구를 맡는다. AI안전연구소는 AI의 기술적 한계, 인간의 AI 기술 오용, AI 통제력 상실 등으로 발생하는 다양한 AI 위험에 체계적·전문적으로 대응하기 위한 AI 안전연구 전담조직이다.

이미지 크게보기

◇빠르게 발전하는 AI, 인류 위협 우려도=산·학계 전문가들은 AI 기술이 빠르게 발전하고 확산함에 따라 AI시스템의 오작동이나 악의적 사용 등 각종 잠재 요인이 인류 사회를 위협할 것으로 보고 있다. 특히 인간보다 나은 수준의 지능을 갖춘 ‘범용인공지능’(AGI·Artificial General Intelligence)이 본격적으로 개발·확산할 경우, 스스로 진화·학습한 AGI가 인간의 통제를 우회해 예상조차 하기 힘든 일들이 벌어질 것이라는 우려다.

세계적인 AI 권위자인 요슈아 벤지오 캐나다 맥길대 교수는 최근 캐나다에서 열린 행사에서 “AGI가 인간 지능을 뛰어넘는 것을 목표로 하는 만큼 기계가 곧 인간 수준의 인지 능력을 가질 수 있을 것”이라고 말했다. 이어 “인간은 AI 시스템 위험을 완전히 제어하는 방법도 모른다”며 “특히 AI가 자율적으로 의사를 결정할 경우 인간 통제를 벗어날 가능성이 있다”고 강조했다.

벤지오 교수가 지난 5월 발표한 보고서에 따르면 AGI의 주요 위험 유형은 악의적 사용·오작동·시스템적 위험·교차위험 등 4가지다. 악의적 사용은 AI를 가짜 콘텐츠 생성이나 피싱 공격 등에 악용하는 경우다. 최근 사회적 화두인 동의 없는 딥페이크 생성 역시 AI를 악용한 사례로 볼 수 있다. 나아가 생성된 허위 정보가 여론 조작에 교묘히 쓰이면 피해는 더 커진다. 기능에 대해 충분히 이해하지 못하고 시스템을 부적절하게 활용해 예상 밖의 오작동이 발생하는 경우도 주요 위험이다. 잘못 학습한 AI가 편향성을 가지고 인종·나이·성별 등 차별적인 결과를 내놓는 경우가 있다. AGI가 광범위하게 도입되면서 발생할 사회·경제·문화 전 영역에서의 영향도 우려된다. 우선 산업계에 AI가 광범위하게 도입되면서 발생할 대규모 실업, AI 주도국과 추종국 간의 격차 확대 등 시스템적 위험이 거론된다. 또 AI에 금융·의료 등 사회 기간 시스템이 의존하면서 개인의 건강이나 금융 등 민감 정보가 유출될 우려도 존재한다. 나아가 앞서 언급한 여러 잠재 위험이 복합적·교차적으로 작용할 경우 위험성은 더 커진다. AI의 사고방식을 인간이 이해할 수 없는 ‘블랙박스’ 현상과 기술발전 대비 규제대응의 속도 차이에서 오는 간극은 인간이 AI를 완벽히 통제할 수 없을 것이라는 우려에 신빙성을 더한다.

◇글로벌 어젠다 된 AI 윤리·신뢰·안전=상황이 이렇다 보니 AI의 발달과 위험은 이미 국제사회 의제로 자리 잡았다. 경제협력개발기구(OECD)가 지난 2019년 5월 AI 원칙 권고안을 채택한 이래, 주요 선진국들은 책임 있는 AI에 대한 글로벌 공조에 합의하는 추세다. 2020년 6월엔 우리나라를 포함해 미국·영국·독일·프랑스·일본 등 29개국이 참여한 ‘AI에 대한 글로벌 파트너십’(GPAI)이 출범했고, 지난해 5월 히로시마 주요 7개국(G7) 정상회의에선 포용적 방식으로 생성형 AI에 관한 논의를 지속하는 ‘히로시마 AI 프로세스’가 수립됐다. 지난해 11월 영국 블레츨리 파크에서 열린 ‘제1회 AI안전성 정상회의’엔 한국·미국·중국 등 28개국과 기업 관계자들이 참석해 “인간 중심적이고, 신뢰할 수 있으며, 책임 있는 AI 기술 보장을 위해 포용적인 방식으로 협력한다”는 내용이 담긴 블레츨리 공동선언에 합의했다. 1차 정상회의의 후속으로 지난 5월 개최된 ‘AI 서울 정상회의’에선 세계 10개국 정상 및 유럽연합(EU) 정상들이 안전하고 혁신적이며 포용적인 AI를 위한 ‘서울 선언’을 채택했다. 한국은 이 행사에서 이날 설립된 한국 AI안전연구소 계획을 발표했고, 국내외 14개 주요 기업이 책임 있는 AI 개발과 활용을 위해 ‘서울 AI 기업 서약’을 발표하기도 했다.

◇해외 각국은 이미 연구소 개설 =영국 정부는 지난해 11월 세계 최초로 AI안전연구소를 설립해 올해 2월 AI 안전 테스트 연구 초기결과를 발표하는 등 본격적인 연구활동을 시작했다. 과학혁신기술부(DSIT) 산하 기관인 영국 AI안전연구소는 첨단 AI 시스템 위험성 평가, AI 안전 및 위험 연구 촉진 등을 목표로 연구를 진행 중이다. 미국 정부도 지난해 12월 ‘안전하고 신뢰할 수 있는 AI 개발 및 사용에 관한 행정명령’을 발표하고 상무부 산하 국립표준기술연구소(NIST) 내에 AI안전연구소를 설립했다. 미국의 경우 민간 컨소시엄 구축을 통한 안전한 AI 글로벌 표준 확립에 주력하고 있다. 일본은 지난 2월 경제산업성 산하 기관인 정보처리추진기구(IPA) 내에 AI안전연구소를 설립했고, AI 안전 평가·기준 연구를 수행하면서 영국·미국 AI안전연구소 등과의 협력도 맡고 있다. 캐나다 정부는 이달 13일 혁신과학산업부 산하 기관으로 AI안전연구소 설립을 발표했다.

유엔 AI 고위급 자문기구는 다양한 형태의 AI 가이드라인이 다양한 국가·민간기업·컨소시엄 중심으로 형성돼 왔으나, 여전히 대표성 등 격차가 존재해 글로벌 거버넌스가 부재한 상황이라 평가한 바 있다. 특히 지금까지의 AI 거버넌스 대화는 미국·영국·독일·프랑스·캐나다·이탈리아·일본 등 7개국을 중심으로 진행돼왔다. 한국 AI안전연구소 출범은 국가적 대표성이 있는 AI 거버넌스 체제가 생긴다는 점에서 글로벌 AI 거버넌스 대화에 적극 참여할 수 있게 된다는 데 의의가 있다. 유상임 과학기술정보통신부 장관은 “우리도 AI안전연구소를 중심으로 글로벌 AI안전 연대의 주도적인 역할을 수행해 AI안전 연구허브로 발전해 나갈 수 있도록 적극 지원하겠다”고 강조했다.

구혁 기자 gugija@munhwa.com