이미지 크게보기

‘AI 레드팀 챌린지’ 분석 결과 소개
AI 모델의 잠재적 위험 사전 파악해
신뢰·안전성 확보할 수 있도록 지원




과학기술정보통신부는 26일 국내를 대표하는 인공지능(AI) 분야 기업 관계자, 연구자 등 200여 명이 참석한 가운데 ‘AI 신뢰·안전성 콘퍼런스’를 열었다고 밝혔다.

이날 AI 분야 석학으로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수는 녹화 기조 강연에서 "최첨단 AI 모델의 위험에 대한 효과적인 관리를 위해 각국 국내법-국제협약 간 상호 조화가 필요하다"고 말했다. 이어 "과학 측면에서 AI 모델의 정렬과 통제가 중요한 이슈로 정량적으로 측정 가능한 AI 모델의 위험 평가, 위험 관리 기술을 확보하기 위한 정부 지원 확대와 AI 안전연구소의 역할이 필요하다"고 강조했다.

두 번째 기조 강연자 오혜연 카이스트 AI연구원장은 전략자산으로서 AI의 중요성을 강조하면서 AI기술이 글로벌 사회에 미치는 영향을 소개하고, AI 안전 분야의 새로운 시장 창출과 기업 경쟁력 확보 관점에서 관련 정책의 추진 전략을 소개했다.

국내 업계 발표자로 나선 박규병 튜닙 대표는 ‘AI 안전장치(가드레일)’ 솔루션을 활용한 위험 탐지 및 대응 방안을 소개했고, 한국정보통신기술협회(TTA)로부터 국내 AI 모델 첫 인공지능 신뢰성 인증을 받은 김동환 포티투마루 대표는 거대언어모델(LLM) 신뢰·안전성 확보 방안을 발표했다.

이날 컨퍼런스에 참석한 네이버·카카오·삼성전자·SKT·KT·LG AI연구원 등 6개 기업은 지난 5월 책임 있는 AI 개발·활용을 위한 자발적 이행을 약속한 ‘AI 서울 기업 서약’ 이후 관리 방안 수립, 기술 연구, 내부 거버넌스 마련 등 이행 방안을 공유했다. 이들 기업은 향후 AI신뢰·안전성 확보를 위한 노력을 강화해 나가기로 약속했다.

한편 이날 행사에서는 네이버·SKT·업스테이지·포티투마루 등 국내 AI 기업 4개 사의 AI 모델을 대상으로 진행한 ‘생성형 AI 레드팀 챌린지’에서 찾아낸 잠재적 위험과 취약점이 소개됐다. TTA는 이들 기업의 AI 모델에 대한 대규모 공격 시도를 분석한 결과 발견된 잘못된 정보, 편견 및 차별, 불법 콘텐츠 생성 및 정보 제공 등 7가지 문제 유형을 소개했다.

과기정통부는 이 결과를 활용해 생성형 AI 안전 체계를 구축하고 국내 기업이 자사 AI 모델의 잠재적 위험을 사전에 파악해 신뢰·안전성을 확보할 수 있도록 지원할 계획이다.

아울러 이날 진행된 ‘제2회 AI 신뢰성 대상’ 시상식에서는 다비오의 ‘다비오 어스아이2.0’이 대상인 과기정통부 장관상을 받았다. 이 모델은 위성, 영상 이미지의 공간 정보 분석 등을 통해 시각화, 모니터링, 탐색 등 기능을 제공하며, 신뢰할 수 있는 ‘AI 개발 안내서’에 기반해 자체적인 데이터 품질 관리 과정을 적용해 개발한 점이 높은 평가를 받았다고 과기정통부는 전했다.

송상훈 과기정통부 정보통신정책실장은 "정부가 지속적으로 추진해온 AI신뢰·안전성 정책의 노력에 호응해 최근 산업계·학계에서도 AI신뢰·안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다"며 "정책 지원을 강화하는 한편 AI안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다"고 강조했다.

구혁 기자