이미지 크게보기 ‘딥러닝(deep learning)’ 방식의 인공지능(AI)은 다층·복합적 사고가 가능하다는 점에서 주목받고 있으나, 그 속내를 알 수 없다는 점은 풀어야 할 숙제다. AI 기술이 빠르게 발전하는 가운데 AI의 사고방식을 알아내기 위한 ‘XAI(Explainable AI·설명할 수 있는 AI)’ 연구도 진행되고 있다. 게티이미지뱅크

■ Science - ‘AI 투명성·윤리성’ 논란 확산

인간 뇌 구조 본뜬 AI 신경망
변수들 상호작용 ‘다층적 사고’
결론 근거는 인간이 알 수 없어

AI 의사·판사의 처방과 판결
설명 안되면 생명·인권 치명타
AI 설명하는 ‘XAI’ 연구 활발

인공지능(AI) 기술이 날이 다르게 발전하고 있다. 오픈AI의 ‘챗GPT’는 국내 이용자 수가 220만 명에 달하는 것으로 알려질 정도다. 이렇듯 AI가 우리 일상 속에 녹아들고 있지만 AI가 도대체 어떤 사고 과정을 거쳐 판단을 내리는지는 잘 알려지지 않았다. 이는 ‘블랙박스 현상’으로 불리는데 그만큼 AI가 내린 판단의 근거를 해석하기 어렵다는 의미를 담고 있다. 블랙박스 현상이란 인간의 질문에 대해 AI가 내놓은 답이 어떤 사고 과정을 거쳤는지 확인하기 어려운 현상을 의미한다. 이는 ‘딥러닝(deep learning)’, 즉 사람의 두뇌를 흉내 낸 인공신경망 기반 AI에서 자주 발생하는 문제로 향후 도래하는 ‘AI 시대’의 투명성·윤리성 논란과 직결될 수 있어 경각심이 필요하다는 지적이 학계에서 나오고 있다.

◇속을 알 수 없는 AI, ‘블랙박스 현상’ 왜 발생하나 = 딥러닝은 기계학습(machine learning) 중 사람의 뇌가 작동하는 방식을 컴퓨터에 접목해 신경망을 인공적으로 구현한 방식이다. 이 방식은 기존의 일차원적인 프로그래밍을 넘어서 다층적인 사고를 구현할 수 있고, 학습할 데이터의 크기에 따라 프로그램의 질이 유의미하게 변화한다는 점에서 각광받고 있다. 그러나 그만큼 프로그램이 복잡해지고, 그 내부를 들여다보기 곤란해지는 문제가 있다.

이는 ‘인공 신경망’의 구조적 특징 때문이다. 딥러닝 AI는 노드와 레이어들이 유기적으로 연결된 구조로, 이런 다층구조 속에서 많게는 수백억 개가 넘는 매개변수가 수학적 연산을 통해 상호작용한다. 챗GPT의 3세대 모델은 약 1750억 개의 매개변수를 이용하는데, 다양한 매개변수들이 상호작용하는 복잡한 구조에서 특정 변수가 출력 결과에 어떤 영향을 미치는지 콕 집어 규명하는 것은 매우 어렵다.

AI의 사고방식을 들여다보기 어려운 또 다른 이유는 AI가 숫자로 생각하는 존재이기 때문이다. 컴퓨터 프로그램인 특성상 결국 AI는 0과 1의 계산으로 사고할 수밖에 없다. 일련의 데이터를 학습시키는 과정에서 AI는 입력값과 출력값의 연관성을 확률로 판단한다. 예컨대 고양이의 외양을 학습한다고 가정했을 때, 사람의 경우 고양이의 털과 뾰족한 귀, 수염이 난 얼굴을 바탕으로 고양이라는 판단을 내린다. 그러나 AI는 수많은 동물의 모습을 학습하고 ‘이 동물의 모습을 학습 데이터와 비교했을 때 고양이일 확률이 가장 높다’고 판단한다.

지난 2016년 구글 딥마인드의 ‘알파고’가 화제였을 때 내로라하는 바둑 전문가들이 알파고의 수를 해석하기 어려워했던 이유가 여기 있다. 알파고는 딥러닝이라는 단어를 대중에 알린 상징적인 AI로, 19×19 크기의 바둑판 위 가능한 10의 171제곱 가지 경우의 수 중 가장 승리 확률이 높은 수를 찾아간다. 즉 이세돌 9단을 상대하는 알파고는 수의 의도를 읽고 한 수 한 수에 의미를 부여했다기보단 그저 승리 확률이 가장 높은 경우의 수를 찾았다는 것이다. 이렇다 보니 사람의 사고방식으로는 대체 이 수가 어떤 의도를 가지는지, 왜 이런 판단을 내렸는지 알 수 없다.

이미지 크게보기

◇투명성 없다면 윤리적·법적 문제 발생할 가능성도 = AI의 판단 과정이 불투명하다는 점은 윤리적·법적 문제로 이어질 수 있다. 예컨대 최근 취업 시장에서 흔히 찾아볼 수 있는 AI 면접에서 면접자는 자신이 왜 합격·불합격 통보를 받았는지 이해하기 어려울 수 있다. 이는 필연적으로 면접 과정의 공정성을 의심케 만든다. 즉 투명하지 않은 AI의 판단은 ‘밀실’에서 나온 결정과도 같은 셈이다. 이 경우 의사결정 시스템에 대한 불신을 야기할 수밖에 없다. 의료계나 법조계에서도 마찬가지다. 이런 중대 분야에서 AI가 사람에게 왜 이런 처방 또는 판결을 내렸는지 그 근거를 명확히 알 수 없다면 오진·오심이 발생할 경우 생명 혹은 인권 측면에서 중대한 침해가 발생할 수도 있다.

오는 15일 시행되는 개인정보보호법 시행령 개정안은 이 문제를 조금이라도 해소하기 위한 내용을 담고 있다. 신설된 개인정보보호법 시행령 제44조의2 등은 AI 등 자동화된 결정에 대한 정보 주체의 권리, 즉 ‘설명을 요구할 권리’를 구체화하는 조항이다. 사람의 개입 없는 ‘완전히 자동화된 결정’에 대해 정보 주체인 사람이 설명 또는 검토를 요구할 수 있다는 내용을 골자로 한다. 앞선 예시 중 의료·법조 등과 같이 권리 또는 의무에 중대한 영향을 미치는 경우엔 결정을 거부할 수도 있다.

◇‘설명할 수 있는 AI’, XAI 연구 통한 투명성 제고 필요 = AI의 ‘블랙박스’ 문제는 AI가 발전함에 따라 해결해야 할 숙제로 떠올랐다. 이에 최근 AI의 사고 과정을 해석하기 위한 XAI(Explainable AI) 연구도 활발히 진행되고 있다. XAI는 AI의 판단을 설명할 수 있는 AI로, 블랙박스 현상이 해결된 투명한 AI를 만들기 위한 연구 분야다. XAI를 구성하는 가장 좋은 방법은 AI 모델의 학습 단계에서부터 설명 가능한 모델을 만드는 것이다.

선형회귀(Linear Regression)와 같이 인간이 동작 원리와 학습 과정을 이해할 수 있는 알고리즘이라면 모델 자체로 설명이 가능하다. 그러나 최근 각광받는 신경망 모델은 그 원리와 과정을 명확히 설명하기 어렵다. 따라서 이런 모델에 대한 XAI 연구는 대부분 사후 설명을 도출하는 방향으로 이뤄진다. 현재 XAI 분야에서는 이미지 데이터 처리 분야가 특히 많이 발전된 것으로 알려졌다.

XAI 연구는 인간의 ‘설명을 요구할 권리’ 보장을 위해서라도 필요하다. AI의 의사결정 과정을 설명하기 위해선 그 사고방식부터 알아내야 한다. AI를 운용하는 개인정보처리자에게 XAI 기술이 필요한 이유다. 물론 수백억 개의 매개변수를 전부 확인해서 점검하는 일은 사실상 불가능하기 때문에, 어떤 의사결정 과정에서 작용한 매개변수들을 범주화시켜 다른 변수에 비해 더 많은 영향을 미친 주요 변수를 추려내는 것이다. 예컨대 AI 신용평가 결과를 XAI 기술로 분석한다면, 신용점수에 긍정적인 평가로 작용한 매개변수들을 범주화한 뒤 이를 다시 세부 범주로 나누어 보험료 납부 내역, 신용카드 사용 이력 등이 신용점수를 올리는 요인으로 작용했음을 추정하는 방식이다.

AI의 의사결정 과정을 사람이 해석할 수 있어야 한다는 점은 중요하다. 추후 ‘인공일반지능’으로 일컬어지는 AGI가 상용화되고 사회 전반에서 활용된다면 그 중요성은 더 커진다. AI가 더 중대한 의사결정에 활용되기 위해선 작동의 투명성과 신뢰성을 담보할 수 있어야 한다. 또 만약 잘못된 학습으로 왜곡된 사고방식을 가진 AI가 편향된 결정을 내린다면 이를 확인하고 시정할 수 있어야 한다.

구혁 기자 gugija@munhwa.com