이미지 크게보기 지난 12일 서울 영등포구 여의동 전국경제인연합회 콘퍼런스 센터에서 열린 한국경제연구원 ‘빅데이터 산업 활성화를 위한 정책과제 모색’ 세미나에서 참석자들이 발표자의 발언 내용을 경청하고 있다. 한국경제연구원 제공

‘公기관 정보’ 기업들은 접근 어려워… 동영상 등 ‘비정형’ 분석기술도 부족

분석 인력도 전세계 수요 못따라가… “빅데이터 이미 환멸기 진입” 분석도

빅데이터가 ‘21세기 산업의 쌀’로 주목받으며 향후 시장이 크게 성장할 것으로 기대되고 있지만 아직 현실적으로 많은 기업이 빅데이터를 활용하는 데 어려움을 겪고 있다.

특히 정보보호 문제, 데이터 확보 문제, 분석 역량 및 전문가 부족 문제 등이 빅데이터 활용을 어렵게 하는 요인들로 꼽힌다. 이 같은 어려움으로 인해 빅데이터 시대가 개화하기도 전에 이미 빅데이터 ‘환멸기(Trough of Disillusionment)’에 접어들었다는 분석도 나온다.

24일 관련 업계와 LG경제연구원에 따르면 기업이 활용하는 데이터의 범위가 넓어지면서 개인정보보호 문제가 과제로 떠올랐다.

현행 정보통신망법 등 개인정보보호 관련 법령상 개인정보를 수집하고 이용하고자 할 때는 이용자의 사전동의를 반드시 받아야 하기 때문이다. 그러나 빅데이터는 대량의 데이터를 수집하고 처리해야 하는 작업이므로 개인들에게 사전동의를 일일이 받기가 쉽지 않다는 문제가 있다.

빅데이터는 다른 데이터와 결합, 재사용될 때 실제로 가치를 발현하게 되는데, 정보 활동 방법에 대한 사전 동의는 이것을 어렵게 만든다.

지난해 말 방송통신위원회가 내놓은 ‘빅데이터 개인정보보호 가이드라인’에 따르면 기업은 특정 개인을 식별할 수 없도록 하는 비식별화 조치를 취한 경우에 한해 이용자들의 동의 없이 개인정보를 수집·이용하고 이를 제삼자에게 제공할 수 있으며 이용자가 거부 의사를 표시하지 않는 한 내부에서 이용할 수 있다.

그러나 비식별화가 생각보다 쉽지 않다는 점이 문제다. 수집되는 데이터 소스가 다양해지고 데이터 마이닝 등 분석 기법이 정교해지면서 개인정보 비식별화는 점점 더 어려워지고 있다.

실제로 미국 매사추세츠공대(MIT) 컴퓨터공학부에 재학 중인 학생들은 페이스북의 인맥 정보 등을 활용해 비공개 정보도 간접적으로 개인을 특정할 수 있음을 증명했다. 개인들이 공개하기를 원하지 않는 정보도 다른 공개된 정보를 조합함으로써 알아낼 수 있음을 보여주는 사례다.

개인정보보호 문제 이전에 데이터 확보도 쉽지 않은 작업이다. 외부 데이터는 고사하고 기업 내부 데이터들도 파편화돼 통합돼 있지 않은 경우가 많기 때문이다. 데이터를 생산하는 주체, 분석하는 주체, 사용하는 주체가 다 다르기 때문에 빅데이터로 만들어지지 못하는 경우가 많다.

외부 데이터의 경우, 정부 및 공공기관이 보유한 각종 통계 데이터, 기후 정보, 지도 정보 등 비교적 어렵지 않게 확보할 수 있는 데이터도 있지만, 기업의 입장에서 시간이나 비용 등의 대가를 지불하더라도 확보하기 어려운 데이터도 많다. 특히 이미지, 텍스트, 동영상 등 비정형 데이터들은 확보하기도 어렵지만 의미 있는 결과를 얻을 수 있을 정도로 기술 수준도 충분히 발달하지 못한 상태다.

2014년 기업이 분석 중인 빅데이터 형태를 묻는 가트너의 조사 결과에 따르면, 정형 데이터인 거래 정보를 분석하고 있는 기업은 전년 대비 9% 증가한 79%인 반면, 비정형 데이터인 로그 정보를 분석하고 있는 기업은 오히려 2% 하락한 58%로 나타났다.

역량 있는 분석 인력 확보도 난망이다. 빅데이터와 분석 솔루션을 갖추었다고 할지라도 가치 있는 결과를 도출해낼 수 있는 데이터 과학자가 없다면 무용지물이다. 데이터 과학자는 기술, 산업, 통계에 대한 다양한 전문 지식을 바탕으로 여러 소스를 통해 유입된 데이터 속에서 숨겨진 가치를 찾아내고 의미 있는 통찰력을 제시할 수 있는 인재다.

전 세계적으로 데이터 과학자에 대한 수요는 급증하고 있는 반면, 공급이 수요를 따라가지 못하면서 인력 수급의 불균형 문제가 나타나고 있는 상황이다. 미국의 시장조사기관 액센츄어는 자국 내에서 2010년과 2015년 사이에 40만 명의 데이터 분석 관련 일자리가 생겨날 예정이지만 이에 적합한 자격을 갖춘 인력은 14만 명 정도에 불과할 것으로 분석했다. 영국의 비영리단체인 ‘e-skills UK’도 오는 2017년까지 자국 내 빅데이터 인력의 수요는 6만9000명으로 전망되나 공급은 절반에도 못 미칠 것으로 예측했다.

국내에서 빅데이터 관련 인력 수급의 불균형은 보다 더 심각한 문제가 될 것으로 전망되고 있다. 2017년까지 국내에서 빅데이터 전문 인력으로 1만4000명 정도가 필요하지만, 현재 국내 6개 대학원에서 배출되는 인력은 170명 정도에 불과한 것으로 조사됐다.

이에 따라 빅데이터에 대한 회의론도 나타나고 있다. 가트너는 2014년 기준으로 빅데이터가 과잉 기대의 정점을 지나 환멸기 단계에 진입했다고 보고했다. 빅데이터의 효과에 대한 의문도 꾸준히 제기되고 있다. 2013년에 미국의 컨설팅 회사인 인포침스의 조사 결과도 전체 빅데이터 프로젝트 중 절반 이상이 실패했으며 성공한 기업들조차 운영 효율 측면에서는 성공하지 못했다고 발표한 바 있다.

임정환 기자 yom724@munhwa.com