캐나다의 저명한 커뮤니케이션학 권위자인 마셜 매클루언은 1988년 저서「지구촌 : 21세기 인류의 삶과 미디어의 변화」를 통해 과학기술의 발전으로 ‘지구촌’ 사회로 나아갈 것이라고 예측했다. 고도화된 디지털·ICT 기술의 발전으로 코로나 발발 이후 물리적 접촉을 줄이는 ‘언택트’ 상황에서도 메타버스·화상통화 등을 통해 세계인의 디지털적 거리는 계속해서 줄어들고 있다.
가까워진 거리만큼 인류는 과거에는 상상하지도 못할 정도의 정보를 창조해내고 있다. IT 컨설팅 기업으로 유명한 미국의 IDC((International Data Corporation)는 인류가 ‘하루 평균’ 생산하는 데이터는 2016년 기준 약 440억 기가바이트라고 밝히면서, 오는 2025년에는 4630억 기가바이트로 10배 이상 증가할 것으로 전망했다.
과거 미국의 버클리 캘리포니아주립대학 정보경영시스템대학원 연구팀이 내놓은 ‘2003 세계 정보량 보고서’에 따르면 연구진은 당시 전 세계에서 생산된 정보량을 54억 기가바이트로 추산하고 있다. 20여 년 전 1년 동안 생산된 정보가 오늘날 단 하루 동안 생산하는 정보량의 1/9 수준밖에 되지 않는다는 것이다.
정보 생산량이 폭증하고 있는 이유는 스마트폰 메신저, 소셜 미디어(SNS), 인터넷 커뮤니티 등에서 전 세계 사람들이 쌍방향으로 소통하면서 막대한 문자, 사진, 영상 등의 데이터가 생산되기 때문이다. 그 밖에도 쿠키(Cookie) 형태로 인터넷 사용자의 접속경로, 통신환경 등을 기록하는 수치 데이터 또한 존재한다. 이러한 정보들의 합을 ‘빅데이터’라고 부른다.
문제는 빅데이터의 절대적인 정보량이 방대하기 때문에 더 이상 인간의 정보처리 능력으로는 수집, 가공할 수가 없다는 것이다. 따라서 데이터 속에서 통계학적 방법론을 활용하여 일정한 패턴을 찾아내고, 거시적인 관점에서 분석하는 ‘빅데이터 분석가’의 필요성이 대두되고 있다.
빅데이터 분석가가 하는 일
빅데이터 분석가는 빅데이터의 관리, 분석을 통해 일정한 방법론(알고리즘)을 이용하여 통계모델을 만드는 것이 주 업무다. 이렇게 만들어진 통계모델을 통해 해당 빅데이터를 생산한 이용자들의 행동패턴, 경제활동, 트렌드 등을 확인할 수 있도록 시각화 하는 작업도 수행한다.
이렇게 빅데이터를 통해 도출된 분석 결과는 다양한 분야에서 사용될 수 있다. 예를 들어, 기업에서 신제품을 출시해야 한다면 빅데이터 분석을 통해 신제품을 구매하기 원하는 잠재고객을 파악하는 것도 가능하다. 또한, 영상 플랫폼이나 오픈 마켓에서 해당 사용자가 원할만한 콘텐츠를 자동으로 추천하는 시스템도 빅데이터 분석으로 이뤄지는 것이다.
시장 분석 외에도 빅데이터 분석가는 사기 방지, 재해 등 위험 관리, 인터넷 보안 등의 분야에서도 활동한다. 날씨, 위치 정보, 군중의 행동 패턴과 같은 데이터도 분석 가능하기 때문이다.
빅데이터 분석가의 현황과 비전
빅데이터 분석가는 현재 금융, 미디어, IT 기업 등 대기업을 중심으로 데이터를 실질적으로 생산·저장하는 기업에서 채용하고 있다. 향후 4차산업혁명 기조에 따라 모든 산업군이 디지털 환경으로 옮겨가게 된다면 빅데이터 분석가는 일반 회사에서도 마케팅 직무와 함께 반드시 필요한 직무가 될 것으로 예측되고 있다. 민간 고용시장뿐만 아니라 정부에서도 디지털 뉴딜 사업을 통해 ‘공공데이터포털’ 등 16개의 빅데이터 플랫폼을 구축하고 있는 상황이다.
앞으로 민간, 공공 등에서 빅데이터 분석가에 대한 수요는 크게 증가할 것으로 전망된다. 하지만 현재 확보되어 있는 전문 인력은 상당히 부족하므로 빅데이터 분석가로서 성장한다면, 향후 채용 가능성은 상당히 높다고 볼 수 있다.
빅데이터 분석가가 되는 방법
빅데이터 분석은 컴퓨터 공학과 통계학, 비즈니스 능력이 필요하다. 기본적으로 디지털 공간에서 업무가 이뤄지므로 컴퓨터 전반에 대한 이해와 프로그래밍 능력이 전제되어야 한다. 또한, 파편화된 데이터 속에서 유의미한 패턴을 찾아내야 하므로 통계 능력을 갖춰야 한다. 따라서 대학에서 컴퓨터공학, 통계학을 전공하는 것이 빅데이터 분석가로 성장하는 데 도움이 된다.
사설 교육기관 및 정부기관의 아카데미에서 빅데이터 분석가 양성 과정에 참여하는 것도 좋은 방법이다. 이외에도 한국데이터산업진흥원에서 데이터분석전문가, 데이터분석준전문가 국가자격을 시행하므로 자격 취득을 통해 전문가로서 인정받을 수도 있다.