데이터 엔지니어란

빅데이터의 활용이 일상 곳곳에 스며든지 오래이다. 마케팅, 영업, 시장조사 등 빅데이터를 활용하지 않고서는 현대사회는 제대로 기능하지 않을지경이다. 그만큼 데이터의 활용이 중요해진 시대이고, 데이터 엔지니어는 이러한 배경에 힘입어 그 중요도가 오르고 있는 직업이다.

데이터 엔지니어는 일종의 번역가라고 볼 수 있다. 산발적이고 다양한 형태로 존재하는 데이터들을 수합하여 활용할 수 있게끔 가공하고, 플랫폼을 구축하는 일을 수행한다. 사업 진행에 필요한 자료를 위해 정보를 수치화하고, 통계를 낼 수 있게끔 가공한다고 보면 될 것이다.

과학기술정보통신부와 한국데이터산업진흥원이 발표한 '2020 데이터산업 현황조사'에 따르면 한국에서 데이터 직무 인력으로 근무하고 있는 인원은 총 101,967명이며 그 중 데이터 엔지니어는 16.1%를 차지한다. 33.4%를 차지하는 데이터 개발자에 이어 두번째로 많은 비중을 차지하고 있다.

데이터 엔지니어의 전망

기업과 시장으로부터 도출되는 정보의 양은 늘면 늘었지 줄어들지는 않는다. 또한 AI, 빅데이터 관련 시장이 지속적으로 성장하고 있는만큼 이들 사업을 진행함에 있어서 필수적인 데이터 전처리 과정 또한 필연적으로 그 규모가 증가할 것으로 보인다. 때문에 데이터를 종합하고, 분석하여 활용할 수 있게끔 가공하는 데이터 엔지니어의 중요성 또한 지속적으로 높아질 것으로 전망된다.

일례로 지난 7월 20일 과기부는 나노종합기술원에서 진행한 '공공 나노팹 운영혁신 자문위원회'에서 AI·데이터 기반 나노팹 공정 스마트 서비스 구축을 추진할 계획을 밝히며 2026년까지 총 270억원을 투입할 예정이다.

기존에는 나노·반도체 분야의 공정 서비스가 운영인력의 경험과 노하우에 의존하여 운영되었다면, 차후로는 공정·장비의 빅데이터와 더불어 장비간 데이터를 연계하는 AI를 기반으로 스마트 운영서비스를 구축한다는 것이다. 이 스마트 운영 서비스를 구축함에 있어 장비간 데이터를 체계화하여 플랫폼을 구축할 수 있는 데이터 엔지니어가 필수적이다.

이외에도 스마일게이트, 안랩, 이노그리드, 그로우, 크래프톤 등 다양한 기업에서 데이터 엔지니어를 채용한다고 밝한 바 있다.

데이터 엔지니어가 되려면?

데이터 엔지니어가 되기 위해서는 프로그래밍 언어에 대한 이해, 네트워크와 알고리즘을 익히는 것이 중요하다. 서울과기대, 서울여대, 가톨릭대, 동명대, 한림대 등 여러 대학에서 데이터사이언스 학과(부)를 개설하여 운영중에 있으며, 해당 학과 과정을 경험해보는 것이 큰 도움이 될 수 있다.

대학과정이 아니더라도 한국데이터산업진흥원에서 운영중인 데이터 엔지니어링 강좌 등을 통해 관련 교육을 수강할 수 있다.

관련 자격증으로는 SQLD(SQL개발자), DAP(데이터아키텍처 전문가), DAsP(데이터아키텍처 준전문가) 등이 있으며 Hadoop, MYSQL 등을 다룰 수 있는 실무경험 또한 익히는 것이 중요하다.