빅데이터기반 SW의 기술로드맵

1. 기술로드맵

2. 개요

가. 정의 및 범위

• 정의 : 빅데이터(Big Data)란 기존 데이터베이스 관리도구의 능력을 넘어서는 대량(수십 테라바이트) 의 정형 및 비정형의 데이터로서 정치, 사회, 경제, 문화, 과학기술 등 전 영역에 걸쳐 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되고 있음
• 범위 : 빅데이터 기반 SW는 여러 기반 소프트웨어 분야 중 빅데이터 플랫폼에 사용되는 기반 SW로서 데이터를 수집, 저장, 처리, 검색, 공유, 분석, 시각화를 통해 빅데이터 (대용량/대규모데이터 및 초대용량/초대규모데이터)를 처리하는 소프트웨어를 의미

3. 시장현황 및 전망분석

가. 세계시장

세계 빅데이터 시장은 두 자리 수 이상의 성장세를 지속할 전망으로 ’16년 273억 달러에서 ’21년 620억 달러로 성장할 것으로 예측

수요 산업별로는 제조업, 은행업 등에서 동 기간 중 연평균 60% 이상의 초고속 성장이 예상되며 공공행정, 통신, 유통업 등에서도 ’19년 100억 달러 이상의 시장규모 형성 전망

[2011~2026년 빅데이터 세계 시장 규모 및 전망]

*출처: Wikibon, Statista

[ 빅데이터 세계 시장 규모 및 전망 ]

(단위 : 백만 달러, %)

[ 빅데이터 세계 시장 규모 및 전망 ]

구분	‘16	‘17	‘18	‘19	‘20	‘21	‘22	CAGR
세계시장	27,300	33,500	40,800	49,000	57,300	62,000	72,400	22.1%

*출처: WIkibon, Statista

빅데이터 산업의 급성장과 함께 전 세계적 투자붐 조성 중

• 신생 빅데이터 업체 중 상위 4개의 확보투자액이 ’14년 말 기준 약 700억 달러를 기록
• '15년 미국의 기술관련 VC 투자 중 11.3%인 66.4억 달러가 빅데이터 스타트업에 투입

[ 빅데이터 관련 주요 업체 투자 현황 ]

 

[ 빅데이터 관련 주요 업체 투자 현황 ]

업체명	확보 투자액	사업 분야
Mongo DB	231억 달러	문서 기반 데이터베이스
Mu Sigma	208억 달러	데이터분석 서비스(Daas)
Cloudera	141억 달러	Hadoop 기반 SW, 서비스
Opera Solutions	114억 달러	데이터분석 서비스(Daas)

ICT 산업의 발전에 따른 방대한 데이터 축적 및 데이터 분석 기술이 발전하면서 다양한 업종에서 빅데이터 시장 진출

• 마스터카드, 오라클 등 글로벌 기업들은 우수 기술 보유 스타트업을 M&A 하면서 빅데이터 선도 기업으로 성장
• 이들 기업들은 막대한 자본, 기술을 투입해 빅데이터 분석 기술(프로그래밍, 컴퓨팅 인프라) 고도화에 노력

[ 美 대기업들의 빅데이터 관련 스타트업 M&A 현황 ]

 

[ 美 대기업들의 빅데이터 관련 스타트업 M&A 현황 ]

구분	시점	인수액	피인수회사
Master Card	15.2Q	6억 달러	-Applied Predictive Technology -클라우드 기반 데이터 분석
ORACLE	14.1Q	4억 달러	-Bluekai -클라우드 기반 마케팅 서비스
YAHOO	14.3Q	3억 달러	-Flurry -모바일 정보 분석 및 광고 플랫폼
Microsoft	15.1Q	2억 달러	-Equivo -머신러닝 기술, 데이터 관리

*출처 : 산은조사월보, 2016. 10 제731호

빅데이터 선도국은 빅데이터 산업 활성화를 위한 필수 조건인 개인정보보호 관련 규제를 비교적 명확하게 규정

• 다양한 산업 데이터의 원활한 융합을 위해서는 명확한 개인정보보호법 정비, 유연한 데이터 공유 환경 필수적인 전제 조건
• 미국의 경우, 산업 분야별로 개인정보범위가 확립되어 모호한 해석에 따른 비효율 방지 및 성과 창출에 용이
• EU 및 일본의 경우 개인정보 범위가 비교적 명확히 규정되어있고 개인정보 이용의 사전 동의 뿐 아니라 사후동의도 허용하는 등 빅데이터 활용 여건 우수

[ 각국의 개인정보法 내용 ]

[ 각국의 개인정보法 내용 ]

구분	국가	내용
개인정보의 정의	미국	공공 통신 등 산업 분야별 개별법에 따라 상이
	EU	식별되거나 식별 가능한 자연인ʼ에 관한 정보
	일본	다른 정보와 쉽게 조합하여 특정한 개인 식별이 가능한 정보
동의방식	미국	개별법에 따라 상이한 사전 사후동의 방식 채택
	EU	사전 동의방식이 기본이나, 정당한 이익 추구시 사후동의 허용
	일본	사전 동의 및 사후동의 방식 동시 허용
제재	미국	개별법에 따라 상이한 형벌 또는 행정벌 규정
	EU	개인정보처리 위반 시 형벌 적용
	일본	시정권고조치 후, 추가 위반 시 형벌

*출처: 한국정보화진흥원(‘15.12), “개인정보보호 법제로 인한 빅데이터 활용 한계 사례”

나. 국내시장

국내 빅데이터 시장 규모는 ‘16부터 ‘21년도 까지 평균 26.9%가량 성장

• 기업들의 빅데이터에 대한 인식 호전과 중견·대기업의 투자 증가, 정부의 강력한 빅데이터 산업 육성의지에 따라 전년 대비 31.1%성장한 3,439.6억 원을 기록
• 특히 정보·공공 투자가 전년 대비 43.1% 성장한 998.6억 원으로 크게 확대되었으며 시장을 견인
• 민간 시장은 성장 잠재력은 높은 편이나 아직 금융, 통신 등의 일부 대기업에 한정된 수요로 인해 공공시장보다는 낮은 26.8% 성장세로 2,441억 원을 기록

국내 빅데이터 시장은 포털사, IT 업체 등이 자사 보유 데이터를 바탕으로 빅데이터 서비스 제공을 시작하는 초기 단계

• 국내 ICT 산업은 경쟁력이 높고 데이터 생산량이 많아 빅데이터 산업의 성장 잠재력이 크지만 도입의 필요성 인지 부족 및 개인정보법 등 법적 리스크로 활용은 저조한 상황

향후 사물인터넷, 클라우드와 빅데이터 연계가 이루어지면서 성장세는 지속될 전망

• 제품별 비중으로는 하드웨어(34.8%), 소프트웨어(27.7%), 서비스(27.2%) 순으로 높은 성장 예상
• 업종별로 보면 제조업, 물류, 유통, 금융, 의료 분야에서 높은 성장 예상

업계별 빅데이터 시스템 도입률 증가 추이

• 일반 기업의 빅데이터 시스템 도입률은 ‘15년 4.3%에서 ‘16년 5.8%로 전년대비 1.5%p 상승
• 중견·대기업은 ‘15년 9.6%에서 ‘16년 12.3%로 2.7%상승해 금융, 공공, 통신 분야를 중심으로 중견·대기업의 도입이 활발하게 진행 중
• 빅데이터 도입 및 활용을 원활하게 수행하기 위해서는 일정 수준 이상의 투자 여력이 있어야 하고, 분석할만한 데이터의 품질과 양이 충분하게 준비되어 있어야 함
• 빅데이터를 도입하지 않은 일반 기업의 60% 이상은 빅데이터 시스템 도입을 위한 논의가 진행되지 않은 단계
• 유통·서비스, 제조, 의료 등 전통적으로 데이터 분석 기반의 의사결정 구조가 약한 산업에서 빅데이터 도입에 대한 관심이 낮은 것으로 분석

국내 빅데이터 시장규모는 KISTI의 마켓리포트에 의하면 매년 고성장을 이룰 것으로 전망되며 국내 빅데이터 시작 규모는 2016년 약 3,300억 원을 시작으로 2021년까지 1조 원대 규모로 성장할 것이며, 국내 ICT 관련 산업에서 빅데이터가 차지하는 비중 역시 2020년에는 약 2.6%에 이르고, 세계 빅데이터 시장의 약 2%를 점유할 것으로 전망되며 현재 국내에는 SK텔레콤을 포함 센솔로지, 아크원소프트 등 14개의 대·중소기업이 빅데이터 솔루션 및 서비스 사업을 추진 중

[ 빅데이터의 국내 시장규모 및 전망 ]

(단위 : 백만 달러, %)

[ 빅데이터의 국내 시장규모 및 전망 ]

구분	‘16	‘17	‘18	‘19	‘20	‘21	CAGR
국내시장	332.8	422.7	539.3	692.1	893.8	1,134	26.9%

*출처: 한국정보화진흥원(‘16. 2)기반 ’21년 추정

4.기술분석

가. 기술환경 분석

빅데이터와 클라우드의 접목으로 클라우드는 어디에서든 찾아볼 수 있을 정도로 확산 중에 있으며 또한 기업에서 역시 클라우드를 채택하는 사례가 늘고 있음. 빅데이터가 이와 같은 클라우드의 성장에 한층 더 박차를 가하고 있음

SQL과 NoSQL간의 과도기로 업계 내 NoSQL의 입지가 더욱 굳건해 지고 있는 상황이며 NoSQL은 확장성, 유연성, 크기가 큰 데이터 집합을 신속하게 활용할 수 있는 역량을 제공할 수 있도록 고안되었다는 장점 보유

MarkLogic, Casandra, Couchbase, MongoDB와 같은 기업은 SQL 데이터베이스 시장에 새로운 혁신을 불러일으키고 있으며 새로운 영역에 대규모 생산을 구현함으로써 상당한 실적을 거두고 있음

Hadoop이 현 데이터베이스 아키텍처를 독점하든, Hadoop과 기타 데이터베이스 업체가 경쟁하는 양상을 보이든, 확실한 것은 바로 Hadoop이 오늘날 많은 기업에서 빅데이터 아키텍처의 일부를 구성하고 있다는 점

• 많은 기존 데이터 저장소 업체가 다양한 방식으로 Hadoop을 자사의 아키텍처에 접목하고 있음.
• 대표 데이터베이스 제공업체 중 일부는 시장 선두 기업으로 손꼽히는 Teradata, SAP, HP와 같은 Hadoop 업체의 서비스를 도입하고 있으며 IBM과 같은 기업은 이미 고유의 Hadoop을 개발한 상태
• 또 Spark와 Impala는 지속적으로 성장하며 기존의 시장을 한층 더 압박. 이렇듯 Hadoop은 향후 오랜 기간 동안 활용될 것으로 예상되며 현재 빅데이터 아키텍처의 필수 요소로 자리매김

[ Hadoop의 분산파일 시스템(HDFS) 처리 구조 ]

대규모 데이터 레이크란 별도로 정제되지 않은 자연스러운 상태의 대규모 데이터를 의미하는 개념으로 현재는 초기 단계이며 데이터 레이크는 한없이 쏟아지는 대규모 데이터를 효율적으로 보관, 관리 및 사용하는 문제와 관련하여 몇 가지 근본적인 해결책을 제시하기 위한 개념

Google이나 Facebook 같은 최첨단 기업들은 이미 데이터 레이크를 효율적으로 활용하는 방안을 수립한 상태이나 데이터 레이크를 본격적으로 활용하는 기업은 아직 극소수에 불과하며 Gartner에서 지적한 바 있듯이 데이터 레이크를 효율적으로 활용하기 위해서는 새로운 관리 방식이 필요하다는 점에 주목해야 할 것

최근 몇 십 년 동안은 분석 워크로드가 운영 프로세스를 방해하는 것을 방지하기 위한 방법으로 운영 시스템과 분석 시스템을 분리해서 운영 중

• 2014년 초 가트너는 데이터 중복 없이 온라인 거래처리(OLTP)와 온라인 분석처리(OLAP)가 모두 가능한 새로운 데이터 플랫폼 시대를 예측하며 HTAP(Hybrid Transaction/Analytical Processing; 하이브리드 트랜잭션/분석 프로세싱)를 언급한 바 있음
• 많은 수의 업계 선도 기업들이 고객 선호도, 경쟁력 강화 및 비즈니스 상황 변화 등에 신속하게 대응할 수 있도록 실시간 운영 업무와 대용량 데이터 분석업무를 결합하는 방식을 채택함으로써 컨버지드, 즉 통합 방식이 주류로 떠오를 것으로 예측되며 이와 같은 통합 방식은 기업의 데이터 실행(data-to-action) 단계를 가속화하고 데이터 분석과 비즈니스 성과 실현간의 시간차를 좁힐 수 있을 것

데이터 기술은 주기적으로 중앙처리 방식에서 분산처리 방식으로 또 그 반대로 반복적으로 이동을 거듭하며 발전해 왔으며 초기 빅데이터 솔루션은 데이터 중복 제거, 간소화된 관리 및 360도 고객 분석을 포함한 다양한 애플리케이션 지원 등에 초점을 두었으나 2016년 대규모의 기업들은 다양한 디바이스, 데이터 센터, 활용사례 관리 및 데이터 보안 규정 변경 등 빅데이터 운용 시 발생하는 이슈에 대응하기 위해 분산처리 방식으로 점차 이동 중이며, 분산처리 방식의 도입은 사물인터넷(IoT), 빠른 네트워크, 센서(Sensor) 대중화 및 엣지 프로세싱(Edge Processing) 분야의 지속적인 성장에 힘입어 앞으로 더욱 확산될 것으로 예상

기업들은 모든 데이터에서 가치를 이끌어내려 할 것이며, 이는 단순히 IoT(Internet of Things)가 아니라 통찰력을 제공할 수 있는 IoAT 데이터(기기, 센서, 기계를 넘어 서버 로그, 지리적 위치, 인터넷의 데이터 등으로부터 생성된 것 등)를 말함

5.핵심요소기술 선정

확정된 요소기술을 대상으로 중소기업에 적합한 핵심요소기술 선정

[ 빅데이터 기반 SW 분야 핵심요소기술 ]

빅데이터 기반 SW 분야 핵심요소기술

분류	핵심요소기술	개요
수집	실시간 데이터 수집 기술	실시간으로 정형/비정형 데이터를 효율적인 방법으로 수집하는 기술
	스토리지 통합 기술	스토리지에 저장된 데이터베이스, 공공DB 등 다양한 데이터 소스에 있는 데이터를 통합하는 기술
저장	대용량 트랜잭션 데이터 저장 기술	데이터를 블록 단위가 아닌 레코드 단위로 실시간으로 저장하고 조회하고 처리할 수 있는 NoSQL과 같은 비구조적 저장소 및 검색엔진 기술
	인메모리 저장 기술	대용량의 데이터를 메모리 영역에서 저장하고 운영하는 일종의 데이터베이스로 매우 빠른 입력 및 읽기 성능을 제공하는 저장 기술
분석/처리	실시간 빅데이터 분석/처리 기술	수집/저장된 대량의 데이터를 실시간으로 분석하고 처리하는 기술
	초대용량 데이터 일괄처리 기술	대용량의 다양한 형식을 가진 데이터를 일괄적으로 처리할 수 있는 기술 및 글, 사진, 음악, 동영상과 같은 다양한 형태의 초대용량 데이터를 처리하는 기술
	네트워크 분석 기술	사람, 조직, 사물 등의 연결 구조와 연결 강도 등을 바탕으로 영향력을 측정하고 확산 내용과 함께 연결의 맥락을 파악해 분석하는 기술
시각화	데이터 시각화 기술	데이터 분석 결과를 시각화여 유의미한 정보를 표현하는 기술
	서비스 시각화 기술	사용자가 빅데이터 분석 결과를 쉽게 이해하고 탐색할 수 있도록 UX를 적용한 웹/모바일 서비스를 구현하는 기술