월마트 · 자라,
'21세기 원유'를 시추하다

비정형화된 데이터들이 범람하는 시대에 기업이 어떻게 원하는 형태로, 원하는 주제를 분석, 결과를 도출할 것인가는 향후 트렌드 예측의 밑거름이 된다. 특히 유통업계는 빅데이터 분석 엔진을 통해 효율적인 장바구니 분석이 가능하기 때문에 데이터 생산부터 활용까지 통합적인 접근법이 필요하다.

빅데이터는 말 그대로 직역하면 ‘커다란 데이터’를 말한다.
2011년 맥킨지(Mckinsey)는 빅데이터를 단순히 크기에 초점을 맞춰 ‘일반적인 데이터베이스의 소프트웨어가 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터’라고 정의했다. 같은 해 글로벌 미디어 기업 IDG는 좀 더 고도화된 차원에서 ‘다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터로부터의 초고속 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 아키텍처’라고 정의했다.
이후 빅데이터와 관련된 다양한 정의가 등장했는데, IBM의 더그 레이니(Doug Laney)는 빅데이터를 데이터의 ‘처리 용량(Volume)’, ‘다양성(Variety)’, ‘처리 속도(Velocity)’의 3V라고 말했다. 또한 솔루션 업체 EMC는 여기에 1V를 더해 ‘판매자(Vender)’의 중요성을 언급했으며, ‘가치(Value)’까지 더해지며 5V 콘셉트가 등장하기도 했다.
지금까지 등장한 빅데이터에 대한 정의는 모두 다른 말처럼 들리지만 한편으로는 모두 같은 말이다. 이렇듯 빅데이터는 아직 확실히 정의하기에는 다소 포괄적 용어이며, 앞으로 지속적으로 진화, 발전하는 개념이라고 할 수 있다. 특히 데이터 자체로는 큰 의미가 없고, 그것을 어떻게 어떤 방식으로 다뤄 의미 있는 가치를 창출해 낼 것인가에 초점이 맞춰지고 있다.

얼마나 커야 빅데이터인가?
빅데이터란 기존 데이터에 비해 너무 커서 기존의 방법이나 도구로는 수집, 저장, 검색, 분석, 시각화 등이 어려운 데이터 세트를 대상으로 그것을 가능하게 하는 풀 프로세스 영역의 기술을 의미한다고 할 수 있다. 여기서 ‘얼마나 큰가’는 상대적인 개념이지만, 하나의 데이터 세트 용량이 수십 테라바이트(terabyte) 이상 혹은 페타바이트(petabyte)를 초과할 경우 빅데이터라고 하는 것이 일반적이다.
구글의 수석 이코노미스트 할 베리언(Hal Varian)은 “데이터를 얻는 능력, 데이터를 이해하는 능력, 가치를 뽑아내는 능력, 시각화하는 능력, 전달하는 능력은 향후 10년간 엄청나게 중요해질 것”이라고 언급한 바 있다.
가트너(Gatner)는 빅데이터가 ‘21세기 원유’가 될 것이며, 미래 경쟁우위를 좌우하는 요소라고 예견했다. 2012∼2013년 가트너가 선정한 10대 미래 전략기술을 보면, ICT(Information and Communication Technology ; 정보통신 기술) 트렌드를 예감할 수 있다. 새롭게 부상한 기술들이 1∼2년 사이 보편화되고, 다시 새로운 기술이 떠오를 정도로 ICT 업계의 트렌드는 빠르게 변하고 있다.
2013년 미래 전략기술...기사전문보기