사용자 삽입 이미지

- [딜라이트닷넷 창간3주년 특별기획/ 빅데이터③]

가트너는 2015년까지 포춘 500대 기업 대부분이 빅데이터 분석에 도전하겠지만 이중 85%는 실패할 것이라고 예측한 바 있습니다. 주목해야 할 점은 85%의 실패보다는 15%의 성공입니다. 빅데이터 분석에 성공하는 기업의 비결은 무엇일까요?

전문가들은 성공적인 빅데이터 분석을 위해서는 기술, 사람, 비즈니스 인사이트가 필수적이라고 지적합니다.

◆ 빅데이터 성공요소 ‘기술’ = 빅데이터가 주목을 받는 이유는 과거 기술로는 처리할 수 없었던 데이터들을 처리하고, 분석할 수 있는 새로운 기술들이 등장했기 때문입니다.

하 둡/맵리듀스가 가장 대표적인 빅데이터 기술이라고 볼 수 있습니다. 하둡은 대용량 데이터 처리를 위해 대규모 분산처리를 지원하는 프레임워크입니다. 맵리듀스는 대량의 데이터를 다수의 서버에 나눠 집계•가공하는 맵(Map) 과정과 처리 결과를 하나의 표에 정리해 출력하는 리듀스(Reduce)라는 과정을 반복하면서 비구조적 데이터를 처리해 나갑니다.

하둡/맵리듀스는 관계형 데이터베이스로는 엄두도 내지 못했던 데이터들을 분석의 대상으로 삼을 수 있게 한다는 점이 가장 큰 장점입니다.

최 근에는 CEP(복합 이벤트 처리)나 스트리밍 분석도 빅데이터 분석의 방법론으로 떠오르고 있습니다. 과거 비즈니스인텔리전스 기술은 일정 기간 저장된 데이터를 모델링 하고, 분석해 결과를 얻었습니다. 하지만 현대 기업들은 그렇게 한가하지 않습니다. 이 때문에 실시간 분석의 가치가 높아졌습니다. CEP는 실시간으로 발생하는 많은 이벤트 중에서 의미가 있는 것을 추출해 분석하는 기술입니다. 센서네트워크 등으로 통해 실시간으로 쏟아지는 무수한 데이터 등에서 필요한 데이터를 선별해 분석할 수 있습니다.

인 메모리 분석 기술도 빅데이터 시대를 맞아 인기를 끌고 있습니다. 이 역시 빠른 분석을 위한 것입니다. SAP는 HANA라는 인메모리 기반의 DB를 선보이기도 했고, SAS, 테라데이타 등도 인메모리 기술을 적극적으로 활용하고 있습니다.

◆ 빅데이터 성공요소 ‘사람’ = 빅데이터 시대에 가장 각광을 맞는 직업은 ‘데이터 사이언티스트’입니다. 백사장에서 바늘을 찾듯 엄청나게 쏟아지는 데이터 속에서 유의미한 무엇을 발견해 낼 수 있는 사람이 필요해진 것입니다.

하지만 이는 아무나 할 수 있는 일이 아닙니다. 기존에는 데이터를 다루는 직종으로 데이터 모델러, 데이터 아키텍트 등이 있었습니다. 이들은 전통적인 IT맨들이었습니다.

반면 데이터 사이언티스트들은 구조화되지 않은 데이터 속에서 지금까지 드러나지 않았던 숨겨진 패턴을 찾아내는 역할을 합니다.

가 트너는 데이터 사이언티스트가 컴퓨터 공학과 수학적 기반의 의미를 부여하고, 디지털 시스템에 지식을 결합하는 전문가로, 데이터의 저장ㆍ이동ㆍ통합, 분산처리를 활용해 정보를 요청하는 고객에게 최선의 기대 서비스를 제공한다고 설명합니다.  

이제는 IT뿐 아니라 통계학, 수학, 경제학 지식을 겸비한 전문가가 필요한 것입니다. 이런 데이터 사이언티스트를 확보하는 것은 매우 어려운 일입니다. 빅데이터 분석에 성공하는 기업들이 적은 가장 큰 이유도 데이터 사이언티스트를 확보하는 것이 어렵다는 점입니다.

◆ 빅데이터 성공요소 ‘비즈니스 인사이트’ = 빅데이터 기술과 데이터 사이언티스트가 있다고 빅데이터 분석이 성공할 수 있는 것은 아닙니다.

데 이터 사이언티스트들이 빅데이터 기술을 활용해 이끌어 낸 결과에 따라 어느 정도 비즈니스 방향은 예측할 수 있지만, 이 결과를 기업의 환경과 상황에 맞게 어떻게 활용할 것인지를 결정하지 못하면 기술과 사람은 쓸모 없게 됩니다. 이 때문에 빅데이터 분석에 비즈니스 통찰력은 필수적입니다.

SAS코리아 이재권 상무는 빅데이터 분석에 대해 “기술은 후순위, 비즈니스가 우선순위”라고 말합니다.

빅데이터 분석은 비즈니스를 예측하고, 최적화 하기 위한 활동입니다. 이를 위해서는 빅데이터 기술, 데이터사이언티스트, 비즈니스 통찰력 삼박자가 맞아야 합니다.

2012/10/09 14:33 2012/10/09 14:33

트랙백 주소 :: 이 글에는 트랙백을 보낼 수 없습니다