사용자 삽입 이미지
- [딜라이트닷넷 창간 3주년 특별기획/ 빅데이터]

최근 빅데이터 분석이 경영 전문가들에게 많은 관심을 받고 있습니다. 빅데이터가 치열한 경쟁 속에서 있는 기업 경영의 나침반이 될 것이라는 기대 때문입니다.


물론 기업이 IT 기술을 전략 수립에 활용하려는 시도는 어제오늘 일이 아닙니다. 기존에도 경영자정보시스템(EIS), 비즈니스인텔리전스 등의 이름으로 유사한 접근이 있었습니다.

그러나 이런 접근들이 적지 않은 성과를 내기도 한 반면, 데이터의 왜곡으로 인한 한계점을 노출하기도 했습니다.

그렇다면 빅데이터는 기존의 BI와 무엇이 다른 걸까요? 전문가들은 빅데이터 분석과 기존BI의 다른 점으로 ▲데이터 처리량 ▲데이터 유형 ▲데이터 (분석)속도▲데이터 분석 범위 등을 꼽습니다.

◆ 수백테라바이트를 넘어 페타바이트까지 = 우선 빅데이터 분석은 이름에서 알 수 있듯 대규모 데이터를 분석하는 역할을 합니다. 지금까지 기업들은 사내 정보를 데이터웨어하우스(DW)라는 창고에 쌓아두고 이를 분석해 통찰력을 얻고자 했습니다. 국내의 경우 대용량 DW라고 해도 100테라바이트를 조금 넘는 수준이었습니다.

그러나 빅데이터 분석은 DW에 쌓인 데이터만을 대상을 하지 않습니다. 이미 스마트폰과 소셜네트워킹, 센서네트워크 등을 통해 어마어마한 용량의 데이터가 수집되고 있습니다. 스마트폰은 전국민이 활용하는 시대를 눈앞에 두고 있고, 소셜네트워크는 모바일과 만나 갈수록 활용도가 높아지고 있습니다. 센서 가격도 떨어지면서 각종 전자제품에 센서들이 내장되고 있습니다. 예를 들어 로봇청소기에만 18개의 센서가 탑재돼 있다고 합니다.

IDC는 2011 년에 인류가 생성한 데이터가 1.8 제타바이트에 달한다고 합니다. 기업들이 분석할 데이터가 이제는 테라바이트 수준을 넘어 페타바이트까지 이르고 있습니다.

◆ 비정형, 비구조적 데이터는 기본  = IDC의 조사에 따르면 2009년부터 2014년까지 연평균 정형 데이터의 증가율은 24%에 불과한 반면 비정형 데이터의 증가율은 55%라고 합니다. 앞에서 언급한 센서네트워크 데이터, 소셜 데이터 등은 비정형 데이터를 기하급수적으로 늘리고 있습니다.

페이스북에서는 매월 300억개의 콘텐츠가 공유되고 있고, 트위터에서는 약 2억 건의 트윗이 발생하고 있다고 합니다. 이러한 소셜 미디어에서 생성되는 데이터는 주로 텍스트, 동영상, 오디오, 이미지 등의 비정형 데이터입니다.

최근에 소셜 분석이 국내외에서 인기를 끄는 것도 이 같은 이유 때문입니다. 트위터 등 소셜 미디어에서 쏟아지는 정보를 분석해 고객만족도 및 VoC(고객의 목소리)를 체크하겠다는 것입니다.

◆ 실시간 데이터 생성 시대…분석도 실시간으로 = 앞에서 언급한 것처럼 데이터의 양이 기하급수적으로 늘고 있다는 점은 데이터 분석 속도도 높여야 한다는 숙제도 안겨주고 있습니다.

과거의 분석 속도는 쌓이는 데이터를 감당하기도 힘들기 때문입니다. 빅데이터 시대는 실시간 데이터 분석이 필수적인 요소로 떠오르고 있습니다.

최 근 SAP HANA와 같은 인메모리 기반의 분석 플랫폼이 등장하고, 데이터를 저장하지 않고 흐르는 상태에서 분석하는 스트리밍 데이터 분석이나 복합 이벤트 처리 (Complex Event Processing : CEP) 등이 각광을 받는 것도 실시간 분석에 대한 요구의 반영입니다.

◆ 어제 데이터 분석을 넘어 내일 예측까지 = 기존에는 오늘 획득한 데이터를 업무가 끝난 밤 시간에 DW에 배치(Batch)하고, 그 정보를 분석했습니다. 이는 지금 분석하고 있는 정보가 지금 이순간이 아닌 어제의 정보를 분석하고 있다는 것을 의미합니다.

그 러나 빅데이터 분석 시대에는 지금까지 벌어진 일을 분석하는 것을 넘어 내일을 예측하는 것이 필요합니다. 예를 들어 지금까지 내비게이션은 목적지에 도달하는 길을 알려주는 역할에 충실했습니다. 조금 더 진보한 내비게이션은 교통량이 많은 길을 우회해 상대적으로 막히지 않는 길을 안내했습니다. 하지만 앞으로 막힐 곳까지 알려주는 내비게이션은 없었습니다.

빅데이터 시대에는 과거의 데이터와 현재의 데이터를 조합해 미래의 상황까지 예측해야 합니다.

2012/10/09 14:32 2012/10/09 14:32

트랙백 주소 :: 이 글에는 트랙백을 보낼 수 없습니다