오늘날 IT업계의 가장 중요한 키워드 중 하나는 ‘빅 데이터’입니다. 빅 데이터는 단순히 데이터의 규모가 커졌다는 것을 의미하는 것은 아닙니다. 지금까지 IT산업이 다루지 못했던 새로운 종류의 데이터까지 관리의 영역으로 담는 것입니다.

웹 서버의 로그 데이터, 소셜네트워크서비스(SNS)의 수많은 텍스트와 음성, 이미지, 동영상 등 멀티미디어 데이터, 모바일 기기가 생성하는 데이터, 센서네트워크를 통해 수집된 데이터 등이 빅 데이터입니다.

빅 데이터가 중요한 이유는 이를 통해 더 깊은 통찰력을 얻을 수 있다고 보기 때문입니다. 기존의 관계형 DB만으로는 알지 못했던 새로운 정보가 빅 데이터에는 담겨 있고, 이 정보를 잘 찾아내는 기업 및 기관이 비즈니스를 선도할 것입니다.

빅 데이터라는 화두가 던져진 만큼, IT 업체들도 관련 기술을 개발하고 솔루션을 공급하기 위해 총력을 기울이고 있습니다. 클라우드 컴퓨팅과 함께 빅 데이터에서 뒤쳐진 IT업체는 생존경쟁에서도 한 발 물러설 것이기 때문입니다.

지금까지 IT업계를 주름잡아왔던 전통의 강호들이 빅 데이터를 위해 어떤 준비를 하고 있는지 살펴보겠습니다.
사용자 삽입 이미지

데이터 관리 분야 전통의 강호 ‘오라클’

‘빅 데이터’를 잘 활용한다는 것은 데이터 관리 및 분석 기술을 잘 활용한다는 것입니다. 때문에 기존의 데이터 관리 업체 및 분석기술을 보유한 업체들이 빅 데이터 시대에도 유리할 것으로 보입니다.

오라클은 세계적으로 가장 유명한 DB업체입니다. 데이터를 관리하는 데는 오랜 경험과 뛰어난 기술을 가지고 있습니다. 여기에 하이페리온을 인수하면서 분석 기술도 확보했습니다. 때문에 빅 데이터 시대를 맞아 오라클에 관심을 두는 것은 당연할 것입니다.

오라클은 지난 10월초 ‘오라클 빅 데이터 어플라이언스’라는 제품을 처음 선보였습니다. 오라클이 본격적으로 빅 데이터 시장에 뛰어든 것입니다. 이 제품은 이미지, 웹 로그, 비디오 파일, 소셜 미디어, 텍스트 데이터 등 대용량 비정형 데이터의 생명주기를 관리하기 위한 어플라이언스 솔루션으로, 썬마이크로시스템즈의 하드웨어에 빅 데이터 처리를 위한 소프트웨어가 통합돼 있습니다.

오라클 빅 데이터 어플라이언스 솔루션 안에는 ▲ 아파치 하둡 오픈소스 배포판 ▲ 오라클 NoSQL 데이터베이스 ▲하둡용 오라클 데이터 인테그레이터 애플리케이션 어댑터 ▲하둡용 오라클 로더 ▲ 오픈소스 통계 프로그램 ‘R’ 등이 결합돼 있습니다.

하지만 오라클은 빅 데이터 전용 어플라이언스를 출시했어도 무게중심은 여전히 관계형DB에 있는 듯 보입니다. 오라클은 이 제품을 소개하면서 자사의 DB 머신인 ‘엑사데이터’와 함께 연동할 것을 강조했습니다.

즉 빅 데이터 전용 어플라이언스는 오라클 엑사데이터를 보완하는 요소로 보고 있는 듯 보입니다.
사용자 삽입 이미지

EMC “드디어 EMC의 시대가 왔다”

EMC는 빅 데이터 시대 도래를 가장 환영하는 IT업체 중 하나입니다. 과거에는 스토리지 공급회사로 인식됐던 EMC이지만, 빅 데이터 시대를 맞아 종합 데이터 관리 업체로 확실히 자리매김 하겠다는 의지가 엿보입니다.

EMC는 지난 몇 년간 보안, 백업, 아카이빙, 중복제거, 콘텐츠 관리, 거버넌스∙리스크관리, 컴플라이언스, 데이터웨어하우징 등 무수히 많은 업체를 인수했습니다. 모두 데이터 관리와 관련된 업체들입니다. 단순한 하드웨어 박스가 아니라 스토리지를 기반으로 데이터 저장부터 관리, 분석까지 데이터와 관한 모든 것을 풀 패키지로 제공하겠다는 것입니다. 이는 빅 데이터 시대에 꼭 맞는 전략입니다.

우선 EMC는 빅 데이터에 대응하는 스토리지 솔루션으로 아이실론과 아트모스를 준비해뒀습니다. 여기에 빅 데이터 분석을 위한 DB로 그린플럼을 인수했습니다. 또 콘텐츠 관리 솔루션인 다큐멘텀도 있습니다.

EMC는 아울러 데이터 사이언티스트(http://shimsky.delighit.net/308) 육성에도 힘쓰고 있습니다. EMC 애널리틱스 랩이라는 부서를 운영하면서, 빅 데이터에서 통찰력을 얻어낼 인재들을 확보해 나가고 있습니다.

스마터 플래닛으로 준비된 강자, IBM

빅 데이터라는 말이 유행하기 전부터 IBM의 비즈니스 전략은 빅 데이터 중심이었습니다. 몇 년 전부터 IBM이 내걸고 있는 캐치 플레이즈인 ‘스마터 플래닛’은 빅 데이터를 잘 활용하자는 이야기와 다르지 않습니다.

스마터 플래닛의 핵심은 데이터이기 때문입니다. 똑똑한 지구를 만들기 위해서는 지구를 구성하고 있는 요소 (기온, 토양상태, 진동, 교통 흐름 등)들에 대한 정확한 데이터가 파악돼야 하고 이를 분석해야 합니다.

가령 홍콩에 새로 건설된 다리에는 1000개의 감시센서가 부착돼 있습니다. 이 센서로부터 실시간으로 수집된 데이터를 통해 패턴, 상관 관계, 이상치를 살펴보고, 수질량과 수질을 측정해 재난과 수질오염을 예방합니다.

이 같은 일을 하기 위해 IBM도 많은 기업을 인수했습니다. 분석용 데이터 저장관리를 위해 네티자를 인수했고, 데이터 통합 업체 에센셜과 분석 솔루션업체 코그너스 등을 인수했습니다.

IBM의 강점은 이 같은 솔루션 이외에도 잘 훈련된 컨설팅 조직이 있다는 점입니다. IBM은 이미 오래전 컴퓨터 제조업체에서 서비스 업체로의 변신에 성공했습니다. 이를 위해 수 많은 컨설턴트를 이미 보유하고 있습니다. 데이터 사이언티스트의 역할이 강조되고 있는 시점에서 IBM의 수 많은 컨설턴트의 역할이 커질 것으로 보입니다.
사용자 삽입 이미지

SAP, 메모리 기반 빅 데이터(?)

최근 업무용 애플리케이션 업체에서 DB 전문업체로의 변신을 선언한 SAP도 빅 데이터에 대한 메시지를 강하게 표출내고 있습니다. SAP는 메모리 기반 DB 어플라이언스인 HANA가 빅 데이터 시대에 유용하다고 선전하고 있습니다. HANA는 정형, 비정형 데이터를 모두 처리할 수 있는 기술이라고 SAP는 소개합니다. 여기에 몇 년 전 인수한 비즈니스 오브젝트를 통해 이 시장 공략을 준비하고 있습니다.

그러나 과연 빅 데이터와 인메모리가 어울리는 기술인지는 약간 의구심이 있습니다. 빅 데이터는 그야말로 데이터 규모가 어마어마하게 크다는 것을 의미합니다. 1~2테라바이트 규모가 아니라 수백 테라바이트, 심지어 제타바이트 규모의 데이터 시대가 도래할 것으로 보고 있습니다. 아무리 메모리 가격이 내려갔다고 해도 메모리에 이 모든 데이터를 담는다는 것은 비용면에서 불가능할 것으로 보입니다.

목소리 크지 않은 마이크로소프트

흥미로운 점은 지난 20년간 IT산업을 이끌어온 마이크로소프트의 목소리가 별로 크지 않다는 점입니다. 최근 윈도 서버와 윈도 애저 플랫폼용 아파치 하둡을 개발한다는 발표가 있기는 했지만, 아직 구현된 것은 아닙니다. MS는 올 연말까지 윈도 애저용 하둡 기반 서비스 시제품을 선보이겠다고 밝혔을 뿐입니다.

하지만 MS는 항상 시장에 빨리 합류하는 스타일이 아니었습니다. 뒤늦게 시장에 합류해도 기존 플랫폼의 영향력을 이용해 막강한 힘을 발휘하곤 했습니다. 빅 데이터 분야도 이와 같은 양상이 벌어질 지 주목됩니다.
2011/11/25 17:18 2011/11/25 17:18

트랙백 주소 :: 이 글에는 트랙백을 보낼 수 없습니다