페이스북을 이용하시는 분들 중에는 상태 업데이트에 글을 올린 후 수정이 안 돼서 어려움이 겪은 분들이 있을 겁니다. 페이스북은 오탈자가 있어도 수정할 수 없도록 돼 있습니다. 오직 글을 삭제할 수 있을 뿐입니다.

왜 그럴까요?

이는 ‘빅 데이터’ 기술의 특징이라고 볼 수 있습니다. . ‘빅 데이터’는 정보기술 산업(IT)이 다루는 대상인 ‘정보’의 종류가 많아지고, 그 규모도 엄청나게 커지는 것을 의미합니다. 기존의 관계형 데이터베이스로는 감당할 수 없는 데이터가 등장한 것입니다.

페이스북의 경우 하루에 생성되는 데이터가 일반 기업들의 1년치 데이터보다 많다고 합니다. 페이스북은 지난 8월 기준으로 30페타 바이트의 데이터를 보유하고 있었습니다. 이는 미국 의회 도서관이 보유한 책의 3000배가 넘는 규모입니다.
사용자 삽입 이미지

기존 데이터 처리 기술로는 이 많은 양의 데이터를 감당할 수 없습니다. 때문에 빅 데이터를 처리할 때는 관계형 DB가 아닌 하둡과 맵리듀스, NoSQL이라는 새로운 기술을 주로 활용하게 됩니다.

페이스북 역시 하둡과 맵리듀스, 카산드라(NoSQL의 한 종류)를 이용해 데이터를 처리합니다.

이 기술들의 특징은 데이터 정합성 보다 대용량 데이터를 처리하는 데 중점을 두고 있다는 점입니다. 페이스북에서는 글을 입력했는데, 제 때 바로 반영되지 않거나 여러 개가 동시에 올라가기도 하고, 댓글 10개라고 표시돼 있는데 들어가보면 세 개밖에 없는 일들이 벌어지곤 합니다.

이는 위에 언급한 기술들의 특징입니다. 관계형DB는 단 하나의 데이터라도 잃어버리면 안 된다는 사상 위에 설계된 기술이지만, 하둡이나 NoSQL은 데이터에 조금쯤은 오류가 있어도 좋다는 생각입니다.
사용자 삽입 이미지

하지만 페이스북이 빅 데이터 기술만 이용하는 것은 아닙니다. 페이스북도 마이SQL이나 오라클 같은 관계형 DB를 사용합니다. 대표적인 것이 프로필입니다. 상태 업데이트와는 달리 사용자 프로필은 언제라도 수정할 수 있습니다. 또 사용자 프로필 데이터에는 오류가 발생하지도 않습니다.

최근 국내 기업들도 하둡과 맵리듀스, NoSQL을 이용하는 사례가 늘고 있습니다. 하지만 앞에서 살펴본 것처럼 이 기술들은 장.단점이 분명합니다. 데이터의 정합성이 중요한 업무에 이 기술들을 사용하면 안 됩니다.

페이스북처럼 데이터 정합성이 중요한 서비스에는 관계형 DB를 이용하고, 상대적으로 데이터 정합성은 중요하지 않지만, 많은 데이터를 빠르게 처리하고자 할 때만 빅 데이터 기술을 이용해야 합니다.
2011/12/12 08:51 2011/12/12 08:51
사용자 삽입 이미지

오라클의 연례 고객 및 기술 컨퍼런스 ‘오라클 오픈월드 2011’이 미국 샌프란시스코에서 이번 주 막을 올립니다. 오라클 오픈월드는 언제나 기업용 정보기술(IT) 업계에서 큰 관심을 받는 행사입니다. 특히 최근 기업용 IT업계의 격변을 주도하는 업체가 오라클이기 때문에 올해는 어떤 새로운 이야기가 전해질 지 궁금해집니다.

◆새로운 엑사시리즈 나올까

제가 꼽는 관전 포인트 첫 번째는 올해의 신제품은 무엇일까 하는 점입니다. 지난 2008년 오라클은 x86서버와 데이터베이스, 스토리지를 내장한 DB 머신인 ‘엑사데이타 버전 1’를 처음 선보여 시장을 깜짝 놀라게 했습니다.

IBM과 달리 20년간 오라클은 순수한 소프트웨어 회사로만 자리매김해 왔는데, 예상치 못하게 전략을 180% 바꿨기 때문입니다. 이는 소비재 IT시장에서 혁신을 일으키고 있던 애플의 전략을 기업용 IT분야에 적용한 것이었습니다.

오라클은 당시 하드웨어 제품을 전혀 보유하지 않고 있었기 때문에 HP와 손을 잡고 엑사데이타 버전 1을 출시했습니다.

이후 오라클은 오픈월드에서
매년 통합 제품을 발표 해 왔습니다. 2009년에는 HP 대신 썬마이크로시스템즈의 하드웨어에 오라클 소프트웨어를 통합시킨 엑사데이터 버전 2를 선보였습니다. 하드웨어까지 자신의 손에 넣었기 때문에 독자노선을 걷기 시작한 것입니다. 2010년에는 오라클 퓨전미들웨어까지 결합한 엑사로직을 발표했습니다.

이 같은 추세가 올해까지 이어진다면 우리는 오라클 오픈월드 2011을 통해 또 무언가 새로운 엑사 시리지를 만나게 될 지도 모릅니다.

◆적과 친구의 갈림길에서…
오픈월드 2011의 두 번째 관전포인트 오라클이 하드웨어 파트너와 어떤 관계를 보여줄 것인가 하는 점입니다.

오라클이 순수 소프트웨어 업체일 때는 많은 하드웨어 친구들이 있었습니다. HP, 썬마이크로시스템즈, 델, EMC 등 여러 서버 및 스토리지 업체들이 오라클과 밀접한 관계를 맺었습니다. 소프트웨어와 하드웨어를 모두 보유한 IBM과 맞서기 위해서는 가장 인기있는 DB인 오라클과 친해지는 것이 그들에게는 중요했습니다.

하지만 오라클이 썬마이크로시스템즈 인수를 통해 직접 하드웨어 사업에 나선만큼 이들의 관계는 재정립될 가능성이 높습니다. 하드웨어 업체들은 DB라는 킬러 소프트웨어를 보유한 오라클과 등질 수도 없는 노릇이지만, 하드웨어 시장에서 치열한 경쟁관계에 있는 오라클과 계속 친하게만 지낼 수도 없습니다.

윈-텔에 비교될 정도로 강한 오라클과 강한 파트너십을 유지했던 HP는 이제 오라클에 등을 돌린 것처럼 보입니다. 언제나 오라클 오픈월드 행사의 최대 스폰서였던 HP는 올해 많이 달라진 모습을 보이고 있습니다. 항상 CEO 및 주요임원이 오픈월드 키노트 연설 무대에 서 왔지만, 올해는 HP 임원의 모습을 볼 수 없을 것 같습니다.

그러나 EMC와 델은 여전히 오라클과의 인연을 끊지 못하고 있습니다.  이들은 오라클 DB 시장을 놓칠 경우 타격이 크기 때문에 속으로는 오라클이 꼴보기 싫더라도 겉으로는 웃을 수 밖에 없습니다. EMC의 조 투치 회장이나 델의 마이클 델 회장은 오픈월드 무대에 오를 예정입니다.

◆NoSQL에 적극 뛰어들까

세 번째는 클라우드 컴퓨팅에 대한 오라클의 전략입니다. 오라클은 지금까지 클라우드와 그렇게 가깝지 않았습니다. 오라클이 아무리 입으로 클라우드를 외쳐도 제품들은 고가의 클라우드와 다소 거리가 멀어 보였습니다.

하지만 시대의 흐름이 완전히 클라우드로 전환됐기 때문에 오라클도 태도의 변화가 있을 것으로 예상됩니다. 특히 하둡과 NoSQL에 대한 오라클이 어떤 입장을 보일 것인지 주목됩니다.

하둡과 NoSQL은 클라우드 컴퓨팅 구현을 위한 데이터 저장 및 처리 기술입니다.

지금까지 오라클은 NoSQL 등에 대해 버즈워드(buzz word , 마케팅 용어)라고 폄훼하면서도, 자사에는 이 역할을 하는 버클리DB가 있다고 설명해왔습니다. 버클리DB는 임베디드 DB 시장을 공략하기 위한 용도로 사용돼 왔던 DB입니다.

하지만 오라클이 새로운 NoSQL을 내 놓을 것이라는 소문도 돌고 있습니다. 오라클이 무언가 새로운 것을 개발했거나 인수했을 가능성이 전해지고 있어 주목됩니다.

이 외에 매년 구호에 그치고 있는 ‘퓨전 애플리케이션’은 어떻게 진행되는지도 궁금합니다. 퓨전 애플리케이션은 오라클이 인수한 시벨, 피플소프트, JD에드워드 등의 기업용 애플리케이션의 장점만을 통합해 새로운 애플리케이션을 2008년까지 만들겠다는 비전이었는데, 아직 완성된 모습을 보여주지 못하고 있습니다.

2011/10/03 01:52 2011/10/03 01:52