'NLP'에 해당되는 글 1

  1. 2013/01/04 네이버는 바벨탑을 재건할 수 있을까

사용자 삽입 이미지
성경에 따르면, 인간은 태초에 하나의 언어를 사용했다고 합니다. 고대 바빌로니아 사람들은 도시를 건설하고 그 가운데 하늘에 닿기 위해 탑(바벨탑)을 쌓았는데, 이를 걱정한 야훼께서 인간들이 서로 협동하지 못하도록 언어를 구분해 놓았다는 이야기가 성경에 전해집니다.


실제로 현대 사회에서 언어의 차이는 많은 불편을 낳고 있습니다. 특히 인터넷 등 기술의 발달로 세계화가 더욱 빨라지면서 국경의 의미가 사라져가고 있는 이 시대에 언어의 차이는 엄청난 비용을 일으키는 골칫거리입니다. 우리나라에서도 영어교육에 투자하는 비용이 어마어마합니다.

이런 문제를 해결하기 위해 언어학자들과 컴퓨터과학자들은 많은 노력을 하고 있습니다. 컴퓨터가 한 언어를 자동으로 다른 언어로 번역해주고, 통역해주는 기술을 개발하기 위해 20년 이상 투자해왔습니다.

이 가운데 최근에는 네이버가 한-일 통역 기술을 개발했다는 소식이 전해져 눈길을 끌었습니다. 네이버는 지난 2일 자체 개발한 통번역 기술 ‘NTransTalk’을 공개했습니다.

자동통역 기술은 자연언어처리를 꿈꾸는 사람들의 최종 목표입니다. 자동통역은 음성인식-번역-음성합성으로 이뤄지는 서비스로, 컴퓨터로 인간의 언어를 처리하기 위한 모든 기술의 집합체라고 볼 수 있습니다.

네이버는 이번 자동통역 기술을 자체적으로 개발했다고 밝혔습니다. 최근 공개된 네이버판 시리(Siri) 앱인 ‘링크(link)’에 도입된 음성인식 기술력과 번역 기술을 자체 개발했다고 합니다.

여기서 주목할 점은 네이버가 번역 기술까지 스스로 개발했다는 점입니다. 네이버는 현재 일본어 번역 서비스를 제공하고 있지만 이는 자체 기술이 아닌 ‘창신소프트’라는 회사의 기술을 활용한 것이었습니다. 하지만 자체적으로 한일-일한 번역 기술을 네이버가 개발함에 따라 앞으로는 창신소프트의 기술을 활용하지 않을 전망입니다. 네이버 관계자는 아직 창신소프트와의 계약 기간이 남아 있지만, 앞으로 일본어 사전에서 제공한은 번역 서비스에도 자체 개발 기술을 적용할 계획이라고 설명했습니다.

또 하나 주목할 점은 네이버의 한일-일한 번역 기술이 구글식 접근을 수용했다는 점입니다.

자동 번역 기술은 크게 언어학적 접근과 통계학적 접근으로 구분할 수 있습니다. 입력된 문장의 주어-목적어-서술어 등 문장구조를 분석해 번역 대상언어의 문장구조로 바꿔주는 것이 언어학적 접근이라고 볼 수 있습니다.
 
구글이 등장하기 이전까지 대부분의 자동 번역 기술은 이런 방식을 취했습니다. 이를 위해서는 인간언어의 문법과 어휘를 컴퓨터에 입력해야 합니다. 그러나 언어학자들도 문법의 본질을 파악하지 못한 상황에서 기계가 무수한 예외사례가 있는 문장구조를 스스로 분석한다는 것은 쉬운 일이 아니었습니다.

다만 한일-일한 번역은 문장구조가 유사하기 때문에 구조 파악에 실패했을 경우에도 어휘만 상대언어로 치환해도 꽤 쓸만한 번역 결과가 나왔습니다. 네이버가 창신소프트의 기술을 기반으로 한일-일한 번역 서비스만 제공하는 이유도 여기에 있습니다.

반면 구글은 통계학적 접근과 기계학습을 통해 번역을 시도했습니다. 예를 들어  '안녕'과 'hello'가 함께 등장한 문서가 다수 발견되면 둘이 같은 뜻이라는 의미로 컴퓨터 스스로 학습하는 원리입니다. 언어학자들이 어휘사전과 문법을 컴퓨터에 입력할 필요가 없습니다.
 
언어의 창조성이라는 특성을 무시한 듯한 이 접근 방법은 의외로 기존 언어학적 접근보다 좋은 결과를 나타내고 있습니다. 특히 클라우드 컴퓨팅 등으로 인해 컴퓨팅 파워가 과거보다 월등히 높아진 현재 이 방식이 큰 효과를 얻고 있습니다.

이 가운데 네이버 측은 통계적 기계 번역 방식과 언어학적 규칙을 혼합한 하이브리드 방식을 통해 이번 번역 엔진을 개발했다고 밝혔습니다. 또 다년간 검색 등 다양한 서비스를 통해 축적해 온 한국어 및 일본어 대용량 언어 처리 노하우 등도 반영됐다고 합니다.

NHN의 이윤식 검색본부장은 “NHN의 차별화된 검색 기반 기술들을 접목시켜 새로운 응용 기술인 ‘통번역’ 기술 개발은 모두 마쳤으며, 내부적으로 해당 기술의 활용을 위한 본격적인 고민을 시작한 상태”라며, “앞으로도 NHN은 여러 기반 기술들을 유기적으로 결합하려는 ‘코끼리 프로젝트’의 일환으로, 응용 기술 개발을 위한 연구개발도 지속적으로 추진해나갈 계획”이라 고 밝혔습니다.
2013/01/04 11:59 2013/01/04 11:59