■ 컴퓨터와 인간을 이어주는 자연어 처리

자연어 처리는 한 마디로, 기계인 컴퓨터가 인간의 언어를 이해할 수 있도록 하는 기술이다. '자연어'라는 이름이 붙은 이유는 우리 인간이 오랜 세월 동안 사용하며 자연적으로 만들어진 언어이기 때문이다. 이에 반대되는 말로, 컴퓨터 분야에서는 컴퓨터가 사용하는 언어를 '프로그래밍 언어'라고 부른다. 코딩 등에 사용되는 현대의 컴퓨터 언어도 자연어와 유사한 부분이 많도록 발전했으나, 그럼에도 불구하고 여전히 컴퓨터가 이해할 수 있는 방식으로 명령어를 입력해야 한다.

자연어 처리에는 자연어 분석, 자연어 이해, 자연어 생성 등의 기술이 사용된다. 자연어 분석은 문법에 따라 자연어를 쪼개는 것을 의미한다. 자연어 이해는 컴퓨터가 자연어로 주어진 입력에 따라 동작하게 하는 기술이며, 자연어 생성은 동영상이나 표의 내용 등을 사람이 이해할 수 있는 자연어로 변환하는 기술이다.

자연어 분석을 예시로 살펴보자. 우리가 사용하는 언어에는 형태소, 구문, 문장 등 여러 문법적 단위가 있다. 사람이 말을 하면, 컴퓨터가 알아서 이를 쪼개고 적절하게 판단해야 한다. 사람이야 오랜 경험을 통해 이러한 규칙을 습득하고 자연스럽게 분석한다지만, 컴퓨터는 어떻게 이것이 가능할까?

■ 자연어 처리, 머신러닝과 딥러닝

자연어 처리 기술은 1950년대에도 연구되었지만, 사람이 구체적인 문법 규칙을 사람이 하나하나 입력하면 기계가 그것을 따라 하는 수준에 불과했다.

그러다 1990년 이후, 대용량의 대화 데이터를 이용한 통계적 기법이 발전한다. 대화 데이터로부터 통계적인 규칙을 찾아내고 이를 기계가 받아들이는 것이다. 기계학습이 고도화되면서 컴퓨터는 더 많은 양의 데이터를 학습하고 점차 규칙을 정교하게 이해하게 되었다. 

최근에는 AI 기술의 핵심인 딥러닝(Deep learning)이 자연어 처리에 응용되면서 기술이 고도로 발전하고 있다. 딥러닝은 기계학습의 하위분야로 데이터 학습을 여러 층에 걸쳐서 하는 것으로 각각의 층이 인간의 뇌신경 세포와 유사하게 동작한다. 딥러닝 기술을 활용해 복잡한 상황속 인간의 언어처리 방식을 '흉내'내도록 데이터를 학습시키는 것이다.

■ 자연어 처리 사용 분야 및 전망

자연어 처리 기술은 다양한 분야에 응용된다. 

번역 및 맞춤법 검사는 일상생활에서 가장 많이 접할 수 있는 자연어 처리 기술이다. 사용자가 입력한 단어와 사전에 있는 올바른 단어를 대조하여 어떤 단어가 잘못되었는지, 올바른 단어 사용법은 무엇인지 제안할 때 자연어 처리 기술이 사용된다.

또 인공지능 기반의 음성인식 스피커는 자연어를 기반으로 한다. 사용자의 음성과 명령어를 이해한 후 실시간으로 답변하는 것이다. 비슷한 예로 챗봇을 들 수 있다.

사용자 정서 분석 같은 경우에는 마케팅에 주로 사용된다. 소비자들이 제품에 대한 피드백 또는 기업 평가를 소셜 네트워크 서비스에 올리는 사례가 급증하면서 소비자의 문장과 단어를 분석해 만족도를 살피기 위한 자연어 처리 소프트웨어 수요가 기업을 중심으로 확대되고 있다.

시장조사 업체 리서치마켓 보고서에 따르면, 2017년 글로벌 음성 인식 시장의 규모는 약 102억 달러(약 11조 원)로, 2024년까지 약 264억 달러(약 30조 5천억 원) 규모로 성장할 것으로 전망하고 있다. 연평균 성장률로는 21%에 이른다. 이에 따라 세계 각국에서는 국가적인 차원에서 자연어 처리 기술 확보에 신경 쓰고 있으며, 일본은 150억 어절 중국과 미국은 300억 어절 이상을 구축해 응용 소프트웨어를 개발하고 있다. 국내에서도 2017년부터 국립국어원을 주축으로 150억절 규모의 말뭉치를 구축하는 사업을 추진하고 있다.

----

사람과 대화하는 AI 기술 '자연어 처리' 원리와 시장 전망은?

컴퓨터와 사람을 대화로 이어주는 기술
미국, 중국 등 국가적인 투자 나서