MungGu Story

Tokenizing Natural Language Text 자연어 텍스트 토큰화하기 문자열 내의 단어를 토큰화 후 열거할 수 있습니다. Overview 개요 자연어 처리 작업을 진행할 때, 텍스트를 개별적인 단어로 토큰화 하는 것은 유용합니다. 이 때 스페이스 공백 단위로 단순하게 잘라내는 것보다는 NaturalLanguage 프레임워크에서 제공하는 NLTokenizer를 사용하는 것은 다수의 스크립트와 언어들에 대한 더욱 정확한 토큰화 작업 행위를 보장할 수 있습니다. 예를들면, 중국어, 일본어는 공백을 사용해서 단어를 구분하지 않습니다. 이 경우 단순 스페이스 공백만으로 판별한다면 정확하지 않은 토큰화가 진행되겠죠? 아래의 단계 설명을 동반한 예시는 자연어 텍스트에서 NLTokenizer를 활용해 어..