MungGu Story

지난번 포스팅에서는 NLTagger로 간단하게 문자열을 단어 단위로 토큰화해봤었는데요. 오늘은 해당 문자열을 어휘(품사) 혹은 지역, 인물, 회사 등의 다양한 기준으로 토큰화 및 분석결과를 얻는 방법을 알아보겠습니다. 이번 포스팅의 과정은 과정은 지난번에 작성한 코드에서 이어서 진행해도 문제가 없습니다. NLTagger로 문자열 품사별(.LexicalClass) 토큰화하기 지난번과 같이 playground 파일을 열어서, 빈 프로젝트 파일에 import NaturalLanguage를 import 해줍니다. // MARK: - String Tokenizer // - 문자열의 토큰화는 자연어 처리에 있어서 핵심적인 기능 중 하나입니다. // - 문자열을 토큰화해보는 예제) import NaturalLangu..

iOS 상의 자연어 처리에 있어서 문자열의 토큰화 처리는 가장 핵심적인 기능 중 하나입니다. 자연어처리 프레임워크 NaturalLanguage 내에서는 NLTagger라는 객체를 지원하고 있습니다. NLTagger를 통해서 자연어 텍스트에 대한 분석을 하고, 세부 토큰화 및 개별 적인 태깅을 처리할 수 있습니다. NLTagger로 문자열 토큰화하는 방법 먼저, playground 파일을 여시고, import NaturalLanguage를 import 해줍니다. // MARK: - String Tokenizer // - 문자열의 토큰화는 자연어 처리에 있어서 핵심적인 기능 중 하나입니다. // - 문자열을 토큰화해보는 예제) import NaturalLanguage 분석 및 토큰화에 사용할 문자열을 아래와..

Tokenizing Natural Language Text 자연어 텍스트 토큰화하기 문자열 내의 단어를 토큰화 후 열거할 수 있습니다. Overview 개요 자연어 처리 작업을 진행할 때, 텍스트를 개별적인 단어로 토큰화 하는 것은 유용합니다. 이 때 스페이스 공백 단위로 단순하게 잘라내는 것보다는 NaturalLanguage 프레임워크에서 제공하는 NLTokenizer를 사용하는 것은 다수의 스크립트와 언어들에 대한 더욱 정확한 토큰화 작업 행위를 보장할 수 있습니다. 예를들면, 중국어, 일본어는 공백을 사용해서 단어를 구분하지 않습니다. 이 경우 단순 스페이스 공백만으로 판별한다면 정확하지 않은 토큰화가 진행되겠죠? 아래의 단계 설명을 동반한 예시는 자연어 텍스트에서 NLTokenizer를 활용해 어..