MungGu Story

자연어처리 ML Model 생성 준비하기 ■ Playground 프로젝트 생성 iOS 환경에서 자연어처리를 위한 ML모델을 생성하기 위한 밑단계를 진행해보겠습니다. 자연어처리 분석을 위한 json 데이터를 사용해서 학습된 MLDataTable을 생성하고, ML Model을 생성할 수 있습니다. 이번에 생성할 MLModel은 아마존의 댓글 리뷰 데이터 셋을 가진 json 파일을 활용해서 MLDataTable을 생성하고, 이를 통해서 학습된 MLModel을 생성할 예정입니다. 해당 MLModel을 통해서 특정 리뷰 내용이 긍정적인지, 부정적인지를 체크하는데 사용합니다. 먼저, XCode를 실행하고, "Get started with a playground"를 선택해줍니다. 이번 단계에서 진행할 MLDataTa..

iOS 상의 자연어 처리에 있어서 문자열의 토큰화 처리는 가장 핵심적인 기능 중 하나입니다. 자연어처리 프레임워크 NaturalLanguage 내에서는 NLTagger라는 객체를 지원하고 있습니다. NLTagger를 통해서 자연어 텍스트에 대한 분석을 하고, 세부 토큰화 및 개별 적인 태깅을 처리할 수 있습니다. NLTagger로 문자열 토큰화하는 방법 먼저, playground 파일을 여시고, import NaturalLanguage를 import 해줍니다. // MARK: - String Tokenizer // - 문자열의 토큰화는 자연어 처리에 있어서 핵심적인 기능 중 하나입니다. // - 문자열을 토큰화해보는 예제) import NaturalLanguage 분석 및 토큰화에 사용할 문자열을 아래와..

iOS에서는 자연어 처리와 관련 된 프레임워크, NaturalLanguage 프레임워크를 지원합니다. NaturalLangauge 프레임워크 내에서는 자연어처리 및 분석과 관련된 많은 기능들을 지원합니다. 오늘은 NaturalLangauge 프레임워크에서 지원하는 객체 중 하나인 NLLanguageRecognizer 객체에 대한 활용법을 알아보겠습니다. NaturalLanguage 자연어 NLLanguageRecognizer를 사용하기 위해서는 자연어 처리 및 분석을 지원하는 NaturalLanguage 프레임워크를 import 해야 합니다. 언어분석을 할 문자열, word 도 추가해줍니다. // 자연어처리를 위해 사용하는 Framework, NaturalLanguage import NaturalLang..

Tokenizing Natural Language Text 자연어 텍스트 토큰화하기 문자열 내의 단어를 토큰화 후 열거할 수 있습니다. Overview 개요 자연어 처리 작업을 진행할 때, 텍스트를 개별적인 단어로 토큰화 하는 것은 유용합니다. 이 때 스페이스 공백 단위로 단순하게 잘라내는 것보다는 NaturalLanguage 프레임워크에서 제공하는 NLTokenizer를 사용하는 것은 다수의 스크립트와 언어들에 대한 더욱 정확한 토큰화 작업 행위를 보장할 수 있습니다. 예를들면, 중국어, 일본어는 공백을 사용해서 단어를 구분하지 않습니다. 이 경우 단순 스페이스 공백만으로 판별한다면 정확하지 않은 토큰화가 진행되겠죠? 아래의 단계 설명을 동반한 예시는 자연어 텍스트에서 NLTokenizer를 활용해 어..