NLP fasttext 한국어 모델 사용하기

FastText 는 Facebook에서 만든 word representation 과 sentence classification의 효율적인 학습을 위한 라이브러리입니다. 일반적으로 자연어처리에서 말뭉치 사전 데이터 수집하고 전처리하는 데 많은 시간이 소요됩니다. 그런데 facebook에서 fasttext를 소개하면서 무려 157개국의 언어에 대해 common crawler와 wikipedia의 데이터를 학습한 Pre-trained model 을 제공하고 있습니다. 한국어도 제공하고 있습니다. 만세!

We distribute pre-trained word vectors for 157 languages, trained on Common Crawl and using fastText. These models were trained using CBOW with position-weights, in dimension 300, with character n-grams of length 5, a window of size 5 and 10 negatives. We also distribute three new word analogy datasets, for French, Hindi and Polish.

Learn word representations via fastText: Enriching Word Vectors with Subword Information. This module allows training word embeddings from a training corpus with the additional ability to obtain word vectors for out-of-vocabulary words. This module contains a fast native C implementation of fastText with Python interfaces. It is not only a wrapper around Facebook's implementation.