Bag of Wordsについて書いてみます。
ほとんどの機械学習は入力として数値データを与えなければなりません。そのため、自然言語処理において自然言語で書かれたデータを何らかの形で数値に変換する必要があります。Bag of Wordsはそのための一つの方法になります。
Bag of Wordsって何？
Bag of Wordsというのは自然言語処理において自然言語（人間が日常で使用している言語）で記述されたデータ、つまり文をベクトルで表現する方法のことです。
Bag of Wordsは次の３ステップで作ることができます。
- 数値変換
- one hot vector
- 足し合わせる
1. 数値変換
はじめに自然言語で書かれたデータを数値変換します。
例えば、以下のような３つの文A, B, Cがあったとします。
A: 私はラーメンが好きです。
B: 私は餃子が好きです。
C: 私はラーメンが嫌いです。
まず、この３つの文章を単語に分割します。
単語に分割する方法はいくつかありますが、今回は形態素解析を使います。
形態素解析した結果が下になります。
A: 私 は ラーメン が 好き です 。
B: 私 は 餃子 が 好き です 。
C: 私 は ラーメン が 嫌い です 。
形態素解析をすると、全部で９コの単語が得られます。
'私', 'は', 'ラーメン', 'が', '好き', 'です', '。', '餃子', '嫌い'
この９コの単語に数値を割り当てます。例えば、こんな感じです。
{'私': 0, 'は': 1, 'ラーメン': 2, 'が': 3, '好き': 4, 'です': 5, '。': 6, '餃子': 7, '嫌い': 8}
割り当てる数値は他の単語と重複しないようにします。
単語に数値を割り当てたので、すべての単語をone hot vectorに変換します。one hot vectorとはある要素が１で、それ以外が０になっているベクトルのことです。
one hot vectorではある単語を表現するためにN次元のベクトルを用います。ここで、Nとは単語の総数のことです。今回の例では、N=9となります。（※機械学習で自然言語をone hot vectorにすると少なくとも数千次元になると思います。）
ある単語を表現するには、その単語に対応する要素を１とし、のこり全てを０とします。例えば、以下のような感じです。※要素は0からN-1で表現することにします。
私は０が割り当てられたので、０番目の要素が１となり他はすべて０になっています。
好きも同様に4番目の要素が１になっています。
""" one hot vectorによる単語表現
私 -> [1, 0, 0, 0, 0, 0, 0, 0, 0]
好き -> [0, 0, 0, 0, 1, 0, 0, 0, 0]
"""
足し合わせる
最後にone hot vectorにしたベクトルを足してBag of Wordsに変換します。
""" 私は餃子が好きです。
one hot vector
私 -> [1, 0, 0, 0, 0, 0, 0, 0, 0]
は -> [0, 1, 0, 0, 0, 0, 0, 0, 0]
餃子 -> [0, 0, 0, 0, 0, 0, 0, 1, 0]
が -> [0, 0, 0, 1, 0, 0, 0, 0, 0]
好き -> [0, 0, 0, 0, 1, 0, 0, 0, 0]
です -> [0, 0, 0, 0, 0, 1, 0, 0, 0]
。 -> [0, 0, 0, 0, 0, 0, 1, 0, 0]
Bag of Words
[1, 1, 0, 1, 1, 1, 1, 1, 0]
"""
morphemes = ['私 は ラーメン が 好き です 。',
'私 は 餃子 が 好き です 。',
'私 は ラーメン が 嫌い です 。']
word2id = {}
for line in morphemes:
for word in line.split():
if word in word2id:
continue
word2id[word] = len(word2id)
bow_set = []
for line in morphemes:
bow = [0] * len(word2id)
for word in line.split():
try:
bow[word2id[word]] += 1
except:
pass
bow_set.append(bow)
print(*bow_set, sep="\n")
""" 結果
[1, 1, 1, 1, 1, 1, 1, 0, 0]
[1, 1, 0, 1, 1, 1, 1, 1, 0]
[1, 1, 1, 1, 0, 1, 1, 0, 1]
"""
gensimで実装
gensimを使って文書をBoWに変換する。
はじめに単語辞書を作る。
morphemesは上の例で使ったやつと同じ。分かち書きされたものがリストに入っている。
doc2bowでBoWのフォーマットに変換する。
from gensim.corpora import Dictionary
from gensim import matutils as mtu
dct = Dictionary()
for line in morphemes:
dct.add_documents([line.split()])
word2id = dct.token2id
print(word2id)
bow_set = []
for line in morphemes:
bow_format = dct.doc2bow(line.split())
bow_set.append(bow_format)
print(line)
print("BoW format: (word ID, word frequency)")
print(bow_format)
bow = mtu.corpus2dense([bow_format], num_terms=len(dct)).T[0]
print("BoW")
print(bow)
print(bow.tolist())
print(list(map(int, bow.tolist())))
"""
{'私': 0, 'は': 1, 'ラーメン': 2, 'が': 3, '好き': 4, 'です': 5, '。': 6,
'餃子': 7, '嫌い': 8}
私 は ラーメン が 好き です 。
BoW format: (word ID, word frequency)
[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1)]
BoW
[ 1. 1. 1. 1. 1. 1. 1. 0. 0.]
[1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0]
[1, 1, 1, 1, 1, 1, 1, 0, 0]
私 は 餃子 が 好き です 。
BoW format: (word ID, word frequency)
[(0, 1), (1, 1), (3, 1), (4, 1), (5, 1), (6, 1), (7, 1)]
BoW
[ 1. 1. 0. 1. 1. 1. 1. 1. 0.]
[1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0]
[1, 1, 0, 1, 1, 1, 1, 1, 0]
私 は ラーメン が 嫌い です 。
BoW format: (word ID, word frequency)
[(0, 1), (1, 1), (2, 1), (3, 1), (5, 1), (6, 1), (8, 1)]
BoW
[ 1. 1. 1. 1. 0. 1. 1. 0. 1.]
[1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0]
[1, 1, 1, 1, 0, 1, 1, 0, 1]
"""
おわり
最後にBag of Wordsについてまとめます。
Bag of Wordsはone hot vectorを足し合わせて表現しています。このことから、Bag of Wordsを用いるとある文にどのような単語がいくつ含まれているのかを知ることができます。
しかし、one hot vectorはあくまで単語をベクトルで表現しただけで、ある単語が文のどこに出てきたのか、ある単語は文を特徴づけるものになるのかは知ることができません。さらに、単語の数が増えればそれに伴って次元も増えるのであまり実用的ではないのかなと思いました。