from tensorflow.keras.preprocessing.text import text_to_word_sequence
# 전처리할 텍스트를 정합니다.
text = '해보지 않으면 해낼 수 없다'
# 해당 텍스트를 토큰화합니다.
result = text_to_word_sequence(text)
print("\n원문:\n", text)
print("\n토큰화:\n", result)
Tokenizer()
단어의 빈도 수 계산
document_count()
문장의 수 계산
word_docs()
각 단어들이 몇 개의 문장에서 사용되는지 계산
word_index()
각 단어에 매겨진 인덱스 값을 계산
from tensorflow.keras.preprocessing.text import Tokenizer
docs = ['먼저 텍스트의 각 단어를 나누어 토큰화합니다.',
'텍스트의 단어로 토큰화해야 딥러닝에서 인식됩니다.',
'토큰화한 결과는 딥러닝에서 사용할 수 있습니다.',
]
token = Tokenizer() # 토큰화 함수 지정
token.fit_on_texts(docs) # 토큰화 함수에 문장 적용
print("\n단어 카운트:\n", token.word_counts) # 단어의 빈도수를 계산한 결과 출력
print("\n문장 카운트: ", token.document_count)
print("\n각 단어가 몇 개의 문장에 포함되어 있는가:\n", token.word_docs)
print("\n각 단어에 매겨진 인덱스 값:\n", token.word_index)
2. 단어의 원-핫 인코딩
각 단어를 모두 0으로 바꾸어 주고 원하는 단어만 1로 바꿔 주는 것
단어 수만큼 0으로 채워진 벡터 공간으로 바꿔줌
각 단어가 배열 내에서 해당하는 위치를 1로 바꿔서 벡터화
from keras.utils import to_categorical
from tensorflow.keras.preprocessing.text import Tokenizer
text='오랫동안 꿈꾸는 이는 그 꿈을 닮아간다'
token=Tokenizer()
token.fit_on_texts([text])
x = token.texts_to_sequences([text])
word_size=len(token.word_index)+1 # +1을 하는 이유는 배열 맨 앞에 0이 추가되므로
x=to_categorical(x,num_classes=word_size)
print(x)
3. 단어 임베딩(word embedding)
원-핫 인코딩을 그대로 사용하면 벡터의 길이가 너무 길어진다는 단점이 존재
단어 임베딩을 통해 이런 공간적 낭비를 해결
단어 임베딩은 주어진 배열을 정해진 길이로 압축
원-핫 인코딩단어 임베딩
단어 간의 유사도를 계산하였기 때문에 결과가 밀집된 정보를 가지고 있고, 공간의 낭비가 적음
단어 간 유사도
4. 영화 리뷰의 긍정/부정 예측하기
import numpy
import tensorflow as tf
from numpy import array
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense,Flatten,Embedding
# 텍스트 리뷰 자료를 지정합니다.
docs = ["너무 재밌네요","최고예요","참 잘 만든 영화예요","추천하고 싶은 영화입니다","한번 더 보고싶네요","글쎄요","별로예요","생각보다 지루하네요","연기가 어색해요","재미없어요"]
# 긍정 리뷰는 1, 부정 리뷰는 0으로 클래스를 지정합니다.
classes = array([1,1,1,1,1,0,0,0,0,0])
# 토큰화
token = Tokenizer()
token.fit_on_texts(docs)
print(token.word_index)
x = token.texts_to_sequences(docs)
print("\n리뷰 텍스트, 토큰화 결과:\n", x)
# 패딩, 서로 다른 길이의 데이터를 4로 맞추어 줍니다.
padded_x = pad_sequences(x, 4)
print("\n패딩 결과:\n", padded_x)
#딥러닝 모델
print("\n딥러닝 모델 시작:")
#임베딩에 입력될 단어의 수를 지정합니다.
word_size = len(token.word_index) +1
#단어 임베딩을 포함하여 딥러닝 모델을 만들고 결과를 출력합니다.
model = Sequential()
model.add(Embedding(word_size, 8, input_length=4))
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(padded_x, classes, epochs=20)
print("\n Accuracy: %.4f" % (model.evaluate(padded_x, classes)[1]))
