用keras对国产剧评论文本的情感进行预测
RNN即循环神经网络,其主要用途是处理和预测序列数据。在CNN中,神经网络层间采用全连接的方式连接,但层内节点之间却无连接。RNN为了处理序列数据,层内节点的输出还会重新输入本层,以实现学习历史,预测未来。
RNN的两个主要改进是LSTM(长短时记忆网络)和GRU(门控循环单元),二者为基本神经单元增加了额外的功能门,从而更好的实现长时记忆的处理。
在此基础上,通过两层或者多个RNN层的堆叠,可以实现双向循环神经网络(bidirectionalRNN)及深层循环神经网络(deepRNN)。
Keras对RNN的支持
Keras在layers包的recurrent模块中实现了RNN相关层模型的支持,并在wrapper模块中实现双向RNN的包装器。
下面的示例使用了LSTM模型,通过对豆瓣电视剧评论进行训练,最终使得模型可以对评论的好恶进行预测,或者说简单的情感分析。
语料处理
原始语料来自豆瓣,采集了约100w条豆瓣国产剧评论及对应的评分。在语料处理中,借助jeiba分词工具进行分词,并去除停词。这里下载停词表https://github.com/dongxiexidian/Chinese/tree/master/dict
最终处理得到的语料类似于下面的格式,即每行一条评论。每行第一个字段为评分,其余字段为分词去停词后的评论。
将语料文件review.csv放在corpus目录下。将stop_word.txt放在dict目录下
5 经典作品 道听途说 以为 懂 实际 读 觉得 独特 意想不到 新颖 5 东京 看过 热海 看过 回家 5 这部 电影 里 看出 东西 太多 比方说 注意 尾道 家中 鸡冠花 会 明白 黑白 影像 彩色 影像 不能 取代 魅力 母亲 热海 防波堤 上 说 东京 游览 热海 回家 真是 人生 非常 隽永 总结 5 刚 几幕 觉得 极 做作 哪有 众人 说 这般 好 再 耐心 看 下去 方 发觉 表面 客套 微笑 下 内心深处 悲凉 其实 很 幸福 其实 幸福 等到 老时 会 老伴 相视而笑5 生活 总是 人 失望
评分与情感的关系
为了简化示例,简单的认为1-2分为负面情感,4-5分为正面情感。未评分及3分为中性,不计入训练。这样将问题转化为一个二分类问题。
文本向量表示
借助Keras提供的文本预处理类Tokenizer,可以很容易的实现文本向量化。处理代码如下:
texts = []
labels = []for line in lines:
fields = line.split()
rate = int(fields[0]) if rate==0 or rate==3: continue
elif rate < 3:
rate = 0
else:
rate = 1
cont = fields[1:]
cont = " ".join(cont)
texts.append(cont)
labels.append(rate)
tokenizer.fit_on_texts(texts)
tokenizer.texts_to_sequence(texts)
由于每句长度不同,为便于计算,最终统一用0填充成长度为100的向量.
模型构建
采用双向LSTM的结构,构建代码如下:
model = Sequential()
model.add(Embedding(vocab_size, 256, input_length=sentence_max_len))
model.add(Bidirectional(LSTM(128,implementation=2)))
model.add(Dropout(0.5))
model.add(Dense(2, activation='relu'))
model.compile('RMSprop', 'categorical_crossentropy', metrics=['accuracy'])
完整代码:
http://blog.csdn.net/zzulp/article/details/76589044
from keras.models import Sequential
from keras.preprocessing.text import Tokenizer
import keras.preprocessing.sequence as S
from keras.utils import to_categorical
from keras.layers import Embedding, Bidirectional, LSTM, Dropout, Dense
import jieba
import json
import numpy as np
vocab_size = 350000
sentence_max_len = 100
model_path = 'keras.h5'
class SentimentLSTM:
def __init__(self):
self.tokenizer = Tokenizer(num_words=vocab_size)
self.stop_words = []
self.model = None
def load_stop_word(self,path='dict/stop_word.txt'):
with open(path, 'r') as f:
for line in f:
content = line.strip()
self.stop_words.append(content.decode('utf-8'))
def jieba_cut(self,line):
lcut = jieba.lcut(line)
cut = [x for x in lcut if x not in self.stop_words]
cut = " ".join(cut)
return cut
def load_cuted_corpus(self, dir, input):
f = open(dir + '/' + input , 'r')
lines = f.readlines()
texts = []
labels = []
for line in lines:
fields = line.split()
rate = int(fields[0])
if rate==0 or rate==3:
continue
elif rate < 3:
rate = 0
else:
rate = 1
cont = fields[1:]
cont = " ".join(cont)
texts.append(cont)
labels.append(rate)
self.tokenizer.fit_on_texts(texts)
f.close()
return texts,labels
def load_data(self):
x,y = self.load_cuted_corpus('corpus', 'review.csv')
x = self.tokenizer.texts_to_sequences(x)
x = S.pad_sequences(x,maxlen=sentence_max_len)
y = to_categorical(y,num_classes=2)
return ((x[0:500000],y[0:500000]), (x[500000:], y[500000:]))
def train(self,epochs=50):
print 'building model ...'
self.model = SentimentLSTM.build_model()
print 'loading data ...'
(text_train, rate_train), (text_test, rate_text) = self.load_data()
print 'training model ...'
self.model.fit(text_train, rate_train,batch_size=1000,epochs=epochs)
self.model.save('model/keras.model')
score = self.model.evaluate(text_test,rate_text)
print score
def load_trained_model(self,path):
model = SentimentLSTM.build_model()
model.load_weights(path)
return model
def predict_text(self,text):
if self.model == None:
self.model = self.load_trained_model(model_path)
self.load_stop_word()
self.load_cuted_corpus('corpus', 'review.csv')
vect = self.jieba_cut(text)
vect = vect.encode('utf-8')
vect = self.tokenizer.texts_to_sequences([vect,])
print vect
return self.model.predict_classes(S.pad_sequences(np.array(vect),100))
@staticmethod
def build_model():
model = Sequential()
model.add(Embedding(vocab_size, 256, input_length=sentence_max_len))
model.add(Bidirectional(LSTM(128,implementation=2)))
model.add(Dropout(0.5))
model.add(Dense(2, activation='relu'))
model.compile('RMSprop', 'categorical_crossentropy', metrics=['accuracy'])
return model
def main():
lstm = SentimentLSTM()
lstm.train(10)
while True:
input = raw_input('Please input text:')
if input == 'quit':
break
print lstm.predict_text(input)
if __name__=="__main__":
main()
运行代码,在训练完模型之后,在交互器中输入新的评论,即可以查看训练的模型对评论的预测了.负向输出为0,正向输出为1.
PS:在约60w的数据集上,CPU上跑10轮至少要10个小时.在GeForce GTX 1080上跑需要30分钟. 模型在测试集上的准确度能达到86%,召回率98%,精确度61%,F1评分75%.增大训练的轮数,100轮左右,仍可提升相关得分。
- javascript中如何正确将日期(Date)字符串转换为日期(Date)对象?
- 全面迎接.Net3.0时代的到来(WCF/WF/WPF/LINQ)
- SQL Server 2005 正则表达式使模式匹配和数据提取变得更容易
- [基础]datagridview绑定数据源的几种常见方式
- c#:winform鼠标拖动窗口大小时,设定窗口最小尺寸
- 在非SqlServer数据库上实现MemberShip和Role功能(自定义MemberShipProvider和RoleProvider)
- 一种实用的表格行鼠标点击高亮效果
- Lucene:QueryParser中操作符的疑惑
- 利用Boost影响Lucene查询结果的排序
- 利用Boost影响Lucene查询结果的排序
- linq to sql取出随机记录/多表查询/将查询出的结果生成xml
- [原创]Func〈T, TResult〉 泛型委托 以及演变历程(整理自MSDN)
- 上市企业4位数秒下的域名 如今9.9万元出售
- 黑客横行,全球安全系统集成市场将破百亿美元
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法