自然语言处理构建文本向量空间1.百科2.源代码3.参考:
时间:2022-05-08
本文章向大家介绍自然语言处理构建文本向量空间1.百科2.源代码3.参考:,主要内容包括1.百科、2.源代码、3.参考:、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
1.百科
- TF-IDF
2.源代码
- 系统环境
python 3.6 scikit-learn==0.19.1
# utf-8
import os
import math
import numpy as np
'''
不使用NLTK和Scikits-Learn包,构建文本向量空间模型
reference:
https://mp.weixin.qq.com/s/DisMF8frY2pkpGMfrWk4Wg
'''
def load_doc_list(file):
with open(file, 'r') as f:
return f.read().splitlines()
'''
第一步:Basic term frequencies
frequencies:计算文本各行的单词频度(出现次数),存在问题,文本空间大小不一样
build_lexicon:创建词汇表,以便构造相同文本空间向量(特征向量)
tf:调用freq,计算单词在文档中出现的次数
'''
def frequencies(doc_list):
from collections import Counter
counters=[]
for doc in doc_list:
c=Counter()
for word in doc.split():
c[word]+=1
counters.append(c)
return counters
def build_lexicon(corpus):
lexicon=set()
for doc in corpus:
lexicon.update([w for w in doc.split()])
return lexicon
def tf(term,doc):
return freq(term,doc)
def freq(term,doc):
return doc.split().count(term)
'''
第二步:Normalizing vectors to L2 Norm = 1
如果有些单词在一个单一的文件中过于频繁地出现,它们将扰乱我们的分析。
我们想要对每一个词频向量进行比例缩放,使其变得更具有代表性。换句话说,我们需要进行向量标准化,需要确保每个向量的L2范数等于1
l2_normalizer
'''
def l2_normalizer(vec):
denom = np.sum([el**2 for el in vec])
return [(el / math.sqrt(denom)) for el in vec]
'''
第三步:逆向文件频率(IDF)频率加权
利用反文档词频(IDF)调整每一个单词权重
对于词汇中的每一个词,我们都有一个常规意义上的信息值,用于解释他们在整个语料库中的相对频率。
回想一下,这个信息值是一个“逆”!即信息值越小的词,它在语料库中出现的越频繁。
为了得到TF-IDF加权词向量,你必须做一个简单的计算:tf * idf。
numDocsContaining
idf
build_idf_matrix
'''
def numDocsContaining(word, doclist):
doccount = 0
for doc in doclist:
if freq(word, doc) > 0:
doccount +=1
return doccount
def idf(word, doclist):
n_samples = len(doclist)
df = numDocsContaining(word, doclist)
return math.log(n_samples / 1+df)
def build_idf_matrix(idf_vector):
'''
将IDF向量转化为BxB的矩阵了,矩阵的对角线就是IDF向量,这样就可以用反文档词频矩阵乘以每一个词频向量
'''
idf_mat = np.zeros((len(idf_vector), len(idf_vector)))
np.fill_diagonal(idf_mat, idf_vector)
return idf_mat
if __name__ == '__main__':
os.chdir('./python')
file="vector.txt"
doc_list=load_doc_list(file)
# counters=frequencies(doc_list)
# for counter in counters:
# print(counter)
vocabulary=build_lexicon(doc_list)
# print(vocabulary)
doc_term_matrix =[]
for doc in doc_list:
# print("doc = ",doc)
doc_term_vector = [tf(word, doc) for word in vocabulary]
# print("vec = ",doc_term_vector)
doc_term_matrix.append(doc_term_vector)
# print(doc_term_matrix)
doc_term_matrix_l2 = []
for vec in doc_term_matrix:
doc_term_matrix_l2.append(l2_normalizer(vec))
# print('A regular old document term matrix: ')
# print(np.matrix(doc_term_matrix))
# print('A document term matrix with row-wise L2 norms of 1:')
# print(np.matrix(doc_term_matrix_l2))
idf_vector = [idf(word, doc_list) for word in vocabulary]
print('Our vocabulary vector is [' + ', '.join(list(vocabulary)) + ']')
print('The inverse document frequency vector is [' + ', '.join(
format(freq, 'f') for freq in idf_vector) + ']')
idf_matrix = build_idf_matrix(idf_vector)
# print(idf_matrix)
#tf*idf
doc_term_matrix_tfidf = []
#performing tf-idf matrix multiplication
for tf_vector in doc_term_matrix:
doc_term_matrix_tfidf.append(np.dot(tf_vector, idf_matrix))
#normalizing
doc_term_matrix_tfidf_l2 = []
for tf_vector in doc_term_matrix_tfidf:
doc_term_matrix_tfidf_l2.append(l2_normalizer(tf_vector))
print(vocabulary)
print(np.matrix(doc_term_matrix_tfidf_l2)) # np.matrix() just to make it easier to look at
3.参考:
- http://python.jobbole.com/81311/
- http://stanford.edu/~rjweiss/public_html/IRiSS2013/text2/notebooks/tfidf.html
- 和开发同学讨论的一个技术问题(r8笔记第73天)
- 剖析Oracle中oerr命令(r8笔记第70天)
- 甜品店切蛋糕问题(动态规划,Go语言实现)
- SQL—复制表结构及其数据
- python连接SQL报错:1366, "Incorrect string value: '\xF0\x9F\x98\x81'
- PCIE的简单配置(r8笔记第82天)
- 7个深度神经网络可视化工具,不可错过!
- Pwnhub之奇妙的巨蟒 Writeup
- WINDOW 安装mysql5.7数据库,并设置密码及相关报错
- go channel 通信通道
- SQl 语句(常见) 新建,删除,修改表,新增字段,修改默认值
- SQL处理表结构的基本方法整理(创建表,关联表,复制表)
- Go web之旅(路由篇)
- Golang插入排序
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 检测ip和port是否可连接的方法
- Linux关机时执行指定脚本功能实现
- 适用于稀疏的嵌入、独热编码数据的损失函数回顾和PyTorch实现
- CentOS7下实现终端输入中文设置详解
- CentOS 7.2搭建VNC远程桌面服务的方法
- Ubuntu挂载3T硬盘或大于2T磁盘的方法
- linux chroot命令详解
- Linux中如何查询运行文件的全路径的方法
- 基于可变自动编码器(VAE)的生成建模,理解可变自动编码器背后的原理
- Centos7上网及添加静态IP方法介绍
- 解决yum安装报错Protected multilib versions的问题
- Linux与Windows编码不一致的解决方案
- Linux运维之如何使用ss命令代替netstat
- 对Linux终端使用socks5代理的方法详解
- linux安装xmind的方法步骤