NLP-onehot表示

1,⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中,词是表义的基本单元。顾名思义,词向量是⽤来表⽰词的向量,也可被认为是词的特征向量或表征。**把词映射为实数域向量的技术也叫词嵌⼊(word embedding)。**近年来,词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。

在NLP(自然语言处理)领域,文本表示是第一步,也是很重要的一步,通俗来说就是把人类的语言符号转化为机器能够进行计算的数字,因为普通的文本语言机器是看不懂的,必须通过转化来表征对应文本。早期是基于规则的方法进行转化,而现代的方法是基于统计机器学习的方法。

数据决定了机器学习的上限,而算法只是尽可能逼近这个上限。

2,One-hot表示

One-hot简称读热向量编码,也是特征工程中最常用的方法。其步骤如下:

构造文本分词后的字典,每个分词是一个比特值,比特值为0或者1。

每个分词的文本表示为该分词的比特位为1,其余位为0的矩阵表示。

例如:John likes to watch movies. Mary likes too

John also likes to watch football games.

以上两句可以构造一个词典,**{"John": 1, "likes": 2, "to": 3, "watch": 4, "movies": 5, "also": 6, "football": 7, "games": 8, "Mary": 9, "too": 10} **

每个词典索引对应着比特位。那么利用One-hot表示为:

**John: [1, 0, 0, 0, 0, 0, 0, 0, 0, 0] **

likes: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0] .......等等,以此类推。

One-hot表示文本信息的缺点

随着语料库的增加,数据特征的维度会越来越大,产生一个维度很高,又很稀疏的矩阵。

这种表示方法的分词顺序和在句子中的顺序是无关的,不能保留词与词之间的关系信息。

网友评论

1条评论

发表

网友评论

1条评论

发表

最新评论

06月28日 18:23

推荐文章

彩龙

Copyright © 2008-2022 彩龙社区 版权所有 All Rights Reserved.

免责声明: 本网不承担任何由内容提供商提供的信息所引起的争议和法律责任。

经营许可证编号:滇B2-20090009-7

下载我家昆明APP 下载彩龙社区APP