1，⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表⽰词的向量，也可被认为是词的特征向量或表征。**把词映射为实数域向量的技术也叫词嵌⼊（word embedding）。**近年来，词嵌⼊已逐渐成为⾃然语⾔处理的基础知识。
在NLP(自然语言处理)领域，文本表示是第一步，也是很重要的一步，通俗来说就是把人类的语言符号转化为机器能够进行计算的数字，因为普通的文本语言机器是看不懂的，必须通过转化来表征对应文本。早期是基于规则的方法进行转化，而现代的方法是基于统计机器学习的方法。
数据决定了机器学习的上限,而算法只是尽可能逼近这个上限。
2，One-hot表示
One-hot简称读热向量编码，也是特征工程中最常用的方法。其步骤如下：
构造文本分词后的字典，每个分词是一个比特值，比特值为0或者1。
每个分词的文本表示为该分词的比特位为1，其余位为0的矩阵表示。
例如：John likes to watch movies. Mary likes too
John also likes to watch football games.
以上两句可以构造一个词典，**{"John": 1, "likes": 2, "to": 3, "watch": 4, "movies": 5, "also": 6, "football": 7, "games": 8, "Mary": 9, "too": 10} **
每个词典索引对应着比特位。那么利用One-hot表示为：
**John: [1, 0, 0, 0, 0, 0, 0, 0, 0, 0] **
likes: [0, 1, 0, 0, 0, 0, 0, 0, 0, 0] .......等等，以此类推。
One-hot表示文本信息的缺点：
随着语料库的增加，数据特征的维度会越来越大，产生一个维度很高，又很稀疏的矩阵。
这种表示方法的分词顺序和在句子中的顺序是无关的，不能保留词与词之间的关系信息。
网友评论
1条评论发表
- 盘盘龙龙
- 搞笑
- 大白猫手绘
- 本地上传
点击或拖拽图片到此区域即可上传
仅限.jpg,.jpeg,.png,.gif
最新评论
推荐文章
-
那一遍彝族的土撑房
“跟着边凡看世界”城子古村，地处两州属云南红河州泸西县永宁乡。拥有云南最具特色彝汉结合的独特古村落景观，土掌房规模巨大，...
边凡 5187阅读 2天前
-
观车展，看名车，过眼瘾
第23届中国（昆明）国际汽车博览会8月4日在昆明滇池国际会展中心启幕以来，观展者人山人海，热闹非凡。既看“风景”，又观靓...
大王-无冕之王 6511阅读 3天前
-
翠湖七夕汉服表演
浩德 2401阅读 4天前
-
世博园新景
世博园新景观步道，大约三公里，可从世博园步行至金殿景区，一路鲜花伴我行，人在景中走心随花儿飞。
小白鸽 5387阅读 5天前
-
云南建水“晚霞夕照古桥”
“跟着边凡看世界” 中国是一个桥梁大国，各种各样神奇的桥梁横卧在大山大河之间，每一座桥梁背后都有...
边凡 5331阅读 6天前
-
建水文庙
建水文庙，位于云南省红河哈尼族彝族自治州建水县，始建于元至元二十二年（1285年），已有七百多年的历史。经历代40多次扩...
老陋 6532阅读 6天前
最新文章
彩龙
Copyright © 2008-2022 彩龙社区 版权所有 All Rights Reserved.
免责声明: 本网不承担任何由内容提供商提供的信息所引起的争议和法律责任。
经营许可证编号：滇B2-20090009-7
网友评论
1条评论发表