一、核心定义

n 维向量 \(\boldsymbol X=[x_1,x_2,...,x_n]\),由 n 个独立数值特征组成;每一维代表一项特征属性,整组向量把非结构化信息(文字、图像、语音)转化为模型可运算的数字格式,作为 AI、机器学习的标准输入。

计算机只能做数值四则运算、矩阵运算,无法直接识别文字、图片,向量就是现实信息→数字特征的翻译器

二、分层拆解:每一维度 = 一个特征

  1. 向量维度 n:特征总个数\(n=5\) → 5 个特征;\(n=300\) → 300 个隐性特征;\(n=768\) →768 项语义特征。
  2. 分量 \(x_i\):该特征的量化取值可以是整数、小数、0,用来描述这个特征的强弱、有无、大小。

实例 1:传统结构化数据(身高体重)

样本:人 = \([身高,体重,年龄]\),\(n=3\)\([175,65,28]\)

  • \(x_1\)身高特征、\(x_2\)体重特征、\(x_3\)年龄特征;三维完整描述一个人的基础信息。

实例 2:NLP 四种编码(承接前面学习链路)

  1. OneHot 单词向量(n= 词典总数)词典[苹果,香蕉,桌子],\(n=3\),苹果:\([1,0,0]\)
  • 第 1 维:是否是苹果;第 2 维:是否是香蕉;第 3 维:是否是桌子;维度 = 词语标识特征,稀疏特征。
  1. BoW 词袋文本向量(n= 词典总数)词典[我,爱吃,苹果,香蕉],句子「我爱吃苹果」:\([1,1,1,0]\)
  • 每一维 = 对应词语在文档的出现频次特征。
  1. Word2Vec 词向量(自定义\(n=50/300\)稠密)苹果\([0.2,0.5,-0.1,...]\),共 300 维
  • 每一维是隐性语义特征:品类、口感、常用搭配、属性等抽象特征(人看不懂数值含义,但模型能识别)。
  1. BGE 文本向量(\(n=768/1024\)稠密)整句话压缩为一条高维向量,所有维度共同承载:语序、主旨、情感、上下文隐含语义。

三、两大向量分类:稀疏特征 / 稠密特征

1. 稀疏特征向量(OneHot、BoW)

绝大多数维度数值 = 0,只有少量特征有效;

  • 特征含义显性:人能看懂每一维代表什么(某词有没有、出现几次);
  • 缺陷:维度庞大、信息碎片化、无语义关联。

2. 稠密特征向量(Word2Vec、BGE)

全部维度都是非 0 小数,没有大量空位;

  • 特征含义隐性:人类无法直接解读单个维度含义,是模型自主学习出来的抽象语义特征
  • 优势:少量维度承载海量语义信息,同类特征数值天然靠近。

四、向量的核心作用:作为模型输入

  1. 统一数据格式不管是单词、整段文章、图片像素,全部规整为固定长度n维数组,满足神经网络、传统机器学习的输入规范。
  2. 特征压缩与信息封装把海量文字语义压缩进一串数字,相近信息→特征分布相近→向量空间靠近,因此可以用余弦相似度计算信息相似度。

苹果、香蕉语义相近,向量各维度数值整体接近,余弦≈1;苹果、桌子特征差异大,余弦趋近 0。

五、串联整条 NLP 演进逻辑(回扣之前总结)

  1. OneHot:单词→稀疏 n 维特征,仅区分词语,无词义;
  2. BoW:文本→稀疏 n 维特征,仅统计词频,无整句语义;
  3. Word2Vec:单词→稠密 n 维特征,特征携带词语语义;
  4. BGE:文本→稠密 n 维特征,特征携带全文整体语义。

迭代本质:从只能标记 “有无” 的无效特征,逐步进化为能表达内在含义的语义特征。

六、一句话精简总结

n 维向量 = 用 n 个数字化特征去具象化现实信息,是现实世界和人工智能数学计算的中间桥梁

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐