这些数字不是人手动填进去的，而是让模型自己“看”出来的。

怎么看的？核心思路其实非常朴素：一个词长什么样，看它身边站着谁。

什么意思呢？举个例子——假如你第一次见到“苹果”这个词，根本不知道它是什么意思。但我给你看五百个包含“苹果”的句子，你就会发现：

• 这句话里的“苹果”旁边有“吃”、“削皮”、“水果”，你猜它可能是一种食物。

• 那句话里的“苹果”旁边有“手机”、“充电”、“刷视频”，你又猜它可能是一种电子产品。

看多了，你就学会了。 你不需要任何人事先告诉你“苹果”有哪几个特征维度，更不需要谁去手动填写那个表格。你只需要大量阅读“苹果”所处的各种上下文，大脑就会自动学会区分这两个意思，并知道在大多数情况下它指的是哪一种。

那么，问题来了——人可以通过阅读来理解，机器要怎么“阅读”呢？毕竟它没有意识。

答案是，我们可以通过设计一种任务让机器去完成，以此逼它学会阅读。

任务是这样的：准备海量的句子，然后把每个句子中的某个词挖掉，就像高中英语卷子里的完形填空那样。然后，我们再让一台机器去猜这个挖掉的词是什么。

比如句子：“我吃了一颗______，它又大又红，很甜。”

当然，在模型训练的早期阶段，因为每个词的向量都是随机初始化的（也就是它根本不认识任何一个词），它一开始只能胡乱猜测，但每一次猜测都会产生一个误差（也就是损失值），并通过反向传播来更新词向量。随着看到类似“苹果”这样的句子越来越多，它就会发现：当周围是“吃”、“红”、“甜”时，中间被挖掉的那个词的向量，往往就指向“苹果”。

这一过程不断重复，经过海量训练之后，模型便学会了每个词最佳的向量表示——也就是我们需要的词嵌入向量。

而这就是词嵌入最经典的训练方法：Word2Vec。Word2Vec有两种训练架构，分别对应“根据上下文猜中间词”和“根据中间词猜上下文”。前者被称作CBOW，训练速度更快；后者叫做Skip-gram，对低频词，生僻字效果更好。

另外值得一提的是，我们上面提到的这种训练词向量的方法，其底层逻辑依赖于一个关键假设——分布式假设：语义相似的词会出现在相似的上下文中。换句话说，“苹果”和“香蕉”之所以在向量空间中离得近，不是因为有人告诉模型它们都是水果，而是因为它们在语料库中频繁地与相似的一组词（“吃”、“水果”、“甜”等）共现。模型捕捉到了这种共现模式，自然就把它们的向量学得很接近。

最后总结一下就是：与其我们亲自手动去填“生物”、“交通工具”等语义特征，不如让模型通过阅读海量文本自己学习到每个词的特征表示。我们设计的不是特征，而是让模型学会发现特征的游戏规则。 而这个所谓的“游戏”，说白了就是——挖掉一个词，让它猜。