NNLM、Word2Vec(CBOW、Skip-gram) 与 BERT:神经网络语言模型的演进与对比
本文系统梳理了语言模型的演进历程:从2003年NNLM首次用神经网络替代统计模型,到2013年Word2Vec通过简化架构实现效率突破(CBOW聚合上下文预测中心词,Skip-gram中心词预测上下文),再到2018年BERT采用深层Transformer实现动态语境建模。模型发展呈现从静态词向量到动态上下文表示、从局部窗口到全局双向理解的趋势。不同模型在计算效率、语义捕捉、一词多义处理等方面各具
所有评论(0)