spaCy：工业级 NLP 库，70+ 语言的生产级自然语言处理

spaCy 在 GitHub 上已经拿到 33.6K Star 了。

explosion 团队开源的 Python 自然语言处理库，2015 年发布，专为生产环境设计。分词、词性标注、依存解析、命名实体识别、文本分类、实体链接，一条管线全包。

1、 它是干什么的

spaCy 是一个 Python 和 Cython 实现的 NLP 库，定位是「工业强度」。

跟学术研究用的工具取向不同，spaCy 从第一天起就瞄准真实产品。速度快、管线设计清晰、内存占用严格可控，能直接嵌入生产系统。当前支持 70 多种语言的预训练管线，覆盖从分词到 transformer 多任务学习的完整链路。

2、 为什么选它

做过 NLP 项目的人都清楚，算法原型跟能上线的系统之间有一道很宽的沟。模型加载速度、推理延迟、内存管理和部署流程，每一样都可能卡住你。

spaCy 在这几个维度上打磨了近十年。分词器用 Cython 实现，单核每秒处理百万 token。内置管线组件覆盖分词、词性标注、依存解析、命名实体识别、句子分割、词形还原、形态分析、实体链接等十几个核心 NLP 任务。不需要拼装多个库，一个 spacy.load() 拿到完整结果。

3、 预训练模型体系

模型分发方式很务实。预训练管线直接打包成 Python 包，版本管理跟代码同步：

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("This is a sentence.")

目前 70 多种语言都有对应模型，每个语言提供不同尺寸：从轻量的 sm（10MB 级别）到高精度的 trf（transformer 版本），按精度和速度需求自己选。

4、 Transformer 和扩展性

3.0 之后 transformer 直接集成进管线。BERT 这类预训练模型当成普通组件挂上去，跟其他 NLP 组件共享同一个训练循环。自定义组件也是洋葱模型：每个组件接收 Doc 对象、处理后返回 Doc 对象，随时插入、替换或移除。PyTorch、TensorFlow 的自定义模型都能注册。

5、 训练与部署

训练系统面向生产场景设计。配置文件驱动，一条命令启动，支持 GPU 和多 GPU 分布式训练：

python -m spacy train config.cfg --output ./output

训练结果打包成可安装的 Python 包，CI/CD 流水线里直接集成。安装也简单：

pip install spacy
python -m spacy download en_core_web_sm

6、 适合哪些团队

• 需要在产品中嵌入 NLP 功能的企业和创业公司
• 处理多语言文本、需要统一 API 的平台团队
• 从研究原型转向工程落地的数据科学团队
• 不想维护拼装式 NLP 工具链的独立开发者

统一 API 的平台团队

• 从研究原型转向工程落地的数据科学团队
• 不想维护拼装式 NLP 工具链的独立开发者