近两年,随着人工智能的火爆,不论通过哪个渠道,相信我们都听说过openai、gpt等这类名词,那么它们到底是什么意思,请看下文。

  • openai:是一家人工智能公司;

  • openai-api:是openai提供的api;

  • gpt-3.5、gpt-4:是openai公司训练出的两个模型,是LLM;

  • chatgpt:是openai公司推出一款产品,主要是做自然语言处理的工具产品使用的技术是 Transformer神经网络架构;

  • PyTorch和TensorFlow是两个广泛使用的深度学习框架

  • Transformers是一个基于这两个框架之一(或两者皆可)的库。;

  • PyTorch是由Facebook开发的深度学习框架,它提供了丰富的工具和API,使得构建和训练神经网络变得更加简单和高效。PyTorch以其易用性、动态计算图和良好的可扩展性而受到广泛欢迎。

  • TensorFlow是由Google开发的深度学习框架,它提供了一种灵活的方式来构建和训练神经网络。TensorFlow具有静态计算图和高度优化的执行引擎,使其适用于大规模的分布式训练和部署。

  • Transformers库是由Hugging Face开发的,它建立在PyTorch和TensorFlow之上,提供了许多预训练的Transformer模型和相关工具。Transformers库为自然语言处理任务提供了方便的API和工具,使得使用和微调预训练模型变得更加简单和高效。

所以说,PyTorch和TensorFlow是深度学习框架,而Transformers是一个基于这两个框架之一的库,专注于提供预训练的Transformer模型和相关工具。

GitHub 加速计划 / tra / transformers
130.24 K
25.88 K
下载
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。
最近提交(Master分支:3 个月前 )
13493215 * remove v4.44 deprecations * PR comments * deprecations scheduled for v4.50 * hub version update * make fiuxp --------- Co-authored-by: Marc Sun <57196510+SunMarc@users.noreply.github.com> Co-authored-by: Arthur <48595927+ArthurZucker@users.noreply.github.com> 5 天前
8d50fda6 * Remove FSDP wrapping from sub-models. * solve conflict trainer.py * make fixup * add unit test for fsdp_auto_wrap_policy when using auto_find_batch_size * put back extract_model_from_parallel * use transformers unwrap_model 5 天前
Logo

旨在为数千万中国开发者提供一个无缝且高效的云端环境,以支持学习、使用和贡献开源项目。

更多推荐