关于openai和chatgpt、gpt-4、PyTorch、TensorFlow 两者和Transformers的关系
transformers
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。
项目地址:https://gitcode.com/gh_mirrors/tra/transformers
免费下载资源
·
近两年,随着人工智能的火爆,不论通过哪个渠道,相信我们都听说过openai、gpt等这类名词,那么它们到底是什么意思,请看下文。
-
openai:是一家人工智能公司;
-
openai-api:是openai提供的api;
-
gpt-3.5、gpt-4:是openai公司训练出的两个模型,是LLM;
-
chatgpt:是openai公司推出一款产品,主要是做自然语言处理的工具产品使用的技术是 Transformer神经网络架构;
-
PyTorch和TensorFlow是两个广泛使用的深度学习框架;
-
Transformers是一个基于这两个框架之一(或两者皆可)的库。;
-
PyTorch是由Facebook开发的深度学习框架,它提供了丰富的工具和API,使得构建和训练神经网络变得更加简单和高效。PyTorch以其易用性、动态计算图和良好的可扩展性而受到广泛欢迎。
-
TensorFlow是由Google开发的深度学习框架,它提供了一种灵活的方式来构建和训练神经网络。TensorFlow具有静态计算图和高度优化的执行引擎,使其适用于大规模的分布式训练和部署。
-
Transformers库是由Hugging Face开发的,它建立在PyTorch和TensorFlow之上,提供了许多预训练的Transformer模型和相关工具。Transformers库为自然语言处理任务提供了方便的API和工具,使得使用和微调预训练模型变得更加简单和高效。
所以说,PyTorch和TensorFlow是深度学习框架,而Transformers是一个基于这两个框架之一的库,专注于提供预训练的Transformer模型和相关工具。
GitHub 加速计划 / tra / transformers
130.24 K
25.88 K
下载
huggingface/transformers: 是一个基于 Python 的自然语言处理库,它使用了 PostgreSQL 数据库存储数据。适合用于自然语言处理任务的开发和实现,特别是对于需要使用 Python 和 PostgreSQL 数据库的场景。特点是自然语言处理库、Python、PostgreSQL 数据库。
最近提交(Master分支:3 个月前 )
13493215
* remove v4.44 deprecations
* PR comments
* deprecations scheduled for v4.50
* hub version update
* make fiuxp
---------
Co-authored-by: Marc Sun <57196510+SunMarc@users.noreply.github.com>
Co-authored-by: Arthur <48595927+ArthurZucker@users.noreply.github.com> 5 天前
8d50fda6
* Remove FSDP wrapping from sub-models.
* solve conflict trainer.py
* make fixup
* add unit test for fsdp_auto_wrap_policy when using auto_find_batch_size
* put back extract_model_from_parallel
* use transformers unwrap_model 5 天前
更多推荐
已为社区贡献7条内容
所有评论(0)