AtomGit开源社区

AtomGit开源社区

AI 编程助手 🔥 openEuler G-Star AI 学习教程最新活动

去全站搜索看看？

登录社区云

登录社区云，与社区用户共同成长

AtomGit开源社区

邀请您加入社区

欢迎加入社区

欢迎加入社区

bert

大模型面试必备2- Bert 与 LSTM、MoE 架构与 Dense 架构

本文对比分析了NLP领域两大里程碑模型LSTM和BERT的核心差异。LSTM作为时序模型，通过门控机制实现序列记忆，但存在串行计算和长程依赖问题；而BERT基于Transformer编码器，利用自注意力机制实现并行全局语义理解。关键区别在于：1）LSTM适合序列生成任务，BERT擅长语义理解；2）BERT支持并行计算和预训练范式，显著提升效率与泛化能力。文章还深入解析了混合专家模型（MoE）架构，

草帽-路飞
2026-06-12 19:37:49

 703

 16

#面试 #bert #lstm +3
基于RK3576的四足机器狗智能大脑系统软件功能设计

本文提出了一种基于RK3576单主控芯片的四足机器狗智能大脑软件系统设计方案。系统采用五层架构（硬件驱动适配层、实时内核层、智能中间件层、核心功能层、应用交互层），通过多模态传感器融合、端侧AI决策、一体化运动控制等六大核心模块，实现环境感知、智能决策、自主导航等全流程功能。创新性地采用单芯片方案，通过实时内核优化、异构算力调度和AI推理加速，解决了智能性与实时性兼顾的难题。系统支持全离线运行，具

 大雨淅淅1999
2026-06-11 21:52:40

 486

 7

#人工智能 #大数据 #深度学习 +3
计算机毕业设计之基于BERT的文本情感识别算法研究与实现

本文介绍了一个基于BERT的电商文本情感分析系统，整合了Scrapy爬虫、Django、Hadoop、Spark和Vue等技术。系统通过Scrapy爬取京东商品及订单数据，使用Django+MySQL处理后端，Hadoop+Spark进行大数据分析，并利用Vue+Echarts实现可视化展示。核心功能包括：城市订单统计、商品数量/价格分析、评论文本情感评估（基于BERT模型），为用户提供商品评论的

 2401_85546142
2026-06-10 14:46:02

 86

#bert #人工智能 #python +3
基于BERT+LSTM+CRF与知识图谱的医疗智能问答系统（全套独家最详细讲解及源码/源码解析/文档等资料）

本项目构建了一个医疗智能问答系统，融合BERT+LSTM+CRF深度学习模型与知识图谱技术。系统通过实体识别和意图分析理解用户医疗问题，基于Neo4j图数据库进行知识推理，提供结构化答案。项目亮点包括：1)采用先进深度学习模型识别医学实体；2)构建医疗知识图谱表达复杂医学关系；3)结合意图分析实现精准问答；4)完整Web系统实现。技术栈涵盖NLP、知识图谱、图数据库和Web开发，适合作为AI项目实

 星川皆无恙
2026-06-08 19:25:45

 396

 5

#深度学习 #bert #lstm +4
基于提示引导适配器的实体级对齐遥感图文检索

本文提出了一种基于提示引导适配器的实体级对齐框架（EAPA），用于提升遥感图文检索的细粒度语义建模与跨模态匹配能力。针对现有方法在遥感语义实体感知、嵌入与对齐方面的不足，EAPA以CLIP模型为骨干，包含三个核心模块：提示引导注意力适配器（PAA）通过可学习提示向量优化注意力分布以增强实体语义特征；伪标签监督实体嵌入模块（PEE）利用实体查询编码器提取具明确语义类别的实体级特征；跨模态实体语义对齐

 毕竟是shy哥
2026-06-06 22:34:56

 448

 7

#人工智能 #transformer #bert +1
17-Hugging Face Transformers之BERT 案例详解：Transformers 框架全模块串联

本文档详细解析了BERT模型在Transformers框架中的实现，重点包括： BERT作为Encoder-only架构的定位，与GPT、T5形成Transformer三大范式对比 BERT特有的双向注意力机制及其适用任务（MLM、NSP等7类任务） BertConfig的严格类型定义，使用@strict装饰器确保参数类型安全模型配置的核心设计要点：model_type注册、属性别名映射机制通

 happyprince
2026-06-05 22:31:41

 230

 1

#bert #人工智能 #深度学习
2026 新版｜传统程序员 & 零基础小白转型大模型完整指南，抓住 AI 高薪风口

短短几年人工智能技术飞速落地，早已摆脱早年空泛的概念炒作，全面渗透 IT 行业研发、自动化测试、网络安全、服务部署、运维监控全工作链路。如今 IT 行业内卷程度持续加剧，AI 不再只是辅助开发提效的简易工具，更是推动整个信息技术行业迭代升级的核心驱动力。它一方面大幅缩短项目开发落地周期，另一方面也给广大程序员、IT 技术从业者带来全新行业变局，危机与千载难逢的转型机遇同时摆在所有人面前。

学编程的头没秃
2026-06-05 12:15:00

 423

 9

#transformer #bert #人工智能
收藏！2026 最新版 Transformer 核心解析：BERT 与 GPT 底层原理全梳理，小白程序员入门大模型必看

现如今大模型已经成为互联网、人工智能行业核心技术，不管是零基础 AI 新手、后端 Java 程序员还是传统 NLP 从业者，想要入行大模型开发，第一步就得吃透 Transformer 两大经典分支：理解侧重文本理解的 BERT、主打文本生成的 GPT。本文 2026 更新优化，完整拆解二者基于 Transformer 的结构取舍、BERT 输入编码逻辑、双预训练任务原理、全下游任务微调方案，补充模

 学编程的头没秃
2026-06-05 10:15:00

 187

 4

#transformer #bert #人工智能
为什么主流大模型都用 Decoder-Only 架构？从 BERT 的辉煌到 GPT 的统治

【摘要】2018年BERT与GPT-1的架构之争中，Encoder架构曾被认为更具优势。然而当前主流大模型普遍采用Decoder-Only架构，其逆袭源于七大核心优势：1️⃣训练效率高，每个Token都贡献梯度；2️⃣训练与推理完全一致，避免分布偏移；3️⃣天然支持上下文学习（ICL），通过前文示例理解任务；4️⃣缩放定律可预测，便于资源规划；5️⃣统一所有任务为序列生成范式；6️⃣支持KVCac

一个风轻云淡
2026-06-04 18:04:15

 343

 7

#架构 #bert
RAG Embedding Reranker 、Bert、CLIP&T5、池化模型

线上推理时，需要对召回的每个候选集都和 Query 一起输入模型计算，速度较慢（适合小批量数据）。对于双塔结构，其实本质上是说有一个并行的网络结构，结构上是两个独立的子网络（塔），分别处理查询（Query）和候选（Candidate）的特征，最后通过向量相似度（如内积、余弦相似度）计算匹配分数。T5 摒弃了 BERT 的 MLM（掩码语言模型）和 GPT 的 CLM（因果语言模型），采用了全新

 NCU_wander
2026-01-26 17:19:06

 750

 13

#bert #人工智能 #深度学习
13 BERT 论文精读：双向 Transformer 如何学习语言表示？

在上一篇文章中，我们精读了 GPT-1。GPT-1 的核心思想是：先使用 Transformer Decoder 在大规模无标注文本上进行生成式预训练，然后再把预训练模型迁移到下游 NLP 任务中进行微调。它走的是。但是 GPT-1 有一个天然限制：它只能根据左侧上下文预测后面的 token，不能同时利用左右两侧上下文。如果模型要预测[MASK]位置的词，只看左边“我今天去”是不够的；右边的“上课

 z小猫不吃鱼
2026-05-28 14:44:34

 570

 11

#bert #transformer #学习
BERT 与 GPT-3 模型结构及语言理解/生成能力对比

BERT与GPT-3的核心差异在于模型架构与任务定位。BERT采用双向Transformer编码器，通过掩码语言建模学习文本理解能力，适合分类、匹配和信息抽取任务；GPT-3使用自回归解码器，通过预测下一个token实现文本生成，擅长对话、写作等生成式任务。二者在参数量（BERT-Large 3.4亿 vs GPT-3 1750亿）、注意力机制（双向 vs 因果）和训练目标（掩码预测 vs 自回归

 code_pgf
2026-05-27 19:16:28

 477

 8

#bert #gpt-3 #人工智能
15 BEiT 论文精读：BERT Pre-Training of Image Transformers

在上一篇文章中，我们精读了 MAE。MAE 的核心思想非常直接：把图像中的大部分 patch 遮住，只让编码器看到少量可见 patch，然后通过解码器重建被遮住区域的像素。从直觉上看，MAE 更像是一个“图像补全任务”：模型需要根据可见部分推测缺失区域长什么样。而 BEiT 的思路则更接近 NLP 中的 BERT。BERT 的预训练任务是 Masked Language Modeling，也就是遮

 z小猫不吃鱼
2026-05-22 10:40:07

 379

 9

#bert #人工智能 #深度学习
【蒸馏】Tinybert:Distilling BERT for natural language understanding.

我们首先提出了一种新颖的 Transformer 蒸馏方法，该方法专为基于 Transformer 模型的知識蒸馏（Knowledge Distillation, KD）而设计。借助这一新的 KD 方法，大型“教师”BERT 中编码的大量知识可以有效地迁移到小型“学生”TinyBERT 中。随后，我们引入了一种新的两阶段学习框架，用于 TinyBERT，该框架在预训练阶段和特定任务学习阶段均执行

 Hali_Botebie
2026-05-18 16:58:52

 375

 7

#bert #人工智能 #深度学习
【量化】Q-bert: Hessian based ultra low precision quantization of bert.

在本工作中，我们利用二阶海森矩阵信息进行详尽的细调 BERT 模型分析，并基于分析结果提出了一种将 BERT 模型量化至超低精度的新方法。具体而言，我们提出了一种新的分组量化方案，并采用基于海森矩阵的混合精度方法进一步压缩模型。解决这一挑战的一个有前景的方法是量化，它使用低位宽精度进行参数存储，并支持低位宽硬件运算以加速推理。由此带来的内存占用缩减和推理加速，使得模型能够部署到支持降低精度推理的硬

 Hali_Botebie
2026-05-18 15:59:54

 391

 8

#bert #人工智能 #深度学习
微调BERT模型时，为什么必须划分训练集、验证集、测试集？三者到底有什么区别？

本文深入解析BERT微调中训练集、验证集和测试集的核心分工与使用原则。训练集用于参数更新，验证集负责超参数调优和早停，测试集仅作最终评估。三者严格隔离可防止信息泄露，确保模型泛化能力。文章结合BERT特性给出数据划分比例、早停策略等实操建议，并警示常见误区（如用测试集调参）。正确使用三类数据集是获得可靠模型性能的关键，尤其在BERT这种强预训练模型微调时更为重要。

携梦问道
2026-05-18 15:42:41

 662

 15

#bert #人工智能 #深度学习
【量化】I-BERT: Integer-only BERT Quantization

尽管先前研究已证明了纯整数推理的可行性（Jacob 等，2018；Yao 等，2020），但这些方法仅集中于计算机视觉领域中使用简单卷积神经网络（CNN）层、批归一化（Batch-Normalization）（Ioffe 和 Szegedy，2015）以及 ReLU激活函数的模型。这些算子均为线性或分段线性算子。由于 Transformer 架构中使用了非线性运算，例如 GELU、Softmax

Hali_Botebie
2026-05-18 11:35:27

 495

 7

#bert #人工智能 #深度学习
BERT 学习笔记

BERT是Google提出的基于Transformer的双向预训练语言模型。其核心架构包含嵌入层（词嵌入、句段嵌入、位置嵌入）、Transformer编码器（多头注意力机制）和任务适配层。预训练采用掩码语言模型（MLM）和下一句预测（NSP）两个任务：MLM随机遮蔽15%的token进行预测，NSP判断句子关系。模型通过12层编码器将输入转换为768维向量，下游任务可微调输出层处理分类、问答等任务

 qq_65726943
2026-05-17 15:59:23

 501

 10

#bert
【论文阅读】RoBERTa: A Robustly Optimized BERT Pretraining Approach

超参数（hyperparameter）的选择对于最终结果有重大影响数据集大小（training data size）最好的模型在GLUE, RACE和SQuAD上达到了最先进的结果。

晓山清
2026-05-13 17:11:59

 354

 5

#bert #人工智能
计算机毕业设计：Python融合Bert与图数据库的医疗领域智能问答系统 Django框架 Bert模型深度学习知识图谱大模型（建议收藏）✅

本文介绍了一个基于知识图谱的医疗智能问答系统。系统采用Python+Django框架开发，结合Neo4j图数据库存储医疗知识图谱，运用Bert模型和LSTM-CRF进行意图识别与实体抽取。主要功能包括：知识图谱可视化展示医疗实体关联、智能问答交互、问答信息管理、词云分析等模块。系统通过自然语言处理技术实现医疗问答服务，支持疾病、症状、药物等实体查询，为智慧医疗提供技术支持。项目亮点在于将深度学习与

 q_3548885153
2026-05-11 21:18:06

 418

 8

#python #深度学习 #django +3
计算机毕业设计：Python基于Bert与Neo4j的医疗知识图谱问答系统 Django框架 Bert模型深度学习知识图谱大模型（建议收藏）✅

本文介绍了一个基于知识图谱的医疗智能问答系统。系统采用Python+Django框架构建后端，结合Neo4j图数据库存储医疗知识图谱，运用Bert模型和LSTM-CRF进行医疗问句的意图识别与实体抽取。主要功能模块包括：知识图谱可视化展示医疗实体关联、智能问答交互、问答信息管理、词云分析高频关键词、后台数据管理以及用户注册登录。该系统通过自然语言处理技术实现精准的医疗问答服务，为智慧医疗领域提供在

 vx_biyesheji0001
2026-05-11 21:17:07

 501

 15

#python #深度学习 #机器学习 +3
BERT 模型深度解析：从 Transformer Encoder 到预训练语言理解模型

摘要 BERT（Bidirectional Encoder Representations from Transformers）是Google于2018年提出的预训练语言模型，通过在大规模无标注文本上预训练获得通用语言表示，可迁移到各类NLP任务。相比传统方法，BERT采用Transformer Encoder构建深层双向语义表示，通过Masked Language Model和Next Sent

2201_75420345
2026-05-08 09:26:37

 1021

 12

#bert #transformer #人工智能
BERT的思路到底有多简单？简单到让人怀疑：这也行？

2018年10月，Google扔了一颗炸弹。BERT在11项NLP基准测试上同时刷新纪录。这在当时是不可想象的——之前每个任务都有专门的模型，从来没有人用一个模型通杀所有任务。整个学术界和工业界都震惊了。但当你真正理解BERT做了什么之后，你会发现它的核心idea简单到让人怀疑人生。简单来说就是：把一句话里随机15%的词遮住，让模型根据上下文猜被遮住的是什么。没了。就这？就这居然能刷新11项纪录？

KingWang_WHU
2026-05-08 09:12:13

 347

 6

#bert #人工智能 #深度学习
BERT基础模型架构的初识

本文系统介绍了BERT模型的核心架构与训练机制。模型由三部分组成：1）词嵌入模块（包含词向量、分段编码和位置编码）；2）Transformer编码器（12层结构）；3）预训练微调模块。重点阐述了BERT的两大预训练任务：Masked LM（随机遮蔽15%词汇进行双向预测）和NSP（判断句子连贯性）。文章分析了BERT的优势（强大的语义理解能力、任务适配性强）与局限（参数量大、收敛慢、中文处理不足等

 2501_93066744
2026-05-04 21:03:20

 360

 9

#bert #人工智能 #深度学习
第23课：Transformers 实战案例2【问答系统搭建｜抽取式问答】

文章摘要本文探讨了抽取式问答系统的核心原理与实现方法，重点介绍了如何利用BERT模型构建一个精准定位答案片段的智能引擎。主要内容包括：抽取式问答的特点：直接从文本中定位答案片段，相比生成式问答更具可信度和可溯源性，适用于医疗、法律等严谨场景。技术实现：采用BERT模型架构，通过预测答案的起止位置实现文本片段抽取使用SQuAD数据集进行训练和评估，介绍EM和F1两种评估指标处理长文本时采

 Thomas.Sir
2026-05-03 01:24:53

 463

 6

#bert #人工智能 #深度学习 +1
Function Calling：大模型的“跑腿小弟”，让AI从“会说”到“会做”

摘要： FunctionCalling是大模型的"跑腿小弟"，通过执行外部工具调用弥补大模型无法直接操作现实世界的短板。其工作流程分为五步：接收大模型指令→对接工具执行→取回结果→翻译反馈→循环执行。核心价值体现在三方面：1）打破大模型数据孤岛，获取实时信息；2）降低使用门槛，让非技术用户也能调用专业工具；3）赋能产业落地，连接行业系统。需注意FunctionCalling仅为

 大雨淅淅1999
2026-05-01 22:48:36

 624

 10

#人工智能 #大数据 #深度学习 +3
深度学习篇---BERT

BERT是谷歌2018年提出的首个双向预训练语言模型，通过掩码语言模型(MLM)和下一句预测(NSP)任务实现深层语义理解。作为NLP领域的重大突破，BERT采用Transformer架构，支持多种任务微调。在Jetson边缘设备部署时，需权衡模型规模(BERT-Base约110M参数)与硬件性能，可采用FP16/INT8量化和剪枝等优化方法。实际应用中，BERT常作为视觉系统的语义理解模块，在O

Ronin-Lotus
2026-05-01 18:35:19

 1536

 14

#深度学习 #bert #人工智能
第17课：BERT改进模型解析【RoBERTa｜ALBERT与DistilBERT】

本节课你将学到：“文本到文本”框架：如何用一个模型、一套损失函数、一套超参数，适配所有NLP任务；T5的编码器-解码器架构：它与原始Transformer的差异与改进；Span Corruption预训练任务：T5如何通过“填空式去噪”超越BERT的MLM；C4数据集：750GB高质量爬虫语料的构建；多模型规模：从60M到11B，T5的五档尺寸；完整微调实战：用代码实现文本摘要微调，并尝试将分类任

 Thomas.Sir
2026-05-01 07:15:44

 484

 8

#人工智能 #bert
【论文精读】生成式预训练之BART

BART是一种创新的预训练模型架构，由Facebook AI于2019年提出。该模型结合了BERT的双向编码能力和GPT的自回归生成能力，采用降噪自编码器方式进行序列到序列的训练。作为预训练语言模型领域的重要里程碑，BART首次证明了编码器-解码器架构可以同时出色完成理解和生成任务。其核心思想是通过噪声破坏原始文本后重建文本，使模型兼具上下文理解和流畅生成能力。实验表明，BART在生成任务（如文本

 HXR_plume
2026-04-30 23:27:31

 545

 6

#bert #人工智能
大模型信息分析器：深度解析Transformer层——大模型的“核心信息处理引擎”

本文深入解析Transformer层作为大模型核心组件的关键作用。文章首先定位Transformer层是大模型的"信息分析器"核心引擎，解决传统RNN/LSTM的并行计算和长距离依赖问题。随后拆解其核心结构：多头自注意力机制实现全局信息关联，前馈神经网络增强特征表达，残差连接与层归一化确保训练稳定性。文章还阐述了输入处理与位置编码的基础支撑作用，并梳理了针对大模型的优化方向，包

 大雨淅淅1999
2026-04-30 18:41:29

 576

 10

#transformer #深度学习 #人工智能 +3
第14课：Transformers 之 BERT 模型深度解析【双向注意力的文本理解标杆】

BERT技术解析：双向Transformer如何重塑NLP 摘要本文深入解析BERT(Bidirectional Encoder Representations from Transformers)的核心技术。作为NLP领域的里程碑模型，BERT通过双向Transformer编码器和创新的预训练任务，实现了上下文深度理解。文章首先对比BERT与ELMo、GPT的架构差异，指出传统单向模型的局限性

 Thomas.Sir
2026-04-30 08:00:00

 465

 7

#bert #人工智能 #深度学习 +2
基于 Python 实现 BERT 的情感分析模型

例如，当我们看图片时，我们的注意力肯定会集中在某个部分，随着眼睛的移动，注意力又转移到图片的另一个部分。当我们补 0 时，在进行 self-attention 操作时，我们是希望补的 0 不参与运算的，所以其中 input_mask 的作用就是表示长度为 128 的数据之中有多少个数据是用有用的，补的 0 对应的 input_mask 就是 0，是不参与运算的。使用传统的 Word2vec 产生

 神仙别闹
2026-04-28 10:18:36

 417

 9

#python #bert #开发语言
BERT 中文情感分析实战教程

本文将详细介绍如何使用预训练的 BERT 模型进行中文文本情感分析任务。项目基于 `bert-base-chinese` 模型，使用 ChnSentiCorp 数据集进行二分类训练（正面/负面情感判断）。

weixin_58616976
2026-04-26 22:58:58

 405

 9

#bert #人工智能 #python
一文读懂多模态AI：定义解析+文本、图像、语音大模型核心区别

本文系统阐述了多模态AI与单模态大模型的关系。多模态AI能同时处理文本、图像、语音等多种信息，模拟人类认知方式，其核心架构包含输入层、编码器层、模态对齐层、融合层和输出层。三大单模态模型各司其职：文本大模型负责语义理解与推理，图像大模型处理视觉信息，语音大模型实现语音与文本转换。三者通过模态对齐技术协同工作，构成多模态AI的基础能力模块。未来多模态AI将向原生融合方向发展，整合更多感官模态，推动A

大雨淅淅1999
2026-04-26 22:31:51

 1453

 22

#人工智能 #语言模型 #自然语言处理 +2
【AI大模型】国内外主流大语言模型（LLM）全面对比解析

2026年大语言模型（LLM）行业已进入实用化深耕阶段，国内外主流模型形成差异化竞争格局。国际方面，GPT-4o以全能性能领跑，Claude3专注长文本与安全合规，Llama3是开源标杆，Gemini3.1Pro强在多模态生态。国内代表包括通义千问3.6-Max（智能体领先）、DeepSeek-V3（高性价比理科）、GLM-5（企业级推理）和豆包Pro（全民级助手）。选型需考虑场景适配性：海外业务

 大雨淅淅1999
2026-04-26 21:16:08

 1915

 11

#人工智能 #语言模型 #自然语言处理 +2
Transformer大模型应用解析：Bert与GPT的对比及收藏学习攻略

本文详细解析了Transformer在大模型中的两个代表性应用：Bert和GPT。Bert采用双向Transformer编码器，擅长文本理解，通过预训练+微调的方式学习文本表示；GPT则采用单向Transformer解码器，专注于生成任务，通过因果掩码实现文本生成。文章还介绍了BERT的输入结构、预训练过程以及下游任务的微调方法，并强调了预训练的自监督特性和微调的有监督特性。

学编程的头没秃
2026-04-20 15:49:25

 899

 28

#transformer #bert #人工智能 +1
Chinese-Bert-Wwm-Ext 模型新手部署与调用指南

Chinese-Bert-Wwm-Ext 是哈工大讯飞联合实验室发布的经典模型，它在标准 BERT 的基础上采用了全词掩码（Whole Word Masking）策略，对中文语义的理解能力有了显著提升。如果遇到更极端的显存限制，可以考虑使用 DeepSpeed 或 FSDP 等分布式训练框架，它们支持显存卸载（Offload），将部分优化器状态甚至参数暂时移到 CPU 内存中，从而在消费级显卡上运

 mycase2
2026-04-20 10:31:41

 389

 5

#bert #人工智能 #深度学习
【AI大模型】一文读懂预训练语言模型：从原理到应用

预训练语言模型（PLM）是经过海量文本训练的AI程序，具备理解与生成语言的能力。其发展经历了三个阶段：从识别单词（2013-2017）、理解句子（2018-2021）到具备情感交互能力（2022至今）。核心原理基于Transformer架构，通过掩码练习、续写练习和优化练习三种训练方式掌握语言规律。当前主流模型分为理解型（如BERT）、生成型（如GPT）、全能型（如T5）和轻量化（如DistilB

大雨淅淅1999
2026-04-19 23:47:56

 568

 10

#人工智能 #语言模型 #自然语言处理 +3
从零构建智能商品分类系统：BERT微调、混合精度训练到FastAPI部署全解析

在电商场景中，商品标题通常包含丰富的描述信息，例如“唯美小清新连衣裙吊带短裙无袖网纱”。人工判断其所属类目（如“服装鞋包 > 女装/女士精品 > 连衣裙”）需要经验和时间。输入商品标题，自动输出其对应的商品分类标签。从机器学习角度看，这是一个典型的文本多分类问题。我们将使用BERT模型作为编码器，在其顶部添加一个全连接分类层，通过微调（Fine-tuning）使模型适应商品标题分类任务。

闵浮龙
2026-04-19 08:02:45

 782

 15

#分类 #bert #fastapi
NLP预训练模型：从原理到实战，一篇讲透GPT、BERT与T5

获取DataLoader的函数break# 自定义神经网络类（基于GRU）# 初始化# 加载本地预训练的BERT模型，注：不能科学上网记得用国内镜像# 分类器：接收[CLS]向量（维度hidden_size），输出二分类的logit# 是否冻结BERT参数（只训练分类器部分）# freeze_bert=True适用于小数据集，可防止过拟合，同时大幅降低训练成本# 前向传播# BERT 前向传播，得

 闵浮龙
2026-04-18 10:45:17

 724

 17

#自然语言处理 #bert
NLP投满分项目梳理

该项目旨在通过BERT系列模型对新闻标题和摘要等短文本进行自动分类，分为10个内容频道（如体育、财经、科技等）。项目采用全参数微调方式，使用chinese-roberta-wwm-ext作为基座模型。数据来源于THUCNews数据集，经过预处理（截断长文本、格式转换）后保存为jsonl格式。项目结构包含数据处理、模型训练、推理和评估模块，部署在云服务器（AutoDL）上，通过WSL2远程连接并配置

 微凉秋意
2026-04-17 21:24:31

 928

 20

#自然语言处理 #bert #深度学习 +1
Chinese-Bert-Wwm-Ext 模型新手部署与调用指南

当预训练模型无法满足特定领域的需求时，微调（Fine-tuning）是必不可少的步骤。流程大致分为：准备数据、定义 DataLoader、配置优化器和训练循环。数据集类：继承，在中完成分词和编码。DataLoader：设置collate_fn动态处理批次内的填充。训练循环：计算 Loss，反向传播更新权重。text,return {# 实例化并创建 Loader# 定义优化器# 伪代码：训练循环微

 mycase3(白)
2026-04-17 19:02:18

 390

 5

#bert #人工智能 #深度学习
Hugging Face 模型微调训练（基于 BERT 的中文评价情感分析）

微调过程中，通常冻结 BERT 的预训练层，只训练与下游任务相关的层。、词汇表操作、模型设计、自定义训练，到最后的效果评估与测试，逐步讲解了整个微调过程。通过本课程，你需要掌握使用预训练语言模型进行下游任务微调的基本流程，并能应用到实际的 NLP。将文本分割成词汇表中的单词，并转换为相应的索引。为了在未来使用训练好的模型，可以将其保存为文件，之后再加载进行推理或进一步的微调。微调是指在预训练模型的

 zytskr
2026-04-17 09:35:58

 476

 12

#bert #人工智能 #深度学习
大语言模型架构演进：从BERT到GPT再到Mamba的正确打开方式

大模型架构的选择，本质上是在理解能力、生成能力、计算效率三者之间做权衡。需要理解：Encoder-only（BERT类）需要生成：Decoder-only（GPT类）需要条件生成：Encoder-Decoder（T5类）需要超长上下文：关注Mamba没有银弹，只有最适合场景的选择。

weitingfu
2026-04-16 13:08:24

 464

 6

#语言模型 #架构 #bert +2
探索锂电池主动均衡仿真：从开关电容到多种电路的奇妙之旅

matlab/simulink仿真设计锂电池主动均衡仿真（基于电压）开关电容系列6.链式双层开关电容均衡电路(先加好友需要改价)本店还有buck-boost电路均衡双向反激电路双层准谐振仿真模型在锂电池应用领域，主动均衡技术对于提升电池组性能、延长使用寿命至关重要。今天咱就来唠唠基于Matlab/Simulink的锂电池主动均衡仿真设计，特别是开关电容系列相关的有趣内容。

HrxXBagRHod
2026-04-15 17:00:00

 140

 3

#bert
动手学深度学习——BERT预训练数据代码

SEP]标记句子 B 的结束。带结构标记的拼接序列token_idssegmentsvalid_lenmlm_labelsnsp_label这里可以简单解释一下。token_ids模型真正输入的 token 序列。segments句子 A/B 标识。valid_len有效长度，用于 mask padding。哪些位置参与 MLM。哪些 MLM 位置是真实有效的。因为不同样本被 mask 的数量可能

 清空mega
2026-04-15 09:14:06

 149

 5

#深度学习 #bert #人工智能
动手学深度学习——BERT

来自 Transformer 的双向编码表示自注意力非常适合建模全局依赖，而且并行能力强。BERT 正是建立在这个基础上。它没有用 RNN、GRU、LSTM 来逐步递推序列，多层 Transformer Encoder 堆叠这是 BERT 最核心的预训练任务。它的基本做法是：在输入序列中随机遮住一些 token，让模型根据上下文去预测这些被遮住的词。deep这和传统“下一个词预测”非常不同。

清空mega
2026-04-15 09:06:29

 324

 7

#深度学习 #bert #人工智能
从BERT到GPT,再到Mamba:一文读懂大语言模型架构的演化逻辑

摘要本文探讨了大语言模型的崛起及其演化路径，重点分析了扩展法则对模型性能的影响。大语言模型的发展经历了从BERT到GPT再到Mamba的演进，逐步突破架构瓶颈，实现从理解到生成、从规模驱动到效率优化的跨越。文章详细介绍了OpenAI的Kaplan-McCandlish扩展法则和DeepMind的Chinchilla扩展法则，揭示了模型规模、数据规模与计算预算之间的优化关系。研究表明，模型性能的提

 承渊政道
2026-04-14 18:59:11

 2906

 96

#bert #语言模型 #自然语言处理 +2
NLP自然语言处理-Bert篇

基于2017年发布的transform,基于编码器的架构设计BERT（Bidirectional Encoder Representations from Transformers）是由Google于2018年10月提出的一种基于Transformer的预训练语言模型。它在NLP任务中取得了突破性的成果，极大地提升了模型在问答、文本分类等任务上的表现。BERT在机器阅读理解顶级水平测试SQuAD1

m0_71095808
2026-04-12 23:06:42

 460

 8

#自然语言处理 #bert #人工智能
【AI大模型】BERT模型核心实现详解

BERT模型解析：双向Transformer的架构与实现摘要：本文系统剖析了BERT模型的核心架构与实现细节。作为自然语言处理领域的里程碑模型，BERT通过Transformer编码器实现了真正的双向上下文建模。文章详细讲解了输入嵌入层的三重编码机制（词嵌入、段嵌入、位置嵌入），深入分析了Transformer编码器中多头自注意力和前馈网络的核心实现，并阐述了掩码语言模型和下一句预测两大预训练任

 大雨淅淅1999
2026-04-12 21:42:52

 732

 15

#人工智能 #bert #深度学习 +3

加载更多

回到
顶部

提供社区服务与技术支持

提供社区服务与技术支持

©1999-2023北京创新乐知网络技术有限公司京ICP备19004658号