考点数量统计

全考纲总考点数量:38个 | 按认知层级:K1(10个)、K2(23个)、K3(5个)

第1章 软件测试生成式AI导论(考点数量:7)

K1(记住)

1.1.1 回顾不同类型的AI:符号AI、经典机器学习、深度学习和生成式AI

K2(理解)

1.1.2 讲解生成式AI与大型语言模型的基础知识
1.1.3 区分基础型、指令调优型与推理型大语言模型
1.1.4 总结多模态大语言模型与视觉-语言模型的基本原理
1.2.1 举例说明测试任务中关键的LLM能力
1.2.2 比较使用GenAI进行软件测试时的交互模型

对应实践目标(HO)

HO-1.1.2(H1):在使用大语言模型进行软件测试任务时实践分词与词元计数评估
HO-1.1.4(H1):编写并执行一个多模态大语言模型的提示,同时使用文本和图像输入完成软件测试任务

第2章 有效软件测试的提示工程(考点数量:10)

K2(理解)

2.1.1 列举生成式AI在软件测试中使用的提示结构示例
2.1.2 区分软件测试中核心提示技术
2.1.3 区分系统提示与用户提示
2.3.1 理解评估生成式AI在测试任务中结果的指标
2.3.2 列举用于评估和迭代优化提示的技术示例

K3(应用)

2.2.1 将生成式AI应用于测试分析任务
2.2.2 将生成式AI应用于测试设计与测试实施任务
2.2.3 将生成式AI应用于自动化回归测试
2.2.4 应用生成式AI于测试监控与测试控制任务
2.2.5 针对特定情境和测试任务选择并应用适宜的提示技巧

对应实践目标(HO)

HO-2.1.1(H0):观察若干给定的软件测试任务提示,识别每个任务中提示的六大组成部分
HO-2.1.2a(H0):观察应用于软件测试任务的提示链、少样本提示及元提示的演示
HO-2.1.2b(H1):识别给定示例中使用的提示工程技术
HO-2.2.1a(H2):基于GUI线框图的多模态提示练习以生成用户故事的验收标准
HO-2.2.1b(H2):通过实践提示链和人工验证,逐步分析给定的用户故事并优化验收标准
HO-2.2.2a(H2):运用提示链、结构化提示与元提示技术,从用户故事中实践功能测试用例生成
HO-2.2.2b(H2):采用少样本提示技术从用户故事中生成Gherkin风格的测试条件与测试用例
HO-2.2.2c(H2):采用提示链式方法对给定测试套件中的测试用例进行优先级排序
HO-2.2.3a(H2):通过少量示例练习,掌握关键词驱动测试脚本的创建与管理
HO-2.2.3b(H2):测试报告分析的结构化提示工程实践
HO-2.2.4(H0):观察生成式AI从测试数据中生成的测试监控指标
HO-2.2.5(H1):针对特定测试任务选择并应用情境适宜的提示技术
HO-2.3.1(H0):观察如何利用指标评估生成式AI在测试任务中的表现
HO-2.3.2(H1):评估并优化特定测试任务的提示语

第3章 软件测试中生成式AI的风险管理(考点数量:9)

K1(记住)

3.1.1 回顾生成式AI系统中幻觉、推理错误与偏见的定义
3.1.4 回顾用于缓解大语言模型非确定性行为的技术
3.4.1 回顾与软件测试中生成式AI相关的AI法规、标准及最佳实践框架示例

K2(理解)

3.1.3 总结软件测试任务中GenAI幻觉、推理错误及偏倚的缓解技术
3.2.1 阐述软件测试中使用生成式人工智能所涉及的关键数据隐私与安全风险
3.2.2 列举软件测试中使用生成式AI时的数据隐私与安全漏洞实例
3.2.3 总结保护数据隐私与增强软件测试生成式AI安全性的缓解策略
3.3.1 阐释任务特征与模型使用对生成式人工智能在软件测试中能耗的影响

K3(应用)

3.1.2 识别大语言模型输出中的幻觉、推理错误与偏见

对应实践目标(HO)

HO-3.1.2a(H1):GenAI测试中的幻觉实验
HO-3.1.2b(H1):GenAI测试中的推理错误实验
HO-3.2.3(H0):识别特定生成式AI测试案例中的数据隐私与安全风险
HO-3.3.1(H1):使用模拟器计算给定测试任务的能耗和CO₂排放量

第4章 LLM驱动的软件测试基础设施(考点数量:5)

K2(理解)

4.1.1 说明基于LLM的测试基础设施的关键架构组件与核心概念
4.1.2 总结检索增强生成(RAG)的原理与流程
4.1.3 阐释基于LLM的智能体在自动化测试流程中的作用与应用
4.2.1 阐释针对特定测试任务的语言模型微调的方法与要点
4.2.2 说明LLMOps及其在测试任务中部署和管理LLM的作用

对应实践目标(HO)

HO-4.1.2(H1):针对特定测试任务的检索增强生成实验
HO-4.1.3(H0):观察基于大语言模型的智能体如何协助自动化重复性测试任务
HO-4.2.1(H0):观察给定测试任务与语言模型的微调过程示例

第5章 在测试机构部署与整合生成式AI(考点数量:7)

K1(记住)

5.1.1 回顾影子AI的风险
5.1.4 回顾测试机构采用生成式人工智能的关键阶段
5.2.2 回顾测试团队培养AI技能的策略,以支持生成式AI在测试活动中的应用
5.2.3 识别组织采用生成式AI时,测试流程与职责的转移

K2(理解)

5.1.2 阐明制定软件测试生成式AI策略时需考量的核心要素
5.1.3 总结特定情境下选择LLMs/SLMs进行软件测试任务的关键标准
5.2.1 阐明测试人员在测试流程中有效运用生成式人工智能所需的核心技能与知识领域

对应实践目标(HO)

HO-5.1.3(H1):估算使用生成式人工智能进行特定测试任务的周期性成本

认知层级&实践目标说明

  1. K1:记住/识别术语、概念,核心为“能回忆、能区分”;
  2. K2:理解/解释/总结/比较,核心为“能关联、能分析、能阐述”;
  3. K3:应用/落地/解决问题,核心为“能实操、能选择、能落地到具体测试任务”;
  4. H0:观察演示/案例,无需自主操作;
  5. H1:指导性/识别性练习,按步骤执行或识别方法;
  6. H2:带提示的实操练习,独立完成复杂测试任务实操。
Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐