一、AI能给测试带来什么？

测试流程	AI 的作用
需求分析	理解需求文档，提取测试点
测试用例设计	自动生成测试用例（功能、边界、异常等）
脚本编写	自动生成测试脚本（如 Selenium、JMeter 脚本）
测试执行	智能测试调度、自适应测试路径
缺陷定位	自动分析日志、堆栈、性能瓶颈
回归测试	智能判断哪些模块受影响、哪些用例需回归
测试报告	自动生成结构化报告、图表、结论建议

1」具体场景举例（项目名：“区块链+法治”试点示范建设项目）

1）自动生成测试用例

你只需要输入一段话：

AI 就可以生成多个测试用例且按照要求进行排版，比如：

2）自动编写测试脚本

可以使用 DeepSeek 或其他 AI 工具生成手工测试用例文档，并将该文档引用到 Cursor 的 AI 界面，同时附上一句话，例如：“我的网页地址是 xxx，请根据手工测试用例生成对应的自动化测试脚本。”

2」节省用例时间成本估算

✅ 优势：

• 效率提升：生成测试用例、脚本、报告都更快

• 质量提升：补足遗漏场景，减少重复劳动

• 成本降低：减少人力测试投入

• 敏捷适配：快速应对需求变更

⚠️ 痛点：

• 模型理解可能不精准

• 输出需要人工审查

二、AI测试工具介绍

1️⃣AutoGenTestCase

1』AutoGenTestCase是什么与其他AI有什么差异？

1、AutoGenTestCase是什么？

AutoGenTestCase 是一个基于 AI 大模型的自动化测试用例生成工具，通过自然语言处理（NLP）和提示工程，从需求描述、用户故事或代码中提取关键信息，生成结构化测试用例（如 Gherkin 格式或 Python 测试脚本）。它适用于单元测试、集成测试和端到端测试。

工具名称	类型/定位	是否集成多模型	是否界面化	是否结构化输出	自动提示构造	主要适用对象
AutoGenTestCase	✨测试专用 AI 工具（框架）	✅ 是（DeepSeek + 通义千问）	✅ 是（Streamlit）	✅ 是（用例、Excel、Markdown）	✅ 是（自动封装 Prompt）	QA 测试人员
DeepSeek Chat / API	通用大语言模型	❌ 否（单模型）	❓ 视接入方式而定	❌ 否（自然语言为主）	❌ 需人工写 Prompt	开发者 / 通用用户
Cursor（AI IDE）	AI 助手型 IDE	❌ 否（常用 OpenAI、Claude）	✅ 是（集成 IDE）	❌ 否	✅（基于代码上下文补全）	开发者为主

2、AutoGenTestCase与其他 AI 工具的区别？

DeepSeek 是个超强“大脑”，但你得自己提问，它才懂。

Cursor 是 AI+IDE 工具，像你身边的“代码助理”，但不懂业务场景。

AutoGenTestCase 像是“懂业务、懂测试的专家助理”，你只需要把需求交给它，它就能自动搞定测试用例设计，甚至能帮你评审用例质量。

2』AutoGenTestCase实现原理

AutoGenTestCase 的实现思路是：

这样的设计使测试用例生成过程自动化，将复杂的生成逻辑交给 AI 模型来完成

1、技术栈：AutoGenTestCase 基于Python开发，依赖 Python 3.11 及以上环境。前端页面采用 Streamlit 等框架快速构建交互式 Web 界面（通过上传需求文档或手动输入功能，实时展示生成结果）。核心 AI 部分使用了微软开源的 AutoGen 多智能体协作框架（参照 Autogen 库实现），利用 DeepSeek 和通义千问等大模型提供强大语言理解能力。此外，还可能使用 OpenAI ChatCompletion 客户端（经由 DeepSeek 定制模型）和 PyMuPDF 等库来处理文件和调用模型。

2、工作机制：系统首先将用户输入的需求文档或代码文本通过解析模块（结合提示模板）转换成对 AI 模型友好的提示。然后，通过 llms.py 中封装的模型接口，将提示发送到 DeepSeek 模型，生成包含测试标题、步骤、输入数据和预期结果的测试用例文本。随后，再调用通义千问模型对初步生成的用例进行“评审”或补充，以提高准确性。最终将结果整理成Markdown 文档或 Excel 表。

3』如何真正的落地到工作生活中？

(相关包私信我)

1、前置条件/运行前准备工作

1) 本地安装 Python 3.11 以上版本，并安装依赖库（如 Streamlit、AutoGen、DeepSeek SDK、PyMuPDF 等），可通过 pip install -r requirements.txt 一键安装。

2) 分别注册 DeepSeek（https://platform.deepseek.com/api_keys）和阿里云通义千问（https://bailian.console.aliyun.com）平台账号，创建并获取对应的 API Key

3) 配置工具：将获取到的 DeepSeek 和通义千问 API Key 填写到项目根目录下的 config.ini 文件中，并根据需要调整模型参数（如 temperature、最大返回长度等）具体配置可自行到github上读取。

4) 启动程序：运行 run.exe（或在 Python 环境中执行 python page.py），程序会自动启动本地服务并打开 Web 界面

⚠️如直接运行run.exe文件则不需要安装依赖库，只需更改config.ini文件即可。

更多内容请参考源代码：https://github.com/13429837441/AutoGenTestCase

2、接入本地模型（如ollama）

1) 下载安装Anaconda3 官网：Anaconda

2) 安装Autogenstudioconda 

1、安装python环境：打开Anaconda Prompt 输入命令行：create -n autogen_studio python=3.11

2、切换环境：完成环境创建后，切换至新环境：命令：conda activate autogen_studio

3、打开Autogenstudio在新环境中输入命令行：autogenstudio ui --port 8081

4、Autogenstudio可视化操作：打开浏览器：http://127.0.0.1:8081/

3) 本地安装ollama（如果本地有模型请忽略安装步骤）

1、ollama下载地址https://ollama.com/ 安装本地大模型 

2、打开Anaconda Prompt 输入命令行：ollama run （大模型名称）

3、ollama 启动大模型后，端口号：默认端口：http://localhost:11434/

4) 安装Litellm轻量快速部署大模型

1、Anaconda Prompt中输入命令行：conda activate autogen_studio （切换环境）；

然后输入命令行：pip install litellm 进行安装如出现以下附件图片报错请执行

pip install litellm[proxy] 再次进行安装

出现以下图片则为安装成功

2、litellm --model ollama/gemma2:9b 对已经启动的大模型进行部署，大模型名称依你本地情况而定，出现以下图片则为部署成功

5) 在Autogenstudio中使用本地大模型

1、打开Autogenstudio 打开浏览器：http://127.0.0.1:8081/

2、添加本地大模型一次点击：页面左侧的Models,页面右侧 +New Model,然后点击弹窗中第一个标签“OpenAI”如下图：

3、开始配置本地大模型如下图：

第一个参数： Model：gemma2:9b （填写启动的本地大模型名称 必须一致）；

第二参数： API Key：随意填写，接入本地模型不需要API Key ;

第三个参数： Base URL：http://localhost:11434/v1 （ollama 启动本地大模型的默认地址）

点击Save Models 保存

6) 测试大模型是否链接成功：点击 Test Model 测试。

3、页面使用教程

AutoGenTestCase - 借助AI大模型生成测试用例-CSDN博客

4、本地运行--这个是我本地服务器运行的（访问地址：http://101.132.**.21:8501/）

注:只要有阿里云VPN都可以访问

1）输入对应的API_KEY

2）访问页面选择用例规格

3）上传需求文档（我这里让AI帮忙生产了一份需求文档）

4）点击生成测试用例

这是我的提示词

这是程序识别出的需求文档

5）输出的产物

需求文档与测试用例产出物

2️⃣midscene.js（字节跳动 Web Infra 团队全新开源的 UI 自动化工具）

1』midscene.js是什么与其他AI有什么差异？

1、midscene.js是什么？

基于 AI 技术的自动化 SDK 利用大型语言模型（LLM），把 UI 自动化测试里的命令变得简单。用户只需用日常的自然语言描述交互步骤或者预期的数据格式，Midscene.js 就会完成相应的操作。Midscene.js 可以执行动作、查询数据和对页面进行断言，这样能降低脚本维护的成本，还会提供可视化的报告。Midscene.js 是个开源项目，能在用户自己的环境中运行，保障数据安全。

这是一个融合了 JavaScript 脚本能力 和 AI 自动化交互能力 的自动化测试或操作框架，它的核心想法是模仿人类在网页上的真实操作。🧠「有 AI 能力的 Playwright/Selenium + 脚本驱动的自动浏览器自动化框架」

midscene.js 最主要的特点有：

脚本化：用类似 YAML/JSON 的格式来编写自动化任务的流程。

自动登录、表单填写和验证码识别：里面自带了图像识别和验证码 OCR 功能。

智能判断页面状态：能根据页面元素是否出现、跳转是否成功等情况，决定是否继续执行操作。

Cookie 自动保存和重试机制：经常用在需要登录并重复使用 Cookie 的场景中。

截图和调试能力：方便找出问题并完善脚本。

适用于复杂交互场景：支持点击、输入、滑动、文件上传和下载等复杂的页面操作。 

2、midscene.js 与其他 AI 工具的区别？

功能	MidSceneJS	Selenium / Playwright	ChatGPT / DeepSeek / Cursor
操作层面	自动化网页操作（浏览器层）	自动化网页操作（浏览器层）	不操作页面，只生成文本/代码
编写方式	YAML 脚本 + 控制逻辑 + AI能力	编程（JS/Java/Python）	语言模型输入输出
AI能力	内嵌 OCR、验证码识别、智能容错	无 AI 能力	纯自然语言生成代码
用户门槛	较低（脚本驱动）	程序员较熟练	非程序员也能用
应用场景	自动化登录、爬虫、测试、采集	自动化测试为主	代码生成、测试用例编写辅助
强项	脚本稳定执行 + AI 图像能力	元素精确操作和调试工具	智能化代码创作和分析

2』midscene.js原理

1、技术原理

• 自然语言处理（NLP）：接收用户的自然语言输入，基于NLP技术解析指令。

• 界面理解：模型分析网页内容，理解用户描述的界面元素和动作。

• 执行动作：根据理解的结果，模型将执行相应的浏览器自动化操作，如模拟用户输入、点击等。

• 数据提取：模型根据用户的查询请求，从网页中提取特定格式的数据。

• 断言验证：模型检查页面状态是否符合用户的断言条件。

2、核心工作机制

3、Midscene.js的应用场景

• 自动化测试场景：自动化执行测试用例，确保网站或应用的各个功能按预期工作。

• 数据抓取场景：从网页中提取结构化数据，如商品信息，用在市场分析或库存管理。

• 性能监控场景：模拟用户行为，监控网站性能，及时发现并解决性能瓶颈。

• 界面一致性检查场景：证网站在不同设备和浏览器上的显示是否一致，保证用户体验。

• 价格监控场景：定期检查商品价格，并在检测到价格变动时自动通知用户或系统。

• 零代码测试：无需编写选择器，告别“锚点依赖症”；

• 可视化报告：提供动画回放、步骤详情，支持在报告中直接调试，方便用户调试和优化测试流程。

• 支持多种模型： 内置对公共多模态大语言模型（如 GPT-4）和开源模型（如 UI-TARS）的支持。

• 开源+数据安全： MIT协议，支持私有化部署，数据不出本地。

3』如何真正的落地到工作生活中？

1、可视化安装：前置条件/运行前准备工作

1）系统要求

• Node.js ≥ v18（推荐 v20+）

• npm ≥ v9（Node.js 自带）

• 推荐安装 pnpm（性能更好）

2） 推荐工具

• Chrome 浏览器（自动化控制）

• Git（克隆源码）

• VSCode（查看项目）

3）操作步骤

1、GitHub 上克隆 MidScene.js或者下载 ZIP 压缩包解压。

git clone https://github.com/x-pair/midscene.git

cd midscene

2、使用 pnpm（推荐）或 npm 安装依赖项：

npm install -g pnpm

pnpm install

3、安装 Chromium（Playwright 需要）

MidScene.js 使用 Playwright 驱动浏览器自动下载适配的 Chromium、Firefox、WebKit：

npx playwright install

4、运行以下命令启动 MidScene 的主界面：

pnpm dev 或者 npm run dev

5、浏览器将自动打开 http://localhost:3000，你可以在这里构建场景。

6、创建一个简单的脚本

进入 MidScene 可视化界面，点击 “New Scene”，你可以通过：

• 拖拽组件创建步骤（如点击、输入、等待等）

• 配置目标 URL、操作逻辑

• 使用 AI 指令生成操作（如输入“登录页面输入用户名并点击登录”）

• 生成的底层代码为 MidScene DSL（类似于 JS + 流程图）

2、命令行安装：前置条件/运行前准备工作

1）系统要求

• Node.js v18 或以上

2）操作步骤

1、配置模型全局变量，我用的是Qwen如果需要其他别的模型具体看官方文档，基本主流AI都支持

# Choose a Model

API_key需在终端自动手动设置变量，这里是权限问题设置后source保存一下

Export OPENAI_API_KEY="......"

2、安装@midscene/cli

npm i -g @midscene/cli

#or if you prefer a project-wide installation

npm i @midscene/cli --save-dev

3、写一个yaml文件xxx.yaml在 Web 浏览器中实现自动化(格式见官方文档):

4、运行命令执行脚本

midscene ./xxx.yaml

全部 运行.yaml 文件夹下的文件

midscene /dir/of/yaml/

5、Android 设备中通过 adb 连接

android:

launch: https://www.bing.com

deviceId: s4ey59

tasks:

• name: search weather

flow:

• ai: open browser and navigate to bing.com

• ai: search for 'weather today'

• sleep: 3000

• aiAssert: the result shows the weather info

3、本地运行（我用的是命令行的方式）

1）因为我们公司本地都是通过本地ali VPN访问页面的所以需要在chrome安装一个插件并在桥状态处点击Allow connection