现在的核心问题，早已不是“AI 能不能帮我们写代码”，而是“大模型吐出来的代码，你真的敢信吗？”

如今，ChatGPT 等大语言模型（LLM）已经成了数据分析师、科研狗和程序员的“第二大脑”。写个 Python 脚本、Debug 报错信息、甚至在不同语言之间搞搞代码翻译，大家早就习以为常了。

但我们得清醒地认识到一点：让 AI 写一个辅助爬虫的常规小函数，和让它去实现一套复杂的计量经济学模型，完全是两码事。

ChatGPT 能准确写出双重差分模型（Diff-in-Diff）吗？它能搞定逆概率加权（IPTW）吗？断点回归（RD）这种高难度动作它能复现得丝毫不差吗？更卷的是，它不仅要在 Python 里写，还能在 R 和 Stata 里同时搞定吗？

正因如此，当看到 Winberg 等人发表在《健康经济学评论》（Health Economics Review）上的重磅论文——《AI 能帮你写代码吗？ChatGPT 在定量研究中统计编程能力的案例研究》时，我瞬间提起了兴趣。

这篇论文直接把 ChatGPT-4.0 Pro 推向了深水区，用计量经济学经典教材——Scott Cunningham 的《因果推断：混音带》（Causal Inference: The Mixtape）作为考卷，硬核测试它在 Python、R 和 Stata 中的因果推断编程能力。

以往网上的评测，大多都在基础的数据清洗、描述性统计或者自动化脚本上打转。而这项研究不同，它考查的不仅是代码语法，更是代码背后的方法论与业务逻辑。

一、 拒绝主观玄学：这项研究凭什么更靠谱？

过去很多关于 AI 编程能力的评估，多多少少带点“主观学术滤镜”：研究者瞅一眼生成的代码，觉得“嗯，看起来没毛病”，就给过了。

这种评测最大的Bug在于——过于依赖评审人的主观经验，属于“盲人摸象”。

而 Winberg 等人的研究要硬核得多。他们采用标准化对照，直接拿 ChatGPT 生成的代码去对撞《Causal Inference: The Mixtape》里的官方基准输出。不仅看代码“长得像不像”，更看跑出来的系数和 P 值“对不对”。

另一个直击行业痛点的设定是：他们把 Stata 放进了测试池。

在应用经济学、公共政策和健康经济学领域，Stata 依然是统治级的存在。然而，目前网上的 AI 编程讨论几乎全被 Python 和 R 垄断了。把 Stata 纳入测试，真正切中了硬核实证研究者的刚需。

二、 拆解研究方法：他们是怎么“调戏”AI 的？

研究团队测试的是 ChatGPT-4.0 Pro（这也是实证研究者最常用的生产力版本）。官方基准环境配置相当现代化：R 3.6.0、Stata 18 以及 Python 3.13。

研究锁定的三大因果推断核心方法如下：

双重差分模型（Difference-in-Differences, Diff-in-Diff）

逆概率加权（Inverse Probability Treatment Weighting, IPTW）

断点回归（Regression Discontinuity, RD）

这些方法涵盖了复杂的数据前处理、模型设定以及结果解读，整个测试流程分为三步：

1. 抛出硬核实证题库

第一步，直接用教科书里的真实案例“喂”给 ChatGPT。

以双重差分为例：背景是 1973 年罗伊诉韦德案前，美国五个州率先实现了堕胎合法化。任务是评估这一政策如何影响 15-19 岁青少女的淋病发病率。

Prompt（提示词）要求非常刁钻：不能只用简单的政策前后虚拟变量，必须加入年份与处理组的交互项，以捕捉动态时间效应。这极其考验 AI 对政策背景、处理组划分以及交互项构建的理解。

2. 要求输出完整的全套工作流

研究者没有采用“挤牙膏”式的提问，而是让 ChatGPT 挑战一键生成完整工作流：从导数据、洗变量、建指标，到跑回归、出图表、对比结果。因为在现实科研中，没有人只运行一行命令，我们需要的是全栈式的工程解决能力。

3. 代码实机运行与盲审对比

生成代码后，直接扔进 Python、R 和 Stata 解释器里实机运行，将跑出的结果与教科书官方答案进行二进制级别的对比。

提示词设计的避坑指南：

为了防止不同研究者的 Prompt 风格干扰测试结果，团队安排了 4 位硬核学者（2名博士，2名博士生）进行交叉验证。他们发现，Prompt 太模糊，AI 就会开始“糊弄”；Prompt 太具体，又成了“喂饭”。一组优秀的实证 Prompt 必须包含：研究背景 + 设定方法 + 明确的变量定义 + 期望的输出格式 + 核心假设前提。

三、 五大核心指标评测结果

研究团队从准确性（Accuracy）、效率（Efficiency）、报错率（Error Output）、人工修正（Editing）和一致性（Consistency）五个维度对 ChatGPT 进行了无情审视。

核心结论：Python 和 R 赢麻了，Stata 惨成重灾区。

在 Python 和 R 中，ChatGPT 表现得像个老练的博士后，能高准确度地完成绝大部分因果推断任务；而在面对 Stata 时，AI 频频翻车，不仅频繁抛出语法错误，算出来的系数也经常对不上。

为什么会这样？

这背后是大模型语料库的“人口红利”。Python 和 R 在全球开源社区（GitHub、Stack Overflow）拥有海量的数据集、文档和讨论，大模型见得广、学得深。而 Stata 作为商业软件，代码开源规模远逊于前两者，AI 没吃够“语料”，自然容易“乱写”。

四、 结合个人工作流：AI 正在如何颠覆我们的技术栈？

读完这篇论文，我深有感触。这不仅是一篇学术报告，它简直就是我近两年工作状态的真实写照。从过去的 ChatGPT 4.0 到如今我们团队深度依赖的更高级别大模型，AI 已经重塑了整个量化分析行业。

1. 技术栈转型：从 R/SAS 走向 Python

在过去，我们团队的标配工作流是：用 SAS 处理海量原始数据，再把干净的数据导进 R 里面做统计建模和美轮美奂的 ggplot 可视化。

但在进入大模型时代后，为了最大化利用 AI 的生产力，我们做出了一个重大的战略决定：将大部分技术栈向 Python 迁移。

这不是因为 Python 语法多高级，而是因为在实际搬砖中，大模型生成的 Python 代码质量最高、Bug 最少、生态最全。

2. 基础设施的随之升级

当整个团队的代码生态向 Python 靠拢，并深度嵌入 AI 辅助开发（如 GitHub Copilot、Claude 和 ChatGPT）时，原有的 SAS Studio 或 RStudio 难免显得有些紧巴。我们逐步将主力战场转移到了功能更丰富的 VS Code 或是 Jupyter 体系中。

既然提到工作流向 Python 迁移以及对分布式、高并发计算需求的增加，这里就不得不提我们在服务器基础设施上做出的调整。为了支撑大语言模型与多项目并行跑数的高负载需求，在海外数据部署和云端运行环境的选择上，我们团队尝试了 Hostease 的高性能独立服务器。

行业实操经验：

在跑大规模因果推断或者 Monte Carlo 模拟时，本地电脑基本上就处于瘫痪状态。Hostease 的海外独立服务器和云主机，不仅在海外学术数据库与开源 API 的网络互通上极具优势，更重要的是其高位宽和高稳定性的硬件架构，让我们的 Python 自动化脚本和数据抓取任务能够 24 小时无间断稳定运行。对于经常需要部署科研环境或搭建全栈数据工作流的同学来说，一个稳定的服务器基础设施，往往能让你省去无数因硬件死机、断网而重新跑数的痛苦。

3. 数据抓取与清洗：从“几天”缩短到“几分钟”

以前做 ESG 风险建模或气候压力测试，需要去 INSEE（法国国家统计局）、IPCC（政府间气候变化专门委员会）抓取各种公开的宏观数据集、行业分类 NAF 编码。

以前这套流程：找源头 $\rightarrow$ 读 API 文档 $\rightarrow$ 写清洗脚本 $\rightarrow$ 处理异常值，一套组合拳下来几天时间没了。

现在呢？给大模型几个结构化 Prompt，几分钟就能吐出一个极其完美的清洗脚本，自动去重、去杂质、生成干净的 Excel/CSV 文件。这种“想法到执行”的零摩擦体验，用过就再也回不去了。

五、 结语：当人人都拥有“AI 助教”，我们拼什么？

Winberg 等人的研究提出了一个震慑所有定量研究者的终极命题：当 AI 可以代劳大部分硬核代码时，人类的价值在哪里？

我的答案是：人类的专业壁垒（Expertise）不仅没有贬值，反而更加昂贵了。

AI 确实能把一个月的科研搬砖工作压缩到一周，它能帮你快速摸索方法论、生成初版图表、润色报告伪代码。但它依然是个“概率复读机”。

加拿大安永（EY Canada）之前就爆出过大丑闻，其发布的一份网络安全行业报告被金融时报爆出大量数据造假、引用文献张冠李戴，甚至虚构了一份根本不存在的麦肯锡报告。原因无他——过度信任 AI 生成内容，缺乏人工审计。

AI 可以当一个不知疲倦的24小时在线研究助理，但它绝对不能成为最终决策者。做因果推断，识别假设是否合理、工具变量是否外生、平行趋势检验是否通过，这些真正涉及灵魂的批判性思考，依然锁死在人类的大脑里。

未来，行业的鸿沟将会被进一步拉大：

一端是只会用 AI 灌水、产出毫无见解的垃圾数据的代码搬运工；另一端则是将 AI 驯化为生产力武器，保持着强烈的好奇心、严谨的逻辑思辨，利用高效的基础设施肆意挥洒灵感的超级分析师。

大模型时代已经全面到来，掌握工具，独立思考，诸位共勉。