> ## Content Index
> Fetch the complete content index at: https://yonglun.me/llms.txt
> Use this file to discover other available public pages before exploring further.

# GDPval：衡量AI在真实世界工作中的价值
- URL: https://yonglun.me/gdpval/
- Published: 2025-10-07T10:54:06.000Z
- Updated: 2025-10-07T10:54:06.000Z
- Description: 传统的AI基准测试（benchmarks）大多像学术考试，它们虽然能量化AI在特定推理任务上的表现，却与真实的工作场景严重脱节。这些测试的主要局限在于：它们要么过于理论化，要么领域过于狭窄，无法评估AI处理现实世界中复杂、多格式、甚至带有主观要求的职业任务的能力。 为了解决这一问题，研究人员推出了GDPval——一个旨在评估AI模型在“真实世界经济价值任务”上表现的全新基准测试。它的核心目标是提供一个更直接、更具前瞻性的衡量标准，帮助我们理解AI在实际工作中的真正价值和潜力。
- Author: Yonglun
- Tags: AI, Agent, AgenticAI, #lang-zh

# 为什么需要一种衡量AI的新方法？

关于人工智能（AI）将如何影响就业市场的讨论正变得日益激烈——它会自动化某些任务，取代整个职业，还是创造出全新的工作？要回答这些问题，我们需要准确衡量AI的能力。然而，现有的衡量方法，如宏观的GDP增长，通常是“滞后指标”，它们需要数年甚至数十年的时间才能反映出新技术的全面影响，无法及时告诉我们今天AI的真实水平。

与此同时，传统的AI基准测试（benchmarks）大多像学术考试，它们虽然能量化AI在特定推理任务上的表现，却与真实的工作场景严重脱节。这些测试的主要局限在于：它们要么过于理论化，要么领域过于狭窄，无法评估AI处理现实世界中复杂、多格式、甚至带有主观要求的职业任务的能力。

为了解决这一问题，研究人员推出了[GDPval](https://cdn.openai.com/pdf/d5eb7428-c4e9-4a33-bd86-86dd4bcf12ce/GDPval.pdf?ref=yonglun.me)——一个旨在评估AI模型在“真实世界经济价值任务”上表现的全新基准测试。它的核心目标是提供一个更直接、更具前瞻性的衡量标准，帮助我们理解AI在实际工作中的真正价值和潜力。

# GDPval的独特之处

GDPval通过以下五个核心优势，提供了一个比以往任何评估都更贴近现实的视角：

- **真实性 (Realism):** 任务直接来源于行业专家的真实工作，而非抽象的学术考题，这确保了评估内容与实际工作需求高度相关。
- **代表性广度 (Representative Breadth):** 覆盖了对美国GDP贡献最高的9大行业中的44个职业，确保了评估的广泛性和代表性。

![](https://yonglun.me/content/images/2025/10/real-world-work.jpg)

- **多模态与复杂性 (Multi-modality & Complexity):** 任务要求AI处理各种真实世界的文件格式，如幻灯片（.ppt）、电子表格（.xlsx）、设计文件（.cad）乃至音视频，真实反映了现代知识工作的复杂性。
- **主观性 (Subjectivity):** 评估不仅看重结果的正确性，还包括格式、风格、美学和创意等主观因素，这在许多职业中至关重要。
- **高难度与长期性 (Long-horizon Difficulty):** 这些任务极具挑战性，平均需要一位人类专家花费7小时才能完成，更能测试出AI处理长期复杂项目的能力。

那么，这样一个复杂而真实的基准测试是如何被创造出来的呢？

# GDPval的诞生过程

GDPval的创建过程遵循了一个科学且严谨的流程，以确保其任务的质量和代表性。

1. **第一步：锁定经济核心职业** 研究人员首先从宏观经济数据入手，筛选出最具代表性的职业：
  1. **选择关键行业：** 首先确定了对美国GDP贡献超过5%的9个核心经济部门，如金融、医疗、制造业等。
  2. **筛选高价值职业：** 在每个行业中，挑选出总薪酬最高且主要从事“数字化工作”的5个职业，共计44个职业。这里的“数字化工作”是基于对美国劳工部O\*NET数据库中任务数据的严谨分析，并根据相关性、重要性和频率等因素加权得出的。
2. **第二步：从业内专家获取真实任务** 为了保证任务的真实性，GDPval招募了一批顶尖的行业专家来创建任务。这些专家的门槛极高，平均拥有14年的专业经验，且大多来自世界知名企业（如Google、高盛、迪士尼等）。他们基于自己日常工作中的真实案例，设计出包含完整请求、参考文件和最终交付成果的任务。
3. **第三步：建立严格的质量控制流程** 每个任务都必须通过一个迭代式的审核流程，以确保其高质量和真实性。这个流程包括“模型自动筛选”和“平均五次人工专家审核”的双重保障，确保任务描述清晰、难度适中且高度贴近现实。
4. **第四步：由专家进行“头对头”的盲审评估** GDPval的主要评估方法是“盲审配对比较”（head-to-head human expert comparison）。在评估时，相关领域的专家会同时看到一份人类专家完成的成果和一份AI生成的成果，但在不知道哪个来自AI的情况下，对两者进行比较和排名。这种盲审方式最大限度地保证了评估的公正性。

经过如此严谨的流程，GDPval最终得出了关于当今AI能力的深刻洞见。

# GDPval揭示了当今AI的真实水平

## AI与人类专家的差距正在缩小

GDPval对包括GPT-4o、Gemini 2.5 Pro、Grok 4在内的多款前沿模型进行了综合评估。其最核心的发现是：顶尖AI模型的表现在许多知识工作任务上，已经开始接近甚至超越人类行业专家。

在测试中，**Claude Opus 4.1** 表现最为突出，其完成的交付成果在 **47.6%** 的任务中被专家评为“优于”或“持平于”人类专家的成果。这表明，在近一半的复杂工作中，顶尖AI已经具备了与经验丰富的专业人士相媲美的能力。

不同的模型也展现了各自的特长：

| 模型                  | 核心优势                                   |
| ------------------- | -------------------------------------- |
| **Claude Opus 4.1** | 在**美学方面**表现出色，尤其擅长生成幻灯片和电子表格等结构化文件。    |
| **GPT-5 high**      | 在**准确性方面**表现突出，尤其是在纯文本任务中能精确遵循指令和正确计算。 |

## AI能节省多少时间和成本？

当AI与人类专家协作时，它展现出巨大的效率提升潜力。分析表明，在与**无辅助的人类专家**相比，采用“先让AI尝试n次，如果不满意再自己修改”这类人机协作的工作流，能够显著节省时间和资金成本。

## AI的常见弱点

尽管AI表现出色，但GDPval也揭示了当前模型在处理真实任务时最常见的失败原因：

- **指令遵循失败：** 这是一个普遍存在的问题，并且是Claude、Grok和Gemini等模型最主要的失分项。AI有时无法完全理解或执行复杂指令的所有细节。
- **格式错误：** 即使是表现最好的模型，也可能在生成文件（如PPT或PDF）时出现布局混乱、文字重叠等格式问题。对于GPT-5 high而言，这是其最主要的弱点。
- **数据处理不当：** AI有时会忽略提供的参考文件，或者凭空捏造（幻觉）出不存在的数据。

## 如何释放AI更强的性能

好消息是，许多AI的弱点可以通过优化使用方法来弥补。研究表明，通过增加AI的“推理时间”、优化“提示词工程（Prompting）”以及改进“脚手架（Scaffolding，即为AI提供更结构化的工作流程）”，可以显著提升AI的表现，甚至消除一些常见的格式错误。

虽然GDPval的结果令人振奋，但我们也需要客观看待其当前的局限性。

# GDPval的局限性

为了建立全面且平衡的认知，GDPval的研究团队坦诚地指出了当前版本存在的三个主要局限性：

- **数据集规模有限:** 目前的版本仅覆盖44个职业，虽然具有代表性，但仍是知识工作的一小部分，未来需要扩展到更多职业和任务。
- **专注于知识工作:** GDPval未包含体力劳动，或那些需要大量隐性知识和人际沟通的任务（如复杂的谈判或团队管理）。
- **任务形式单一:** 任务大多是“一次性”的，即给出完整指令后直接输出结果。这与真实工作中常见的、需要通过互动和沟通来逐步明确需求的场景有所不同。

# 全局视野与未来展望

GDPval的诞生，为我们理解和衡量AI的真实能力提供了一个全新的、更贴近现实的工具。它的核心贡献是多方面的：它创建了一个包含真实世界经济价值任务的**全新数据集**；对前沿模型进行了**能力基准测试**，揭示了顶尖模型与人类专家的差距；开展了多项**实验**来探索提升AI性能的方法；**开源了部分任务**以促进社区的进一步研究；并发布了**自动评分器**以降低评估门槛。

这项工作的最终愿景，是希望能够促进对AI模型进展的科学追踪，从而为社会各界评估AI的潜在影响提供更可靠、更及时的数据支持。