第4章：反思 Reflection

反思模式概述

在前几章中，我们探讨了基本的智能体模式：用于顺序执行的链式模式（Chaining）、用于动态路径选择的路由模式（Routing）以及用于并发任务执行的并行化模式（Parallelization）。这些模式使得智能体能够更高效、更灵活地完成复杂任务。然而，即使拥有复杂的工作流，智能体的初始输出或计划可能并不总是最佳、准确或完整的。这时，反思（Reflection）模式便派上用场。

反思模式涉及智能体对其自身的工作、输出或内部状态进行评估，并利用评估结果来提升性能或优化响应。这是一种自我纠正或自我改进的形式，允许智能体通过迭代方式改进其输出或根据反馈、内部批判或与期望标准的比较调整其方法。反思过程有时可以通过一个专门负责分析初始智能体输出的独立智能体来实现。

与简单的顺序链式模式（直接将输出传递到下一步）或选择路径的路由模式不同，反思模式引入了一个反馈循环。智能体不仅仅生成输出，还会检查该输出（或生成输出的过程），识别潜在问题或改进空间，并利用这些洞察生成更优版本或调整未来的行动。

该过程通常包括以下步骤：

执行（Execution）： 智能体执行任务或生成初始输出。
评估/批判（Evaluation/Critique）： 智能体（通常通过另一次大型语言模型调用或一组规则）分析上一步的结果。评估可能检查事实准确性、连贯性、风格、完整性、是否符合指令或其他相关标准。
反思/优化（Reflection/Refinement）： 根据批判结果，智能体决定如何改进。这可能涉及生成优化后的输出、调整后续步骤的参数，甚至修改整体计划。
迭代（可选但常见）（Iteration）： 优化后的输出或调整后的方法可以再次执行，反思过程可以重复进行，直到获得满意的结果或达到停止条件。

反思模式的一种关键且非常有效的实现方式是将过程分为两个明确的逻辑角色：生产者（Producer）和批评者（Critic）。这种方法通常被称为“生成者-批评者”（Generator-Critic）或“生产者-审阅者”（Producer-Reviewer）模型。虽然单个智能体可以执行自我反思，但使用两个专门的智能体（或通过两个具有不同系统提示的独立大型语言模型调用）通常能产生更稳健且不偏不倚的结果。

生产者智能体（Producer Agent）： 该智能体的主要职责是执行任务的初始生成。它完全专注于内容的生成，无论是编写代码、起草博客文章还是制定计划。生产者根据初始提示生成第一版输出。
批评者智能体（Critic Agent）： 该智能体的唯一目的在于评估生产者生成的输出。它被赋予一套不同的指令，通常是一个独特的角色设定（例如，“你是一名资深软件工程师”，“你是一名一丝不苟的事实核查员”）。批评者的指令引导其根据特定标准（如事实准确性、代码质量、风格要求或完整性）分析生产者的工作。批评者旨在发现缺陷、提出改进建议并提供结构化反馈。

这部分内容探讨了关注点分离的强大之处，因为它能够防止智能体对自身工作进行审查时产生的“认知偏差”。Critic智能体以全新的视角审查输出，专注于发现错误和改进的领域。Critic提供的反馈会传递给Producer智能体，后者将其作为指导来生成新的、更精炼的输出版本。提供的LangChain和ADK代码示例均实现了这种双智能体模型：LangChain示例使用特定的“reflector_prompt”来创建一个评论者角色，而ADK示例明确定义了一个生产者智能体和审查者智能体。

实现反思通常需要将智能体的工作流程结构化，以包含这些反馈循环。这可以通过代码中的迭代循环实现，或者使用支持状态管理和基于评估结果进行条件转换的框架来完成。虽然可以在LangChain/LangGraph、ADK或Crew.AI链中实现单步的评估和改进，但真正的迭代反思通常需要更复杂的编排。

反思模式对于构建能够生成高质量输出、处理复杂任务并表现出一定程度的自我意识和适应能力的智能体至关重要。它使智能体超越了简单执行指令的阶段，迈向更复杂的解决问题和内容生成形式。

反思与目标设定和监控的交叉点（参见第11章）值得注意。目标为智能体的自我评估提供了最终基准，而监控则跟踪其进展。在许多实际案例中，反思可能充当纠正引擎，利用监控反馈分析偏差并调整策略。这种协同作用将智能体从被动执行者转变为一个有目的的系统，能够自适应地工作以实现其目标。

此外，当LLM保留对话记忆时（参见第8章），反思模式的有效性会显著增强。这种对话历史为评估阶段提供了关键的上下文，使智能体能够不仅在孤立情况下评估其输出，还能结合之前的交互、用户反馈和不断变化的目标进行评估。它使智能体能够从过去的批评中学习，避免重复错误。如果没有记忆，每次反思都是一个独立事件；而有了记忆，反思就成为一个累积的过程，每个循环都建立在之前的基础上，从而实现更智能、更具上下文意识的改进。

实际应用与使用场景

反思模式在输出质量、准确性或遵守复杂约束至关重要的场景中非常有价值：

创意写作与内容生成

改进生成的文本、故事、诗歌或营销文案。
- 使用场景： 一个智能体撰写博客文章。
  - 反思： 生成初稿，审查其流畅性、语气和清晰度，然后根据审查结果重新撰写。重复此过程直到文章达到质量标准。
  - 优势： 生成更精炼且更有效的内容。
代码生成与调试

编写代码、识别错误并修复。
- 使用场景： 一个智能体编写Python函数。
  - 反思： 编写初始代码，运行测试或静态分析，识别错误或低效之处，然后根据发现修改代码。
  - 优势： 生成更健壮且功能完善的代码。
复杂问题解决

在多步骤推理任务中评估中间步骤或提出的解决方案。
- 使用场景： 一个智能体解决逻辑谜题。
  - 反思： 提出一个步骤，评估该步骤是否更接近解决方案或引入矛盾，如果需要则回溯或选择其他步骤。
  - 优势： 提高智能体在复杂问题空间中的导航能力。

4. 摘要与信息综合:

优化摘要的准确性、完整性和简洁性。

应用场景: 一个智能体总结一份长文档。
- 反思: 生成初始摘要，与原文中的关键点进行比较，优化摘要以补充遗漏信息或提高准确性。
- 益处: 创建更准确和全面的摘要。

5. 规划与策略:

评估一个拟定的计划，识别潜在的缺陷或改进点。

应用场景: 一个智能体规划一系列行动以实现目标。
- 反思: 生成一个计划，模拟其执行或根据约束评估其可行性，并根据评估结果修订计划。
- 益处: 制定更有效和现实的计划。

6. 会话智能体:

回顾对话中的前几轮交流，以保持上下文，纠正误解或提高响应质量。

应用场景: 一个客户支持聊天机器人。
- 反思: 在用户回复后，回顾对话历史和最后生成的消息，以确保连贯性并准确回应用户的最新输入。
- 益处: 促成更自然和有效的对话。

反思为智能体系统增加了一个元认知层，使其能够从自身的输出和过程学习，从而生成更智能、可靠和高质量的结果。

实践代码示例（LangChain）

完整的迭代反思过程的实现需要状态管理和循环执行机制。这些功能可以通过图形框架（如 LangGraph）或自定义的过程代码来实现，而单次反思循环的基本原理可以通过 LangChain 表达语言（LCEL）的组合语法有效地演示。

以下示例使用 LangChain 库和 OpenAI 的 GPT-4o 模型实现了一个反思循环，用于迭代生成和优化一个计算数字阶乘的 Python 函数。该过程从任务提示开始，生成初始代码，然后基于模拟的高级软件工程师角色的批评意见反复反思代码，在每次迭代中优化代码，直到批评阶段确定代码完美或达到最大迭代次数为止。最后，它会打印出优化后的代码。

首先，确保安装了必要的库：

pip install langchain langchain-community langchain-openai

还需要使用您选择的语言模型（例如 OpenAI、Google Gemini、Anthropic）的 API 密钥设置环境。

import os
from dotenv import load_dotenv
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.messages import SystemMessage, HumanMessage

## --- 配置 ---
## 从 .env 文件加载环境变量（用于 OPENAI_API_KEY）
load_dotenv()

## 检查是否设置了 API 密钥
if not os.getenv("OPENAI_API_KEY"):
   raise ValueError("OPENAI_API_KEY 未在 .env 文件中找到，请添加该密钥。")

## 初始化 Chat LLM。我们使用 gpt-4o 以获得更好的推理能力。
## 使用较低的温度以生成更确定性的输出。
llm = ChatOpenAI(model="gpt-4o", temperature=0.1)

def run_reflection_loop():
   """
   演示一个多步骤的 AI 反思循环，用于逐步优化一个 Python 函数。
   """
   # --- 核心任务 ---
   task_prompt = """
   您的任务是创建一个名为 `calculate_factorial` 的 Python 函数。
   该函数应执行以下操作：
   1. 接受一个整数 `n` 作为输入。
   2. 计算其阶乘（n!）。
   3. 包含一个清晰的文档字符串，解释函数的功能。
   4. 处理边界情况：0 的阶乘为 1。
   5. 处理无效输入：如果输入为负数，则抛出一个 ValueError 异常。
   """

# --- 反思循环 ---
max_iterations = 3
current_code = ""
# 我们将构建一个对话历史记录，为每一步提供上下文。
message_history = [HumanMessage(content=task_prompt)]

for i in range(max_iterations):
    print("\n" + "="*25 + f" 反思循环：第 {i + 1} 次迭代 " + "="*25)

    # --- 1. 生成 / 改进阶段 ---
    # 在第一次迭代中，生成代码。在后续迭代中，改进代码。
    if i == 0:
        print("\n>>> 阶段 1：生成初始代码...")
        # 第一个消息只是任务提示。
        response = llm.invoke(message_history)
        current_code = response.content
    else:
        print("\n>>> 阶段 1：根据之前的批评改进代码...")
        # 消息历史记录现在包含任务、上一次的代码和上一次的批评。
        # 我们指示模型应用批评意见。
        message_history.append(HumanMessage(content="请根据提供的批评意见改进代码。"))
        response = llm.invoke(message_history)
        current_code = response.content

    print("\n--- 生成的代码 (版本 " + str(i + 1) + ") ---\n" + current_code)
    message_history.append(response) # 将生成的代码添加到历史记录中

    # --- 2. 反思阶段 ---
    print("\n>>> 阶段 2：对生成的代码进行反思...")
    # 为反思智能体创建一个具体的提示。
    # 这要求模型充当高级代码审查员。
    reflector_prompt = [
        SystemMessage(content="""
            你是一名高级软件工程师，同时也是 Python 领域的专家。
            你的角色是执行一项细致的代码审查。
            根据原始任务要求，严格评估提供的 Python 代码。
            查找错误、样式问题、遗漏的边界情况以及改进的领域。
            如果代码完美并满足所有要求，请回复单一短语 'CODE_IS_PERFECT'。
            否则，请提供一个包含批评意见的项目符号列表。
        """),
        HumanMessage(content=f"原始任务：\n{task_prompt}\n\n待审查代码：\n{current_code}")
    ]
    critique_response = llm.invoke(reflector_prompt)
    critique = critique_response.content

    # --- 3. 停止条件 ---
    if "CODE_IS_PERFECT" in critique:
        print("\n--- 批评意见 ---\n未发现进一步的批评意见。代码已令人满意。")
        break

    print("\n--- 批评意见 ---\n" + critique)
    # 将批评意见添加到历史记录中，以供下一次改进循环使用。
    message_history.append(HumanMessage(content=f"对之前代码的批评意见：\n{critique}"))

print("\n" + "="*30 + " 最终结果 " + "="*30)
print("\n经过反思过程最终改进的代码：\n")
print(current_code)

if __name__ == "__main__":
    run_reflection_loop()

代码首先设置环境，加载 API 密钥，并初始化一个强大的语言模型（如 GPT-4o），将温度设置为较低以生成更专注的输出。核心任务由一个提示定义，该提示要求编写一个 Python 函数来计算数字的阶乘，包括对文档字符串、边界情况（如 0 的阶乘）以及负输入的错误处理的具体要求。run_reflection_loop 函数负责协调迭代优化过程。在循环中，语言模型在第一轮根据任务提示生成初始代码。在后续迭代中，它根据前一步的批评意见对代码进行优化。一个单独的“反思者”角色（同样由语言模型扮演，但使用不同的系统提示）充当高级软件工程师，根据原始任务要求对生成的代码进行批评。这些批评以问题的项目符号列表或短语 CODE_IS_PERFECT 的形式提供（如果没有发现问题）。循环会持续进行，直到批评表明代码是完美的，或者达到最大迭代次数为止。对话历史会在每个步骤中被维护并传递给语言模型，以便为生成/优化和反思阶段提供上下文。最后，脚本在循环结束后打印最后生成的代码版本。

实践代码示例（ADK）

现在我们来看一个使用 Google ADK 实现的概念代码示例。具体来说，该代码通过采用生成器-评论者结构来展示这一点，其中一个组件（生成器）生成初始结果或计划，另一个组件（评论者）提供关键反馈或评论，指导生成器生成更精确或更完善的最终输出。

from google.adk.agents import SequentialAgent, LlmAgent

## 第一个智能体生成初始草稿。
generator = LlmAgent(
   name="DraftWriter",
   description="根据给定主题生成初始草稿内容。",
   instruction="写一段关于用户主题的简短、信息性段落。",
   output_key="draft_text" # 输出保存到此状态键。
)

## 第二个智能体对第一个智能体生成的草稿进行评论。
reviewer = LlmAgent(
   name="FactChecker",
   description="审查给定文本的事实准确性并提供结构化评论。",
   instruction="""
   你是一名一丝不苟的事实核查员。
   1. 阅读状态键 'draft_text' 中提供的文本。
   2. 仔细核实所有声明的事实准确性。
   3. 你的最终输出必须是一个包含两个键的字典：
      - "status": 一个字符串，值为 "ACCURATE" 或 "INACCURATE"。
      - "reasoning": 一个字符串，提供你状态的清晰解释，具体指出发现的任何问题。
   """,
   output_key="review_output" # 结构化字典保存到此状态键。
)

## SequentialAgent 确保生成器在评论者之前运行。
review_pipeline = SequentialAgent(
   name="WriteAndReview_Pipeline",
   sub_agents=[generator, reviewer]
)

## 执行流程：
## 1. 生成器运行 -> 将其段落保存到 state['draft_text']。
## 2. 评论者运行 -> 读取 state['draft_text'] 并将其字典输出保存到 state['review_output']。

此代码演示了在 Google ADK 中使用顺序智能体管道生成和审查文本的过程。它定义了两个 LlmAgent 实例：生成器（generator）和审查者（reviewer）。生成器智能体旨在根据给定主题创建初始草稿段落。生成器被指示撰写一篇简短且信息丰富的文章，并将输出保存到状态键 draft_text 中。审查者智能体则充当生成器生成文本的事实核查员。审查者被指示从 draft_text 中读取文本并验证其事实准确性。审查者的输出是一个结构化的字典，包含两个键：status 和 reasoning。status 表示文本是“ACCURATE”（准确）还是“INACCURATE”（不准确），而 reasoning 提供状态的解释。这个字典被保存到状态键 review_output 中。一个名为 review_pipeline 的 SequentialAgent 被创建，用于管理两个智能体的执行顺序。它确保生成器首先运行，然后是审查者。总体执行流程是生成器生成文本并将其保存到状态中，随后审查者从状态中读取文本，执行事实核查，并将其发现（状态和解释）保存回状态中。此管道允许通过独立智能体进行结构化的内容创建和审查过程。注意： 对于感兴趣的用户，还可以使用 ADK 的 LoopAgent 实现替代方案。

在总结之前，需要考虑的是，尽管反思模式显著提高了输出质量，但也存在重要的权衡。迭代过程虽然强大，但可能导致更高的成本和延迟，因为每次改进循环可能需要新的 LLM 调用，这对于时间敏感的应用来说并不理想。此外，该模式对内存的需求较高；每次迭代都会扩展对话历史，包括初始输出、批评以及后续改进。

概览

定义（What）

智能体的初始输出通常不够理想，可能存在不准确、不完整或未能满足复杂需求的问题。基本的智能体工作流缺乏内置流程，无法让智能体识别并修正自己的错误。通过让智能体评估自己的工作，或者更稳健地引入一个独立的逻辑智能体充当批评者，可以解决这一问题，从而避免初始响应无论质量如何都成为最终结果。

设计意图（Why）

反思模式通过引入自我修正和改进机制提供了解决方案。它建立了一个反馈循环，其中“生成者”智能体生成输出，然后“批评者”智能体（或生成者本身）根据预定义的标准对其进行评估。此批评随后用于生成改进版本。通过生成、评估和改进的迭代过程，逐步提高最终结果的质量，从而获得更准确、连贯且可靠的输出。

使用原则（Rule of Thumb）

当最终输出的质量、准确性和细节比速度和成本更重要时，可以使用反思模式。它在生成精炼的长篇内容、编写和调试代码以及创建详细计划等任务中尤为有效。当任务需要高度客观性或专业化评估，而通用生成者智能体可能无法满足时，应采用独立的批评者智能体。

图解（Visual Summary）

图 1：反思设计模式，自我反思

图 2：反思设计模式，生成者与批评者智能体

关键要点

反思模式的主要优势在于其能够迭代地自我纠正和优化输出，从而显著提高质量、准确性，并更好地遵循复杂指令。
该模式涉及执行、评估/批判和优化的反馈循环。反思对于需要高质量、准确或细致输出的任务至关重要。
一个强大的实现方式是生产者-批评者模型，其中一个独立的智能体（或指定角色）对初始输出进行评估。这种职责分离增强了客观性，并允许更专业、结构化的反馈。
然而，这些优势的代价是增加了延迟和计算成本，同时也提高了超出模型上下文窗口或被 API 服务限制的风险。
虽然完整的迭代反思通常需要有状态的工作流（如 LangGraph），但可以在 LangChain 中通过 LCEL 实现单步反思，将输出传递给批评和后续优化步骤。
Google ADK 可以通过顺序工作流促进反思，其中一个智能体的输出由另一个智能体批评，从而允许后续的优化步骤。
这种模式使智能体能够进行自我纠正，并随着时间的推移提升其性能。

结论

反思模式为智能体的工作流提供了一种关键的自我纠正机制，使其能够通过迭代改进超越单次执行。这是通过创建一个循环来实现的，其中系统生成输出，根据特定标准进行评估，然后利用该评估生成优化结果。评估可以由智能体自身执行（自我反思），或者更常见的是由一个独立的批评智能体执行，这构成了该模式中的一个关键架构选择。

虽然完全自主的多步骤反思过程需要一个强大的状态管理架构，但其核心原则可以通过单次生成-批评-优化循环有效地展示。作为一种控制结构，反思可以与其他基础模式集成，以构建更强大且功能复杂的智能体系统。

参考文献

以下是一些关于反思模式及相关概念的进一步阅读资源：

《通过强化学习训练语言模型进行自我纠正》，https://arxiv.org/abs/2409.12917
LangChain 表达语言 (LCEL) 文档：https://python.langchain.com/docs/introduction/
LangGraph 文档：https://www.langchain.com/langgraph
Google Agent Developer Kit (ADK) 文档（多智能体系统）：https://google.github.io/adk-docs/agents/multi-agents/

第 4 章：反思

第4章：反思 Reflection

反思模式概述

实际应用与使用场景

实践代码示例（LangChain）

实践代码示例（ADK）

概览

定义（What）

设计意图（Why）

使用原则（Rule of Thumb）

图解（Visual Summary）

关键要点

结论

参考文献

results matching ""

No results matching ""

第4章：反思 Reflection

反思模式概述

实际应用与使用场景

实践代码示例（LangChain）

实践代码示例（ADK）

概览

定义（What）

设计意图（Why）

使用原则（Rule of Thumb）

图解 （Visual Summary）

关键要点

结论

参考文献

results matching ""

No results matching ""

图解（Visual Summary）