学术资料
探索 Atoms 背后的研究，包括多智能体协作、LLM 推理、上下文增强、提示词优化和自动化工作流。
Atoms 与全球顶尖大学和研究机构合作，产出关于多智能体框架、LLM 推理、上下文增强和自动化工作流的前沿研究。
这些成果不仅推动了理论进展，也增强了 Atoms 在多智能体协作、数据解读、RAG 增强推理和提示词优化等领域的产品能力。
1. 不点击就不知道：用于生产就绪软件评估的自动化 GUI 测试
摘要
随着大型语言模型（LLM）和代码智能体从生成孤立代码片段发展到构建具有 GUI、交互逻辑和动态行为的完整应用，当前基准已无法有效评估生产就绪软件。静态检查或二元通过/失败脚本忽视了真实世界中的可用性，而这种可用性只有通过交互才能体现出来。
为了解决这一问题，作者提出了 RealDevWorld，这是一个端到端自动化评估框架，用于测试 LLM 从零生成生产就绪代码仓库的能力。
主要贡献
- 首个面向生产就绪应用的基于 GUI 的端到端评估框架。
- 引入了 RealDevBench，一个包含 194 个多样化多模态工程任务的基准。
- 提出了 AppEvalPilot，一个作为评审者的智能体系统，通过模拟基于 GUI 的用户交互进行整体评估。
- 在减少对人工审查依赖的同时，实现了较高的人类一致性（准确率 0.92，相关性 0.85）。
阅读更多：https://arxiv.org/abs/2508.14104
2. 基础智能体的进展与挑战：从类脑智能到进化式、协作式与安全系统
摘要
LLM 的出现推动了 AI 的变革性转变，使能够跨领域进行推理、感知和行动的智能体成为可能。设计、评估并持续改进此类智能体面临多方面挑战。
这篇综述通过类脑模块化架构对 Foundation Agents 进行了全面概述，该架构融合了认知科学、神经科学和计算领域的见解。
主要贡献
- 提出一个模块化框架，将智能体组件映射到大脑功能（记忆、建模、目标、情绪）。
- 探索通过进化机制实现自我改进和持续适应。
- 研究多智能体系统与涌现的集体智能。
- 讨论真实世界部署中的安全性、鲁棒性和对齐挑战。
阅读更多：https://arxiv.org/abs/2504.01990
3. 用于马尔可夫 LLM 测试时扩展的 Atom of Thoughts
摘要
LLM 受益于训练阶段的扩展，而 test-time scaling 则进一步增强了推理能力。然而，累积的历史上下文可能会浪费计算资源并阻碍推理。
该论文提出了 Atom of Thoughts (AoT)，它将复杂推理分解为** 原子化、无记忆的子问题**，从而形成类似马尔可夫过程的推理流程。
主要贡献
- 定义了 atomic reasoning：将问题分解为 DAG 子问题并对其进行收缩。
- 可作为插件兼容现有的 test-time scaling 方法。
- 通过减少上下文冗余和计算浪费来提升效率。
- 在六个基准上展示了显著的性能提升。
阅读更多：https://arxiv.org/abs/2502.12018
4. Self-Supervised Prompt Optimization (SPO)
摘要
高质量提示词对于增强 LLM 推理至关重要，但手动设计提示词需要专业知识和反复迭代。现有自动化方法高度依赖带标注的参考数据，限制了其在真实场景中的适用性。
SPO 引入了一个自监督框架，无需外部参考即可为封闭式和开放式任务发现有效提示词。
主要贡献
- 完全从 LLM 输出中获得自监督信号。
- 将 LLM 同时用作评估器和优化器。
- 以传统方法 1–5% 的成本 实现了最先进的性能。
阅读更多：https://arxiv.org/abs/2502.06855
5. 通过原生检索增强推理（CARE）提升上下文保真度
摘要
LLM 经常产生与给定上下文不一致的幻觉答案。传统解决方案要么需要昂贵的监督数据集，要么依赖外部检索，而后者又未能充分利用用户提供的上下文。
CARE 引入了一个 原生检索增强推理 框架，使 LLM 能够将上下文内证据动态直接整合到推理链中。
主要贡献
- 将上下文内检索引入为推理过程的一部分。
- 仅需极少标注数据，并对复杂任务使用课程学习。
- 在问答基准上优于 SFT、传统 RAG 和外部检索方法。
阅读更多：https://openreview.net/forum?id=qTsU1QLOph
6. FACT：考察迭代式上下文重写在多事实检索中的有效性
摘要
大型语言模型（LLM）擅长从长上下文中检索单个事实，但当需要同时检索多个事实时则表现不佳。观察到的一个关键限制是 “中间遗失”现象，即 LLM 在生成过程中会逐渐丢失对重要信息的追踪，从而导致输出不完整或不准确。
为了解决这一问题，作者提出了 Find All Crucial Texts (FACT) —— 一种 迭代式上下文重写方法，通过逐步优化输入，使模型能够一步步捕捉关键事实。
主要贡献
- 识别并分析了多事实检索中的“中间遗失”现象。
- 引入 FACT，一种通过迭代检索与重写逐步提升事实覆盖率的方法。
- 在多事实检索基准上展示了显著的性能提升，尽管在通用问答任务上的提升较小。
- 强调了长上下文检索需要更稳健策略。
阅读更多：https://arxiv.org/abs/2410.21012
7. SELA：用于自动化机器学习的树搜索增强 LLM 智能体
摘要
基于 LLM 的 AutoML 智能体通常会生成多样性较低且次优的流水线。SELA 利用蒙特卡洛树搜索（MCTS）来优化智能体决策和流水线探索。
主要贡献
- 应用树搜索方法提升 AutoML 探索效果。
- 结合实验反馈对流水线进行迭代优化。
- 在 20 个数据集上优于传统和基于智能体的 AutoML 基线。
阅读更多：https://arxiv.org/abs/2410.17238
8. AFlow：自动化生成智能体工作流
摘要
为 LLM 构建智能体工作流既耗费人力，也尚未实现完全自动化。AFlow 将工作流优化重新定义为代码图上的搜索问题，并使用 MCTS 结合执行反馈对工作流进行迭代优化。
主要贡献
- 将工作流优化定义为代码图搜索。
- 使更小的模型能够以极低成本超越 GPT-4o。
- 相比最先进基线实现了 5.7% 的提升。
阅读更多：https://arxiv.org/abs/2410.10762
9. Data Interpreter：面向数据科学的 LLM 智能体
摘要
现有方法难以应对端到端数据科学工作流、动态任务依赖关系以及领域专业知识要求。
Data Interpreter 引入了：
- 分层图建模：将问题拆解为带有动态节点的子问题。
- 可编程节点生成：通过迭代优化和验证代码来提升鲁棒性。
主要贡献
- 首个面向完整数据科学工作流定制的 LLM 智能体。
- 在 InfiAgent-DABench 上实现了 25% 的准确率提升。
- 显著提升了机器学习、开放式任务和 MATH 数据集上的表现。
阅读更多：https://arxiv.org/abs/2402.18679
10. MetaGPT：面向多智能体协作框架的元编程
摘要
基于 LLM 的多智能体系统在复杂任务上常因级联式幻觉而失败。MetaGPT 将 标准操作流程（SOP） 编码进提示词序列中，从而简化工作流并减少错误。
主要贡献
- 为多智能体协作引入元编程。
- 将基于 SOP 的人工工作流纳入智能体提示词。
- 实现高效的角色分配和任务分解。
- 在协作式软件工程任务中展示出更优的稳定性和准确性。