学術リソース
Atoms の背景にある研究を探索しましょう。マルチエージェント協調、LLM 推論、コンテキスト拡張、プロンプト最適化、自動化ワークフローなどを含みます。
Atoms は世界中のトップ大学や研究機関と連携し、マルチエージェントフレームワーク、LLM 推論、コンテキスト拡張、自動化ワークフローに関する最先端の研究を生み出しています。
これらの研究は、理論的な進歩を前進させるだけでなく、マルチエージェント協調、データ解釈、RAG 強化推論、プロンプト最適化といった分野における Atoms の製品機能も強化しています。
1. クリックするまでわからない：本番対応ソフトウェア評価のための自動 GUI テスト
概要
大規模言語モデル（LLM）やコードエージェントが、個別のスニペット生成から、GUI、インタラクティブなロジック、動的な振る舞いを備えた完全なアプリケーションの構築へと進化するにつれ、現在のベンチマークでは本番対応ソフトウェアを効果的に評価できません。静的チェックや二値の合否スクリプトでは、実際の操作を通じて初めて現れる現実世界での使いやすさを見落としてしまいます。
これに対処するため、著者らは RealDevWorld を導入しました。これは、LLM がゼロから本番対応リポジトリを生成する能力をテストするための、エンドツーエンドの自動評価フレームワークです。
主な貢献
- 本番対応アプリケーション向けの、初の GUI ベースのエンドツーエンド評価フレームワーク。
- 194 件の多様なマルチモーダル・エンジニアリングタスクを備えたベンチマーク RealDevBench を導入。
- GUI ベースのユーザー操作をシミュレートして包括的に評価する、agent-as-a-judge システム AppEvalPilot を提案。
- 手動レビューへの依存を減らしつつ、高い人間整合性（精度 0.92、相関 0.85）を達成。
詳細はこちら: https://arxiv.org/abs/2508.14104
2. Foundation Agents における進展と課題：脳に着想を得た知能から進化的・協調的・安全なシステムへ
概要
LLM の登場は AI に変革的な転換をもたらし、分野横断で推論、知覚、行動が可能な知的エージェントを実現しました。このようなエージェントを設計し、評価し、継続的に改善することには、多面的な課題があります。
このサーベイは、認知科学、神経科学、計算の知見を統合する、脳に着想を得たモジュール型アーキテクチャを通して Foundation Agents を捉え、その包括的な概観を提供します。
主な貢献
- エージェントの構成要素を脳の機能（記憶、モデリング、目標、感情）に対応付けるモジュール型フレームワークを提案。
- 進化的メカニズムを通じた自己改善と継続的適応を探究。
- マルチエージェントシステムと創発的な集合知を検討。
- 実世界での展開における安全性、堅牢性、アラインメントの課題に対応。
詳細はこちら: https://arxiv.org/abs/2504.01990
3. Markov LLM Test-Time Scaling のための Atom of Thoughts
概要
LLM は学習時のスケーリングによって恩恵を受け、さらに test-time scaling は推論能力を高めます。しかし、蓄積された履歴コンテキストは計算資源を浪費し、推論を妨げることがあります。
この論文では Atom of Thoughts (AoT) を導入し、複雑な推論を** 原子的で記憶を持たないサブ質問**に分解することで、Markov 的な推論プロセスを形成します。
主な貢献
- atomic reasoning を定義：質問を DAG の部分問題に分解し、それらを縮約。
- 既存の test-time scaling 手法に対するプラグインとしての互換性を提供。
- コンテキストの冗長性と計算の無駄を減らすことで効率を改善。
- 6 つのベンチマークで大幅な性能向上を実証。
詳細はこちら: https://arxiv.org/abs/2502.12018
4. Self-Supervised Prompt Optimization (SPO)
概要
高品質なプロンプトは LLM 推論の強化に不可欠ですが、手動でのプロンプト設計には専門知識と反復が必要です。既存の自動化手法はラベル付き参照に大きく依存しており、実世界での適用性を制限しています。
SPO は、外部参照なしでクローズドエンドおよびオープンエンドの両方のタスクに対して有効なプロンプトを発見する、自己教師ありフレームワークを導入します。
主な貢献
- LLM の出力のみに基づく自己教師ありシグナル。
- 評価者と最適化器の両方として LLM を使用。
- 従来手法の 1–5% のコストで最先端性能を達成。
詳細はこちら: https://arxiv.org/abs/2502.06855
5. Native Retrieval-Augmented Reasoning (CARE) によるコンテキスト忠実性の改善
概要
LLM は、与えられたコンテキストと整合しない回答をハルシネーションすることがよくあります。従来の解決策は、高価な教師ありデータセットを必要とするか、ユーザー提供コンテキストを十分に活用しない外部検索に依存しています。
CARE は、LLM がコンテキスト内の証拠を推論チェーンに直接動的統合する native retrieval-augmented reasoning フレームワークを導入します。
主な貢献
- 推論プロセスの一部としてコンテキスト内検索を導入。
- 最小限のラベル付きデータで済み、複雑なタスクにはカリキュラム学習を使用。
- QA ベンチマークにおいて、SFT、従来の RAG、外部検索手法を上回る性能を達成。
詳細はこちら: https://openreview.net/forum?id=qTsU1QLOph
6. FACT：複数事実検索のための反復的コンテキスト書き換えの有効性の検証
概要
大規模言語モデル（LLM）は長いコンテキストから単一の事実を検索することには強い一方で、複数の事実を同時に検索しなければならない場合には苦戦します。観察される主要な制約の 1 つが 「lost-in-the-middle」現象 であり、これは LLM が生成中に重要な情報を徐々に見失い、不完全または不正確な出力につながるものです。
これに対処するため、著者らは Find All Crucial Texts (FACT) を提案しています。これは、入力を段階的に洗練する 反復的コンテキスト書き換え手法 であり、モデルが重要な事実を一歩ずつ捉えられるようにします。
主な貢献
- 複数事実検索における「lost-in-the-middle」現象を特定し、分析。
- 事実の網羅性を段階的に改善する、反復的な検索および書き換えアプローチ FACT を導入。
- 一般的な QA タスクでは改善幅が小さいものの、複数事実検索ベンチマークで大幅な性能向上を実証。
- 長文コンテキスト検索において、より堅牢な戦略の必要性を強調。
詳細はこちら: https://arxiv.org/abs/2410.21012
7. SELA：自動機械学習のための木探索強化 LLM エージェント
概要
LLM ベースの AutoML エージェントは、多様性の低い、最適とは言えないパイプラインを生成しがちです。SELA は Monte Carlo Tree Search（MCTS）を活用して、エージェントの意思決定とパイプライン探索を最適化します。
主な貢献
- AutoML 探索を改善するために木探索手法を適用。
- 実験フィードバックを用いてパイプラインを反復的に洗練。
- 20 のデータセットで、従来型およびエージェントベースの AutoML ベースラインを上回る性能を達成。
詳細はこちら: https://arxiv.org/abs/2410.17238
8. AFlow：エージェント型ワークフロー生成の自動化
概要
LLM のためのエージェント型ワークフローの構築は労力を要し、まだ完全には自動化されていません。AFlow は、ワークフロー最適化をコードグラフ上の探索問題として再定式化し、MCTS を用いて実行フィードバックとともにワークフローを反復的に洗練します。
主な貢献
- ワークフロー最適化をコードグラフ探索として定義。
- 小規模モデルでも、コストのごく一部で GPT-4o を上回る性能を実現。
- 最先端ベースラインに対して 5.7% の改善 を達成。
詳細はこちら: https://arxiv.org/abs/2410.10762
9. Data Interpreter：データサイエンスのための LLM エージェント
概要
既存のアプローチは、エンドツーエンドのデータサイエンスワークフロー、動的なタスク依存関係、ドメイン専門知識の要件への対応に苦戦しています。
Data Interpreter は以下を導入します：
- 階層的グラフモデリング：問題を動的ノードを持つ部分問題に分解。
- プログラム可能なノード生成：堅牢性のためにコードを反復的に洗練・検証。
主な貢献
- 完全なデータサイエンスワークフロー向けに特化した初の LLM エージェント。
- InfiAgent-DABench で 25% の精度向上 を達成。
- 機械学習、オープンエンドタスク、MATH データセットで性能を大幅に向上。
詳細はこちら: https://arxiv.org/abs/2402.18679
10. MetaGPT：マルチエージェント協調フレームワークのためのメタプログラミング
概要
LLM ベースのマルチエージェントシステムは、連鎖的なハルシネーションにより複雑なタスクで失敗することがよくあります。MetaGPT は Standard Operating Procedures (SOPs) をプロンプトシーケンスにエンコードし、ワークフローを合理化してエラーを削減します。
主な貢献
- マルチエージェント協調のためのメタプログラミングを導入。
- SOP ベースの人間のワークフローをエージェントのプロンプトに組み込み。
- 効率的な役割割り当てとタスク分解を実現。
- 協調的ソフトウェアエンジニアリングタスクにおいて、優れた安定性と精度を実証。
詳細はこちら: https://arxiv.org/abs/2308.00352