Akademische Ressourcen

Atoms arbeitet mit führenden Universitäten und Forschungsinstituten weltweit zusammen und produziert Spitzenforschung zu Multi-Agenten-Frameworks, LLM-Reasoning, Kontexterweiterung und automatisierten Workflows.

Diese Arbeiten treiben nicht nur den theoretischen Fortschritt voran, sondern stärken auch die Produktfähigkeiten von Atoms in Bereichen wie Multi-Agenten-Zusammenarbeit, Dateninterpretation, RAG-gestütztem Reasoning und Prompt-Optimierung.

1. You Don’t Know Until You Click: Automatisiertes GUI-Testing für die Bewertung produktionsreifer Software

Abstract

Da sich große Sprachmodelle (LLMs) und Code-Agenten von der Generierung isolierter Snippets hin zum Erstellen vollständiger Anwendungen mit GUIs, interaktiver Logik und dynamischen Verhaltensweisen entwickeln, gelingt es aktuellen Benchmarks nicht, produktionsreife Software effektiv zu bewerten. Statische Prüfungen oder binäre Bestanden/Nicht-bestanden-Skripte übersehen die reale Nutzbarkeit, die erst durch Interaktion sichtbar wird.

Um dieses Problem anzugehen, stellen die Autoren RealDevWorld vor, ein durchgängig automatisiertes Evaluierungs-Framework zum Testen der Fähigkeit von LLMs, produktionsreife Repositories von Grund auf zu generieren.

Key Contributions

• Erstes GUI-basiertes End-to-End-Evaluierungs-Framework für produktionsreife Anwendungen.
• Einführung von RealDevBench, einem Benchmark mit 194 vielfältigen multimodalen Engineering-Aufgaben.
• Vorschlag von AppEvalPilot, einem Agent-as-a-Judge-System, das GUI-basierte Benutzerinteraktionen zur ganzheitlichen Bewertung simuliert.
• Erreichte eine hohe Übereinstimmung mit menschlichen Bewertungen (Genauigkeit 0,92, Korrelation 0,85) bei gleichzeitig geringerer Abhängigkeit von manueller Prüfung.

Mehr erfahren: https://arxiv.org/abs/2508.14104

2. Fortschritte und Herausforderungen bei Foundation Agents: Von gehirninspirierter Intelligenz zu evolutionären, kollaborativen und sicheren Systemen

Abstract

Das Aufkommen von LLMs hat einen tiefgreifenden Wandel in der KI ausgelöst und intelligente Agenten ermöglicht, die domänenübergreifend zu Reasoning, Wahrnehmung und Handeln fähig sind. Das Entwerfen, Bewerten und kontinuierliche Verbessern solcher Agenten bringt vielschichtige Herausforderungen mit sich.

Diese Übersicht bietet einen umfassenden Überblick über Foundation Agents, dargestellt durch gehirninspirierte modulare Architekturen, die Erkenntnisse aus Kognitionswissenschaft, Neurowissenschaft und Informatik integrieren.

Key Contributions

• Schlägt ein modulares Framework vor, das Agentenkomponenten Gehirnfunktionen zuordnet (Gedächtnis, Modellierung, Ziele, Emotionen).
• Untersucht Selbstverbesserung und kontinuierliche Anpassung durch evolutionäre Mechanismen.
• Analysiert Multi-Agenten-Systeme und emergente kollektive Intelligenz.
• Behandelt Herausforderungen in Bezug auf Sicherheit, Robustheit und Alignment beim Einsatz in der realen Welt.

Mehr erfahren: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts für Markov-LLM-Test-Time-Scaling

Abstract

LLMs profitieren von Skalierung während des Trainings, und Test-Time-Scaling verbessert das Reasoning zusätzlich. Allerdings kann angesammelter historischer Kontext Rechenleistung verschwenden und das Reasoning behindern.

Das Paper stellt Atom of Thoughts (AoT) vor, das komplexes Reasoning in** atomare, gedächtnislose Teilfragen** zerlegt und so einen Markov-ähnlichen Reasoning-Prozess bildet.

Key Contributions

• Definiert atomares Reasoning: die Zerlegung von Fragen in DAG-Teilprobleme und deren Verdichtung.
• Bietet Kompatibilität als Plug-in für bestehende Test-Time-Scaling-Methoden.
• Verbessert die Effizienz durch Verringerung von Kontextredundanz und Rechenverschwendung.
• Zeigt signifikante Leistungssteigerungen über sechs Benchmarks hinweg.

Mehr erfahren: https://arxiv.org/abs/2502.12018

4. Selbstüberwachte Prompt-Optimierung (SPO)

Abstract

Hochwertige Prompts sind entscheidend für die Verbesserung von LLM-Reasoning, doch manuelles Prompt-Design erfordert Fachwissen und Iteration. Bestehende automatisierte Methoden stützen sich stark auf gelabelte Referenzen, was die Anwendbarkeit in der Praxis einschränkt.

SPO führt ein selbstüberwachtes Framework ein, das effektive Prompts sowohl für geschlossene als auch für offene Aufgaben ohne externe Referenzen entdeckt.

Key Contributions

• Selbstüberwachte Signale, die ausschließlich aus LLM-Ausgaben abgeleitet werden.
• Nutzt LLMs sowohl als Evaluator als auch als Optimierer.
• Erreicht State-of-the-Art-Leistung mit 1–5% der Kosten traditioneller Methoden.

Mehr erfahren: https://arxiv.org/abs/2502.06855

5. Verbesserung der Kontexttreue durch Native Retrieval-Augmented Reasoning (CARE)

Abstract

LLMs halluzinieren oft Antworten, die nicht mit dem gegebenen Kontext übereinstimmen. Traditionelle Lösungen erfordern entweder teure überwachte Datensätze oder verlassen sich auf externes Retrieval, das den vom Benutzer bereitgestellten Kontext nicht ausreichend nutzt.

CARE führt ein Framework für native retrieval-augmented reasoning ein, bei dem LLMs In-Context-Evidenz dynamisch direkt in die Reasoning-Kette integrieren.

Key Contributions

• Führt In-Context-Retrieval als Teil des Reasoning-Prozesses ein.
• Erfordert nur minimale gelabelte Daten und nutzt Curriculum Learning für komplexe Aufgaben.
• Übertrifft SFT, traditionelles RAG und externe Retrieval-Methoden bei QA-Benchmarks.

Mehr erfahren: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: Untersuchung der Wirksamkeit iterativer Kontextumschreibung für Multi-Fact-Retrieval

Abstract

Large Language Models (LLMs) sind stark darin, einzelne Fakten aus langen Kontexten abzurufen, haben jedoch Schwierigkeiten, wenn mehrere Fakten gleichzeitig abgerufen werden müssen. Eine zentrale beobachtete Einschränkung ist das „Lost-in-the-Middle“-Phänomen, bei dem LLMs während der Generierung nach und nach wichtige Informationen aus dem Blick verlieren, was zu unvollständigen oder ungenauen Ausgaben führt.

Um dieses Problem anzugehen, schlagen die Autoren Find All Crucial Texts (FACT) vor — eine iterative Methode zur Kontextumschreibung, die die Eingabe schrittweise verfeinert und dem Modell ermöglicht, kritische Fakten Schritt für Schritt zu erfassen.

Key Contributions

• Identifiziert und analysiert das „Lost-in-the-Middle“-Phänomen beim Multi-Fact-Retrieval.
• Führt FACT ein, einen iterativen Retrieval- und Umschreibungsansatz, der die faktische Abdeckung schrittweise verbessert.
• Zeigt signifikante Leistungssteigerungen bei Multi-Fact-Retrieval-Benchmarks, wenn auch mit geringeren Verbesserungen bei allgemeinen QA-Aufgaben.
• Hebt die Notwendigkeit robusterer Strategien für Retrieval in langen Kontexten hervor.

Mehr erfahren: https://arxiv.org/abs/2410.21012

7. SELA: Tree-Search-Enhanced LLM Agents für automatisiertes Machine Learning

Abstract

LLM-basierte AutoML-Agenten erzeugen oft Pipelines mit geringer Diversität und suboptimaler Qualität. SELA nutzt Monte Carlo Tree Search (MCTS), um die Entscheidungsfindung von Agenten und die Exploration von Pipelines zu optimieren.

Key Contributions

• Wendet Tree-Search-Methoden an, um die AutoML-Exploration zu verbessern.
• Verfeinert Pipelines iterativ mithilfe experimentellen Feedbacks.
• Übertrifft traditionelle und agentenbasierte AutoML-Baselines auf 20 Datensätzen.

Mehr erfahren: https://arxiv.org/abs/2410.17238

8. AFlow: Automatisierung der Generierung agentischer Workflows

Abstract

Die Konstruktion agentischer Workflows für LLMs ist arbeitsintensiv und nicht vollständig automatisiert. AFlow formuliert Workflow-Optimierung als Suchproblem über Code-Graphen neu und nutzt MCTS, um Workflows mithilfe von Ausführungsfeedback iterativ zu verfeinern.

Key Contributions

• Definiert Workflow-Optimierung als Suche in Code-Graphen.
• Ermöglicht es kleineren Modellen, GPT-4o zu einem Bruchteil der Kosten zu übertreffen.
• Erzielt eine 5,7%ige Verbesserung gegenüber State-of-the-Art-Baselines.

Mehr erfahren: https://arxiv.org/abs/2410.10762

9. Data Interpreter: Ein LLM-Agent für Data Science

Abstract

Bestehende Ansätze haben Schwierigkeiten mit durchgängigen Data-Science-Workflows, dynamischen Aufgabenabhängigkeiten und Anforderungen an Domänenwissen.

Data Interpreter führt ein:

• Hierarchische Graphmodellierung: zerlegt Probleme in Teilprobleme mit dynamischen Knoten.
• Programmierbare Knotengenerierung: verfeinert und validiert Code iterativ für mehr Robustheit.

Key Contributions

• Erster LLM-Agent, der auf vollständige Data-Science-Workflows zugeschnitten ist.
• Erreicht eine 25%ige Genauigkeitssteigerung auf InfiAgent-DABench.
• Steigert die Leistung bei Machine Learning, offenen Aufgaben und dem MATH-Datensatz deutlich.

Mehr erfahren: https://arxiv.org/abs/2402.18679

10. MetaGPT: Meta-Programmierung für ein kollaboratives Multi-Agenten-Framework

Abstract

LLM-basierte Multi-Agenten-Systeme scheitern bei komplexen Aufgaben oft aufgrund kaskadierender Halluzinationen. MetaGPT kodiert Standard Operating Procedures (SOPs) in Prompt-Sequenzen, optimiert dadurch Workflows und reduziert Fehler.

Key Contributions

• Führt Meta-Programmierung für Multi-Agenten-Zusammenarbeit ein.
• Integriert SOP-basierte menschliche Workflows in Agenten-Prompts.
• Ermöglicht effiziente Rollenzuweisung und Aufgabenzerlegung.
• Zeigt überlegene Stabilität und Genauigkeit bei kollaborativen Software-Engineering-Aufgaben.

Mehr erfahren: https://arxiv.org/abs/2308.00352