Auf akademische Ressourcen zugreifen
Forschungspapiere und akademische Ressourcen hinter Atoms’ Multi-Agenten-, Reasoning- und Workflow-Fähigkeiten.
Atoms arbeitet mit führenden Universitäten und Forschungsinstituten weltweit zusammen und produziert Spitzenforschung zu Multi-Agenten-Frameworks, LLM-Reasoning, Kontexterweiterung und automatisierten Workflows.
Diese Arbeiten treiben nicht nur den theoretischen Fortschritt voran, sondern stärken auch Atoms’ Produktfähigkeiten in Bereichen wie Multi-Agenten-Zusammenarbeit, Dateninterpretation, RAG-gestütztem Reasoning und Prompt-Optimierung.
1. Sie wissen es erst, wenn Sie klicken: Automatisiertes GUI-Testing für die produktionsreife Softwarebewertung
Zusammenfassung
Da sich große Sprachmodelle (LLMs) und Code-Agenten von der Generierung isolierter Snippets hin zum Erstellen vollständiger Anwendungen mit GUIs, interaktiver Logik und dynamischen Verhaltensweisen entwickeln, gelingt es aktuellen Benchmarks nicht, produktionsreife Software effektiv zu bewerten. Statische Prüfungen oder binäre Bestanden/Nicht-bestanden-Skripte übersehen die Nutzbarkeit in der realen Welt, die sich erst durch Interaktion zeigt.
Um dieses Problem anzugehen, stellen die Autoren RealDevWorld vor, ein durchgängig automatisiertes Evaluierungs-Framework zum Testen der Fähigkeit von LLMs, produktionsreife Repositories von Grund auf zu erstellen.
Wichtige Beiträge
Erstes GUI-basiertes End-to-End-Evaluierungs-Framework für produktionsreife Anwendungen.
Einführung von RealDevBench, einem Benchmark mit 194 vielfältigen multimodalen Engineering-Aufgaben.
Vorschlag von AppEvalPilot, einem Agent-as-a-Judge-System, das GUI-basierte Benutzerinteraktionen für eine ganzheitliche Bewertung simuliert.
Erreichte hohe Übereinstimmung mit menschlichen Bewertungen (Genauigkeit 0.92, Korrelation 0.85) bei gleichzeitig geringerer Abhängigkeit von manueller Überprüfung.
Mehr erfahren: https://arxiv.org/abs/2508.14104
2. Fortschritte und Herausforderungen bei Foundation Agents: Von gehirninspirierter Intelligenz zu evolutionären, kollaborativen und sicheren Systemen
Zusammenfassung
Das Aufkommen von LLMs hat einen tiefgreifenden Wandel in der KI ausgelöst und intelligente Agenten ermöglicht, die domänenübergreifend zu Reasoning, Wahrnehmung und Handlung fähig sind. Das Entwerfen, Bewerten und kontinuierliche Verbessern solcher Agenten bringt vielschichtige Herausforderungen mit sich.
Diese Übersicht bietet einen umfassenden Überblick über Foundation Agents, dargestellt durch gehirninspirierte modulare Architekturen, die Erkenntnisse aus Kognitionswissenschaft, Neurowissenschaft und Informatik integrieren.
Wichtige Beiträge
Schlägt ein modulares Framework vor, das Agentenkomponenten Gehirnfunktionen zuordnet (Gedächtnis, Modellierung, Ziele, Emotionen).
Untersucht Selbstverbesserung und fortlaufende Anpassung durch evolutionäre Mechanismen.
Betrachtet Multi-Agenten-Systeme und emergente kollektive Intelligenz.
Behandelt Herausforderungen in Bezug auf Sicherheit, Robustheit und Alignment beim Einsatz in der realen Welt.
Mehr erfahren: https://arxiv.org/abs/2504.01990
3. Atom of Thoughts für Markov-LLM-Test-Time-Scaling
Zusammenfassung
LLMs profitieren von Skalierung während des Trainings, und Test-Time-Scaling verbessert das Reasoning zusätzlich. Allerdings kann angesammelter historischer Kontext Rechenleistung verschwenden und das Reasoning behindern.
Das Papier stellt Atom of Thoughts (AoT) vor, das komplexes Reasoning in atomare, gedächtnislose Teilfragen zerlegt und so einen Markov-ähnlichen Reasoning-Prozess bildet.
Wichtige Beiträge
Definiert atomares Reasoning: Zerlegung von Fragen in DAG-Teilprobleme und deren Verdichtung.
Bietet Kompatibilität als Plug-in für bestehende Test-Time-Scaling-Methoden.
Verbessert die Effizienz durch die Verringerung von Kontextredundanz und Rechenverschwendung.
Zeigt signifikante Leistungsgewinne über sechs Benchmarks hinweg.
Mehr erfahren: https://arxiv.org/abs/2502.12018
4. Self-Supervised Prompt Optimization (SPO)
Zusammenfassung
Hochwertige Prompts sind entscheidend für die Verbesserung des LLM-Reasoning, aber manuelles Prompt-Design erfordert Fachwissen und Iteration. Bestehende automatisierte Methoden stützen sich stark auf gelabelte Referenzen, was die Anwendbarkeit in der realen Welt einschränkt.
SPO führt ein selbstüberwachtes Framework ein, das effektive Prompts sowohl für geschlossene als auch für offene Aufgaben ohne externe Referenzen findet.
Wichtige Beiträge
Selbstüberwachte Signale, die ausschließlich aus LLM-Ausgaben abgeleitet werden.
Verwendet LLMs sowohl als Evaluator als auch als Optimierer.
Erreicht State-of-the-Art-Leistung mit 1–5% der Kosten traditioneller Methoden.
Mehr erfahren: https://arxiv.org/abs/2502.06855
5. Verbesserung der Kontexttreue durch Native Retrieval-Augmented Reasoning (CARE)
Zusammenfassung
LLMs halluzinieren häufig Antworten, die nicht mit dem gegebenen Kontext übereinstimmen. Traditionelle Lösungen erfordern entweder teure überwachte Datensätze oder verlassen sich auf externes Retrieval, das den vom Benutzer bereitgestellten Kontext nur unzureichend nutzt.
CARE führt ein Native-Retrieval-Augmented-Reasoning -Framework ein, bei dem LLMs kontextinterne Evidenz dynamisch direkt in die Reasoning-Kette integrieren.
Wichtige Beiträge
Führt kontextinternes Retrieval als Teil des Reasoning-Prozesses ein.
Erfordert nur minimale gelabelte Daten und verwendet Curriculum Learning für komplexe Aufgaben.
Übertrifft SFT, traditionelles RAG und externe Retrieval-Methoden bei QA-Benchmarks.
Mehr erfahren: https://openreview.net/forum?id=qTsU1QLOph
6. FACT: Untersuchung der Wirksamkeit iterativer Kontextumschreibung für Multi-Fact-Retrieval
Zusammenfassung
Large Language Models (LLMs) sind stark darin, einzelne Fakten aus langen Kontexten abzurufen, haben aber Schwierigkeiten, wenn mehrere Fakten gleichzeitig abgerufen werden müssen. Eine wichtige beobachtete Einschränkung ist das „Lost-in-the-Middle“-Phänomen, bei dem LLMs während der Generierung nach und nach den Überblick über wichtige Informationen verlieren, was zu unvollständigen oder ungenauen Ausgaben führt.
Um dieses Problem anzugehen, schlagen die Autoren Find All Crucial Texts (FACT) vor — eine iterative Methode zur Kontextumschreibung, die die Eingabe schrittweise verfeinert und es dem Modell ermöglicht, kritische Fakten Schritt für Schritt zu erfassen.
Wichtige Beiträge
Identifiziert und analysiert das „Lost-in-the-Middle“-Phänomen beim Multi-Fact-Retrieval.
Führt FACT ein, einen iterativen Retrieval- und Umschreibungsansatz, der die faktische Abdeckung schrittweise verbessert.
Zeigt signifikante Leistungsgewinne bei Multi-Fact-Retrieval-Benchmarks, jedoch geringere Verbesserungen bei allgemeinen QA-Aufgaben.
Hebt die Notwendigkeit robusterer Strategien für Retrieval in langen Kontexten hervor.
Mehr erfahren: https://arxiv.org/abs/2410.21012
7. SELA: Tree-Search-Enhanced-LLM-Agenten für automatisiertes maschinelles Lernen
Zusammenfassung
LLM-basierte AutoML-Agenten erzeugen oft Pipelines mit geringer Vielfalt und suboptimaler Qualität. SELA nutzt Monte Carlo Tree Search (MCTS), um die Entscheidungsfindung von Agenten und die Exploration von Pipelines zu optimieren.
Wichtige Beiträge
Wendet Tree-Search-Methoden an, um die AutoML-Exploration zu verbessern.
Verfeinert Pipelines iterativ mithilfe experimentellen Feedbacks.
Übertrifft traditionelle und agentenbasierte AutoML-Baselines auf 20 Datensätzen.
Mehr erfahren: https://arxiv.org/abs/2410.17238
8. AFlow: Automatisierung der Generierung agentischer Workflows
Zusammenfassung
Die Konstruktion agentischer Workflows für LLMs ist arbeitsintensiv und nicht vollständig automatisiert. AFlow formuliert die Workflow-Optimierung als Suchproblem über Code-Graphen neu und verwendet MCTS, um Workflows mithilfe von Ausführungsfeedback iterativ zu verfeinern.
Wichtige Beiträge
Definiert Workflow-Optimierung als Suche in Code-Graphen.
Ermöglicht es kleineren Modellen, GPT-4o zu einem Bruchteil der Kosten zu übertreffen.
Erreicht eine 5.7% Verbesserung gegenüber State-of-the-Art-Baselines.
Mehr erfahren: https://arxiv.org/abs/2410.10762
9. Data Interpreter: Ein LLM-Agent für Data Science
Zusammenfassung
Bestehende Ansätze haben Schwierigkeiten mit durchgängigen Data-Science-Workflows, dynamischen Aufgabenabhängigkeiten und Anforderungen an Fachwissen.
Data Interpreter führt Folgendes ein:
Hierarchical Graph Modeling: zerlegt Probleme in Teilprobleme mit dynamischen Knoten.
Programmable Node Generation: verfeinert und validiert Code iterativ für mehr Robustheit.
Wichtige Beiträge
Erster LLM-Agent, der auf vollständige Data-Science-Workflows zugeschnitten ist.
Erreicht eine 25% Genauigkeitsverbesserung auf InfiAgent-DABench.
Steigert die Leistung bei maschinellem Lernen, offenen Aufgaben und dem MATH-Datensatz signifikant.
Mehr erfahren: https://arxiv.org/abs/2402.18679
10. MetaGPT: Meta Programming für ein kollaboratives Multi-Agenten-Framework
Zusammenfassung
LLM-basierte Multi-Agenten-Systeme scheitern bei komplexen Aufgaben oft aufgrund kaskadierender Halluzinationen. MetaGPT kodiert Standard Operating Procedures (SOPs) in Prompt-Sequenzen, optimiert so Workflows und reduziert Fehler.
Wichtige Beiträge
Führt Meta Programming für die Multi-Agenten-Zusammenarbeit ein.
Integriert SOP-basierte menschliche Workflows in Agenten-Prompts.
Ermöglicht effiziente Rollenzuweisung und Aufgabenzerlegung.
Zeigt überlegene Stabilität und Genauigkeit bei kollaborativen Software-Engineering-Aufgaben.
Mehr erfahren: https://arxiv.org/abs/2308.00352