Academische Bronnen

Atoms werkt samen met toonaangevende universiteiten en onderzoeksinstituten wereldwijd en produceert baanbrekend onderzoek naar multi-agentframeworks, LLM-redenering, contextverrijking en geautomatiseerde workflows.

Deze werken stimuleren niet alleen de theoretische vooruitgang, maar versterken ook de productcapaciteiten van Atoms op gebieden zoals samenwerking tussen meerdere agents, data-interpretatie, met RAG verbeterde redenering en promptoptimalisatie.

1. Je weet het pas als je klikt: geautomatiseerd GUI-testen voor evaluatie van productieklare software

Samenvatting

Naarmate large language models (LLMs) en code-agents zich ontwikkelen van het genereren van losse snippets naar het bouwen van volledige applicaties met GUI's, interactieve logica en dynamisch gedrag, slagen huidige benchmarks er niet in om productieklare software effectief te evalueren. Statische controles of binaire geslaagd/mislukt-scripts missen bruikbaarheid in de praktijk, die alleen door interactie zichtbaar wordt.

Om dit aan te pakken introduceren de auteurs RealDevWorld, een end-to-end geautomatiseerd evaluatieframework voor het testen van het vermogen van LLMs om vanaf nul productieklare repositories te genereren.

Belangrijkste bijdragen

• Eerste op GUI gebaseerd end-to-end evaluatieframework voor productieklare applicaties.
• Introductie van RealDevBench, een benchmark met 194 diverse multimodale engineeringtaken.
• Voorstel van AppEvalPilot, een agent-as-a-judge-systeem dat op GUI gebaseerde gebruikersinteracties simuleert voor holistische beoordeling.
• Hoge overeenstemming met menselijke beoordeling bereikt (nauwkeurigheid 0.92, correlatie 0.85) terwijl de afhankelijkheid van handmatige review werd verminderd.

Lees meer: https://arxiv.org/abs/2508.14104

2. Vooruitgang en uitdagingen in Foundation Agents: van door het brein geïnspireerde intelligentie tot evolutionaire, collaboratieve en veilige systemen

Samenvatting

De komst van LLMs heeft een transformerende verschuiving in AI teweeggebracht, waardoor intelligente agents mogelijk zijn die kunnen redeneren, waarnemen en handelen over verschillende domeinen heen. Het ontwerpen, evalueren en continu verbeteren van zulke agents brengt veelzijdige uitdagingen met zich mee.

Deze survey biedt een uitgebreid overzicht van Foundation Agents, gekaderd via door het brein geïnspireerde modulaire architecturen die inzichten uit cognitieve wetenschap, neurowetenschap en computation integreren.

Belangrijkste bijdragen

• Stelt een modulair framework voor dat agentcomponenten koppelt aan hersenfunctionaliteiten (geheugen, modellering, doelen, emoties).
• Onderzoekt zelfverbetering en voortdurende aanpassing via evolutionaire mechanismen.
• Bestudeert multi-agentsystemen en opkomende collectieve intelligentie.
• Behandelt uitdagingen rond veiligheid, robuustheid en alignment bij inzet in de praktijk.

Lees meer: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts voor Markov LLM Test-Time Scaling

Samenvatting

LLMs profiteren van schaalvergroting tijdens training, en test-time scaling verbetert redenering verder. Opgebouwde historische context kan echter rekenkracht verspillen en redenering belemmeren.

Het artikel introduceert Atom of Thoughts (AoT), dat complexe redenering opsplitst in** atomaire, geheugenloze subvraagstukken**, en zo een Markov-achtig redeneerproces vormt.

Belangrijkste bijdragen

• Definieert atomaire redenering: vragen opsplitsen in DAG-subproblemen en deze samenvoegen.
• Biedt compatibiliteit als plug-in voor bestaande test-time scaling-methoden.
• Verbetert efficiëntie door contextredundantie en verspilling van rekenkracht te verminderen.
• Toont aanzienlijke prestatieverbeteringen aan op zes benchmarks.

Lees meer: https://arxiv.org/abs/2502.12018

4. Self-Supervised Prompt Optimization (SPO)

Samenvatting

Prompts van hoge kwaliteit zijn cruciaal voor het verbeteren van LLM-redenering, maar handmatig promptontwerp vereist expertise en iteratie. Bestaande geautomatiseerde methoden steunen sterk op gelabelde referenties, wat de toepasbaarheid in de praktijk beperkt.

SPO introduceert een self-supervised framework dat effectieve prompts ontdekt voor zowel gesloten als open taken zonder externe referenties.

Belangrijkste bijdragen

• Self-supervised signalen die puur uit LLM-uitvoer worden afgeleid.
• Gebruikt LLMs zowel als evaluator als optimizer.
• Bereikt state-of-the-art prestaties met 1–5% van de kosten van traditionele methoden.

Lees meer: https://arxiv.org/abs/2502.06855

5. Verbetering van contextgetrouwheid via Native Retrieval-Augmented Reasoning (CARE)

Samenvatting

LLMs hallucineren vaak antwoorden die niet overeenkomen met de gegeven context. Traditionele oplossingen vereisen ofwel dure supervised datasets of vertrouwen op externe retrieval die door gebruikers aangeleverde context onvoldoende benut.

CARE introduceert een native retrieval-augmented reasoning framework waarin LLMs in-context bewijs dynamisch direct in de redeneerketen integreren.

Belangrijkste bijdragen

• Introduceert in-context retrieval als onderdeel van het redeneerproces.
• Vereist minimale gelabelde data en gebruikt curriculum learning voor complexe taken.
• Presteert beter dan SFT, traditionele RAG en externe retrievalmethoden op QA-benchmarks.

Lees meer: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: Onderzoek naar de effectiviteit van iteratief herschrijven van context voor multi-fact retrieval

Samenvatting

Large Language Models (LLMs) zijn sterk in het ophalen van afzonderlijke feiten uit lange contexten, maar hebben moeite wanneer meerdere feiten gelijktijdig moeten worden opgehaald. Een belangrijke geobserveerde beperking is het “lost-in-the-middle”-fenomeen, waarbij LLMs tijdens het genereren geleidelijk belangrijke informatie uit het oog verliezen, wat leidt tot onvolledige of onnauwkeurige output.

Om dit aan te pakken stellen de auteurs Find All Crucial Texts (FACT) voor — een iteratieve methode voor het herschrijven van context die de invoer stapsgewijs verfijnt, zodat het model kritieke feiten stap voor stap kan vastleggen.

Belangrijkste bijdragen

• Identificeert en analyseert het “lost-in-the-middle”-fenomeen in multi-fact retrieval.
• Introduceert FACT, een iteratieve retrieval- en herschrijfaanpak die feitelijke dekking stapsgewijs verbetert.
• Toont aanzienlijke prestatieverbeteringen aan in benchmarks voor multi-fact retrieval, zij het met kleinere verbeteringen op algemene QA-taken.
• Benadrukt de noodzaak van robuustere strategieën voor retrieval in lange contexten.

Lees meer: https://arxiv.org/abs/2410.21012

7. SELA: Tree-Search Enhanced LLM Agents voor geautomatiseerde machine learning

Samenvatting

Op LLM gebaseerde AutoML-agents genereren vaak pipelines met weinig diversiteit en suboptimale kwaliteit. SELA benut Monte Carlo Tree Search (MCTS) om besluitvorming van agents en verkenning van pipelines te optimaliseren.

Belangrijkste bijdragen

• Past tree-search-methoden toe om AutoML-verkenning te verbeteren.
• Verfijnt pipelines iteratief met experimentele feedback.
• Presteert beter dan traditionele en agentgebaseerde AutoML-baselines op 20 datasets.

Lees meer: https://arxiv.org/abs/2410.17238

8. AFlow: het automatiseren van agentische workflowgeneratie

Samenvatting

Het construeren van agentische workflows voor LLMs is arbeidsintensief en niet volledig geautomatiseerd. AFlow herkadert workflowoptimalisatie als een zoekprobleem over codegrafen, waarbij MCTS wordt gebruikt om workflows iteratief te verfijnen met uitvoeringsfeedback.

Belangrijkste bijdragen

• Definieert workflowoptimalisatie als zoeken in codegrafen.
• Maakt het mogelijk dat kleinere modellen beter presteren dan GPT-4o tegen een fractie van de kosten.
• Behaalt een verbetering van 5.7% ten opzichte van state-of-the-art baselines.

Lees meer: https://arxiv.org/abs/2410.10762

9. Data Interpreter: een LLM Agent voor data science

Samenvatting

Bestaande benaderingen hebben moeite met end-to-end data science-workflows, dynamische taakafhankelijkheden en vereisten rond domeinexpertise.

Data Interpreter introduceert:

• Hiërarchische grafmodellering: splitst problemen op in subproblemen met dynamische knooppunten.
• Programmeerbare knooppuntgeneratie: verfijnt en valideert code iteratief voor robuustheid.

Belangrijkste bijdragen

• Eerste LLM Agent toegespitst op volledige data science-workflows.
• Bereikt 25% nauwkeurigheidsverbetering op InfiAgent-DABench.
• Verbetert prestaties op machine learning, open taken en de MATH-dataset aanzienlijk.

Lees meer: https://arxiv.org/abs/2402.18679

10. MetaGPT: Meta Programming voor een collaboratief multi-agentframework

Samenvatting

Op LLM gebaseerde multi-agentsystemen falen vaak bij complexe taken door opeenstapelende hallucinaties. MetaGPT codeert Standard Operating Procedures (SOPs) in promptsequenties, waardoor workflows worden gestroomlijnd en fouten worden verminderd.

Belangrijkste bijdragen

• Introduceert meta-programmering voor samenwerking tussen meerdere agents.
• Integreert op SOP gebaseerde menselijke workflows in agentprompts.
• Maakt efficiënte roltoewijzing en taakdecompositie mogelijk.
• Toont superieure stabiliteit en nauwkeurigheid aan in collaboratieve software-engineeringtaken.

Lees meer: https://arxiv.org/abs/2308.00352