Akademiska resurser

Atoms samarbetar med ledande universitet och forskningsinstitut världen över och producerar banbrytande forskning om ramverk för flera agenter, LLM-resonemang, kontextförstärkning och automatiserade arbetsflöden.

Dessa arbeten driver inte bara den teoretiska utvecklingen framåt utan stärker också Atoms produktkapacitet inom områden som samarbete mellan flera agenter, datatolkning, RAG-förstärkt resonemang och promptoptimering.

1. Du vet inte förrän du klickar: Automatiserad GUI-testning för utvärdering av produktionsklar programvara

Sammanfattning

I takt med att stora språkmodeller (LLM:er) och kodagenter utvecklas från att generera isolerade kodsnuttar till att bygga fullständiga applikationer med GUI:er, interaktiv logik och dynamiska beteenden, misslyckas nuvarande benchmarkar med att effektivt utvärdera produktionsklar programvara. Statiska kontroller eller binära godkänd/underkänd-skript förbiser användbarhet i verkliga världen, som bara framträder genom interaktion.

För att hantera detta introducerar författarna RealDevWorld, ett heltäckande automatiserat utvärderingsramverk för att testa LLM:ers förmåga att generera produktionsklara kodförråd från grunden.

Viktiga bidrag

• Första GUI-baserade heltäckande utvärderingsramverket för produktionsklara applikationer.
• Introducerade RealDevBench, en benchmark med 194 varierade multimodala ingenjörsuppgifter.
• Föreslog AppEvalPilot, ett agent-as-a-judge-system som simulerar GUI-baserade användarinteraktioner för holistisk bedömning.
• Uppnådde hög överensstämmelse med mänskliga bedömningar (noggrannhet 0.92, korrelation 0.85) samtidigt som beroendet av manuell granskning minskades.

Läs mer: https://arxiv.org/abs/2508.14104

2. Framsteg och utmaningar inom Foundation Agents: Från hjärninspirerad intelligens till evolutionära, samarbetsinriktade och säkra system

Sammanfattning

Framväxten av LLM:er har katalyserat en omvälvande förändring inom AI och möjliggjort intelligenta agenter som kan resonera, uppfatta och agera över olika domäner. Att utforma, utvärdera och kontinuerligt förbättra sådana agenter innebär mångfacetterade utmaningar.

Denna översikt ger en omfattande genomgång av Foundation Agents, inramad genom hjärninspirerade modulära arkitekturer som integrerar insikter från kognitionsvetenskap, neurovetenskap och beräkning.

Viktiga bidrag

• Föreslår ett modulärt ramverk som mappar agentkomponenter till hjärnfunktioner (minne, modellering, mål, känslor).
• Utforskar självförbättring och kontinuerlig anpassning genom evolutionära mekanismer.
• Undersöker multiagentsystem och framväxande kollektiv intelligens.
• Behandlar utmaningar kring säkerhet, robusthet och alignment vid driftsättning i verkliga miljöer.

Läs mer: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts för Markov LLM Test-Time Scaling

Sammanfattning

LLM:er gynnas av skalning under träning, och test-time scaling förbättrar resonemang ytterligare. Ackumulerad historisk kontext kan dock slösa beräkningsresurser och hämma resonemanget.

Artikeln introducerar Atom of Thoughts (AoT), som delar upp komplext resonemang i** atomära, minneslösa delfrågor**, vilket skapar en Markov-liknande resonemangsprocess.

Viktiga bidrag

• Definierar atomärt resonemang: att dela upp frågor i DAG-delproblem och kontrahera dem.
• Ger kompatibilitet som ett plug-in för befintliga metoder för test-time scaling.
• Förbättrar effektiviteten genom att minska kontextredundans och beräkningsspill.
• Visar betydande prestandavinster över sex benchmarkar.

Läs mer: https://arxiv.org/abs/2502.12018

4. Self-Supervised Prompt Optimization (SPO)

Sammanfattning

Högkvalitativa promptar är avgörande för att förbättra LLM-resonemang, men manuell promptdesign kräver expertis och iteration. Befintliga automatiserade metoder förlitar sig i hög grad på märkta referenser, vilket begränsar användbarheten i verkliga tillämpningar.

SPO introducerar ett självövervakat ramverk som hittar effektiva promptar för både slutna och öppna uppgifter utan externa referenser.

Viktiga bidrag

• Självövervakade signaler härledda enbart från LLM-utdata.
• Använder LLM:er både som utvärderare och optimerare.
• Uppnår prestanda i världsklass till 1–5% av kostnaden för traditionella metoder.

Läs mer: https://arxiv.org/abs/2502.06855

5. Förbättrad kontexttrogenhet via Native Retrieval-Augmented Reasoning (CARE)

Sammanfattning

LLM:er hallucinerar ofta svar som inte stämmer överens med given kontext. Traditionella lösningar kräver antingen dyra övervakade dataset eller förlitar sig på extern hämtning som inte utnyttjar användartillhandahållen kontext fullt ut.

CARE introducerar ett native retrieval-augmented reasoning-ramverk där LLM:er dynamiskt integrerar bevis i kontexten direkt i resonemangskedjan.

Viktiga bidrag

• Introducerar hämtning i kontext som en del av resonemangsprocessen.
• Kräver minimalt med märkt data och använder curriculum learning för komplexa uppgifter.
• Överträffar SFT, traditionell RAG och externa hämtningsmetoder på QA-benchmarkar.

Läs mer: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: Undersökning av effektiviteten hos iterativ omskrivning av kontext för hämtning av flera fakta

Sammanfattning

Large Language Models (LLM:er) är starka på att hämta enskilda fakta från långa kontexter men har svårt när flera fakta måste hämtas samtidigt. En viktig begränsning som observerats är "lost-in-the-middle"-fenomenet, där LLM:er gradvis tappar bort viktig information under genereringen, vilket leder till ofullständiga eller felaktiga utdata.

För att hantera detta föreslår författarna Find All Crucial Texts (FACT) — en iterativ metod för omskrivning av kontext som successivt förfinar indata, så att modellen kan fånga kritiska fakta steg för steg.

Viktiga bidrag

• Identifierar och analyserar "lost-in-the-middle"-fenomenet vid hämtning av flera fakta.
• Introducerar FACT, en iterativ metod för hämtning och omskrivning som stegvis förbättrar faktatäckningen.
• Visar betydande prestandavinster i benchmarkar för hämtning av flera fakta, om än med mindre förbättringar på allmänna QA-uppgifter.
• Belyser behovet av mer robusta strategier för hämtning i långa kontexter.

Läs mer: https://arxiv.org/abs/2410.21012

7. SELA: Trädsökningsförstärkta LLM-agenter för automatiserad maskininlärning

Sammanfattning

LLM-baserade AutoML-agenter genererar ofta pipelines med låg diversitet och suboptimala resultat. SELA använder Monte Carlo Tree Search (MCTS) för att optimera agenters beslutsfattande och utforskning av pipelines.

Viktiga bidrag

• Tillämpa trädsökningsmetoder för att förbättra AutoML-utforskning.
• Förfinar iterativt pipelines med experimentell återkoppling.
• Överträffar traditionella och agentbaserade AutoML-baslinjer på 20 dataset.

Läs mer: https://arxiv.org/abs/2410.17238

8. AFlow: Automatisering av generering av agentiska arbetsflöden

Sammanfattning

Att konstruera agentiska arbetsflöden för LLM:er är arbetsintensivt och inte fullt automatiserat. AFlow omformulerar arbetsflödesoptimering som ett sökproblem över kodgrafer och använder MCTS för att iterativt förfina arbetsflöden med exekveringsåterkoppling.

Viktiga bidrag

• Definierar arbetsflödesoptimering som sökning i kodgrafer.
• Gör det möjligt för mindre modeller att överträffa GPT-4o till en bråkdel av kostnaden.
• Uppnår en förbättring på 5.7% jämfört med state-of-the-art-baslinjer.

Läs mer: https://arxiv.org/abs/2410.10762

9. Data Interpreter: En LLM-agent för datavetenskap

Sammanfattning

Befintliga metoder har svårt med heltäckande arbetsflöden för datavetenskap, dynamiska uppgiftsberoenden och krav på domänexpertis.

Data Interpreter introducerar:

• Hierarkisk grafmodellering: delar upp problem i delproblem med dynamiska noder.
• Programmerbar nodgenerering: förfinar och validerar kod iterativt för robusthet.

Viktiga bidrag

• Första LLM-agenten anpassad för fullständiga arbetsflöden inom datavetenskap.
• Uppnår 25% förbättring i noggrannhet på InfiAgent-DABench.
• Förbättrar prestandan avsevärt för maskininlärning, öppna uppgifter och MATH-datasetet.

Läs mer: https://arxiv.org/abs/2402.18679

10. MetaGPT: Metaprogrammering för ett samarbetsramverk med flera agenter

Sammanfattning

LLM-baserade multiagentsystem misslyckas ofta med komplexa uppgifter på grund av kaskaderande hallucinationer. MetaGPT kodar in Standard Operating Procedures (SOPs) i promptsekvenser, vilket effektiviserar arbetsflöden och minskar fel.

Viktiga bidrag

• Introducerar metaprogrammering för samarbete mellan flera agenter.
• Integrerar SOP-baserade mänskliga arbetsflöden i agentpromptar.
• Möjliggör effektiv rolltilldelning och uppgiftsnedbrytning.
• Visar överlägsen stabilitet och noggrannhet i samarbetsinriktade programvarutekniska uppgifter.

Läs mer: https://arxiv.org/abs/2308.00352