Accedi alle Risorse accademiche
Articoli di ricerca e risorse accademiche alla base delle capacità multi-agent, di reasoning e di workflow di Atoms.
Atoms collabora con le migliori università e istituti di ricerca in tutto il mondo, producendo ricerche all’avanguardia su framework multi-agent, reasoning con LLM, augmentazione del contesto e workflow automatizzati.
Questi lavori non solo fanno progredire la ricerca teorica, ma rafforzano anche le capacità di prodotto di Atoms in aree come la collaborazione multi-agent, l’interpretazione dei dati, il reasoning potenziato da RAG e l’ottimizzazione dei prompt.
1. Non lo sai finché non clicchi: test GUI automatizzati per la valutazione di software pronti per la produzione
Abstract
Man mano che i large language models (LLM) e gli agenti di codice evolvono dalla generazione di frammenti isolati alla creazione di applicazioni complete con GUI, logica interattiva e comportamenti dinamici, i benchmark attuali non riescono a valutare efficacemente software pronti per la produzione. I controlli statici o gli script binari di pass/fail trascurano l’usabilità nel mondo reale, che emerge solo attraverso l’interazione.
Per affrontare questo problema, gli autori introducono RealDevWorld, un framework di valutazione automatizzata end-to-end per testare la capacità degli LLM di generare repository pronti per la produzione da zero.
Contributi chiave
Primo framework di valutazione end-to-end basato su GUI per applicazioni pronte per la produzione.
Ha introdotto RealDevBench, un benchmark con 194 attività di ingegneria multimodale diversificate.
Ha proposto AppEvalPilot, un sistema agent-as-a-judge che simula interazioni utente basate su GUI per una valutazione olistica.
Ha raggiunto un elevato allineamento con la valutazione umana (accuratezza 0,92, correlazione 0,85), riducendo al contempo la dipendenza dalla revisione manuale.
Per saperne di più: https://arxiv.org/abs/2508.14104
2. Progressi e sfide nei Foundation Agents: dall’intelligenza ispirata al cervello a sistemi evolutivi, collaborativi e sicuri
Abstract
L’avvento degli LLM ha catalizzato un cambiamento trasformativo nell’IA, consentendo agenti intelligenti capaci di reasoning, percezione e azione in diversi ambiti. Progettare, valutare e migliorare continuamente tali agenti presenta sfide molteplici.
Questa survey offre una panoramica completa dei Foundation Agents, strutturata attraverso architetture modulari ispirate al cervello che integrano intuizioni provenienti da scienze cognitive, neuroscienze e calcolo.
Contributi chiave
Propone un framework modulare che associa i componenti degli agenti alle funzionalità cerebrali (memoria, modellazione, obiettivi, emozioni).
Esplora l’auto-miglioramento e l’adattamento continuo attraverso meccanismi evolutivi.
Esamina i sistemi multi-agent e l’intelligenza collettiva emergente.
Affronta le sfide di sicurezza, robustezza e allineamento nell’implementazione nel mondo reale.
Per saperne di più: https://arxiv.org/abs/2504.01990
3. Atom of Thoughts per il test-time scaling Markoviano degli LLM
Abstract
Gli LLM traggono beneficio dallo scaling durante l’addestramento, e il test-time scaling migliora ulteriormente il reasoning. Tuttavia, il contesto storico accumulato può sprecare capacità di calcolo e ostacolare il reasoning.
L’articolo introduce Atom of Thoughts (AoT), che scompone il reasoning complesso in sotto-domande atomiche e senza memoria, formando un processo di reasoning simile a Markov.
Contributi chiave
Definisce il reasoning atomico: scomporre le domande in sottoproblemi DAG e contrarli.
Offre compatibilità come plug-in per i metodi di test-time scaling esistenti.
Migliora l’efficienza riducendo la ridondanza del contesto e lo spreco computazionale.
Dimostra significativi guadagni di prestazioni su sei benchmark.
Per saperne di più: https://arxiv.org/abs/2502.12018
4. Ottimizzazione self-supervised dei prompt (SPO)
Abstract
Prompt di alta qualità sono cruciali per migliorare il reasoning degli LLM, ma la progettazione manuale dei prompt richiede competenza e iterazione. I metodi automatizzati esistenti si basano fortemente su riferimenti etichettati, limitando l’applicabilità nel mondo reale.
SPO introduce un framework self-supervised che scopre prompt efficaci sia per attività a risposta chiusa sia per attività a risposta aperta, senza riferimenti esterni.
Contributi chiave
Segnali self-supervised derivati esclusivamente dagli output degli LLM.
Utilizza gli LLM sia come valutatore sia come ottimizzatore.
Raggiunge prestazioni allo stato dell’arte con l’1–5% del costo dei metodi tradizionali.
Per saperne di più: https://arxiv.org/abs/2502.06855
5. Migliorare la fedeltà del contesto tramite Native Retrieval-Augmented Reasoning (CARE)
Abstract
Gli LLM spesso generano allucinazioni con risposte incoerenti rispetto al contesto fornito. Le soluzioni tradizionali richiedono o costosi dataset supervisionati oppure si basano su retrieval esterno che sfrutta poco il contesto fornito dall’utente.
CARE introduce un framework di native retrieval-augmented reasoning in cui gli LLM integrano dinamicamente le evidenze in-context direttamente nella catena di reasoning.
Contributi chiave
Introduce il retrieval in-context come parte del processo di reasoning.
Richiede una quantità minima di dati etichettati e utilizza curriculum learning per attività complesse.
Supera SFT, il RAG tradizionale e i metodi di retrieval esterno sui benchmark di QA.
Per saperne di più: https://openreview.net/forum?id=qTsU1QLOph
6. FACT: esame dell’efficacia della riscrittura iterativa del contesto per il retrieval multi-fatto
Abstract
I Large Language Models (LLM) sono efficaci nel recuperare singoli fatti da contesti lunghi, ma faticano quando devono recuperarne più di uno simultaneamente. Una limitazione chiave osservata è il fenomeno del “lost-in-the-middle”, in cui gli LLM perdono gradualmente traccia delle informazioni importanti durante la generazione, portando a output incompleti o imprecisi.
Per affrontare questo problema, gli autori propongono Find All Crucial Texts (FACT) — un metodo iterativo di riscrittura del contesto che affina progressivamente l’input, consentendo al modello di catturare i fatti critici passo dopo passo.
Contributi chiave
Identifica e analizza il fenomeno del “lost-in-the-middle” nel retrieval multi-fatto.
Introduce FACT, un approccio iterativo di retrieval e riscrittura che migliora in modo incrementale la copertura fattuale.
Dimostra significativi miglioramenti delle prestazioni nei benchmark di retrieval multi-fatto, sebbene con miglioramenti più contenuti nelle attività generali di QA.
Evidenzia la necessità di strategie più robuste per il retrieval su contesti lunghi.
Per saperne di più: https://arxiv.org/abs/2410.21012
7. SELA: agenti LLM potenziati dalla tree-search per il machine learning automatizzato
Abstract
Gli agenti AutoML basati su LLM spesso generano pipeline poco diversificate e subottimali. SELA sfrutta Monte Carlo Tree Search (MCTS) per ottimizzare il processo decisionale degli agenti e l’esplorazione delle pipeline.
Contributi chiave
Applica metodi di tree-search per migliorare l’esplorazione AutoML.
Affina iterativamente le pipeline con feedback sperimentali.
Supera le baseline AutoML tradizionali e basate su agenti su 20 dataset.
Per saperne di più: https://arxiv.org/abs/2410.17238
8. AFlow: automatizzare la generazione di workflow agentici
Abstract
La costruzione di workflow agentici per gli LLM richiede molto lavoro e non è completamente automatizzata. AFlow riformula l’ottimizzazione dei workflow come un problema di ricerca su grafi di codice, utilizzando MCTS per affinare iterativamente i workflow con feedback di esecuzione.
Contributi chiave
Definisce l’ottimizzazione dei workflow come ricerca su grafi di codice.
Consente a modelli più piccoli di superare GPT-4o a una frazione del costo.
Ottiene un miglioramento del 5,7% rispetto alle baseline allo stato dell’arte.
Per saperne di più: https://arxiv.org/abs/2410.10762
9. Data Interpreter: un Agente LLM per la data science
Abstract
Gli approcci esistenti incontrano difficoltà con workflow completi di data science, dipendenze dinamiche tra attività e requisiti di competenze di dominio.
Data Interpreter introduce:
Modellazione gerarchica dei grafi: suddivide i problemi in sottoproblemi con nodi dinamici.
Generazione programmabile dei nodi: affina e valida iterativamente il codice per garantire robustezza.
Contributi chiave
Primo Agente LLM progettato per workflow completi di data science.
Ottiene un miglioramento del 25% nell’accuratezza su InfiAgent-DABench.
Incrementa significativamente le prestazioni nel machine learning, nelle attività aperte e nel dataset MATH.
Per saperne di più: https://arxiv.org/abs/2402.18679
10. MetaGPT: meta-programmazione per un framework collaborativo multi-agent
Abstract
I sistemi multi-agent basati su LLM spesso falliscono su compiti complessi a causa di allucinazioni a cascata. MetaGPT codifica le Standard Operating Procedures (SOP) in sequenze di prompt, semplificando i workflow e riducendo gli errori.
Contributi chiave
Introduce la meta-programmazione per la collaborazione multi-agent.
Integra workflow umani basati su SOP nei prompt degli agenti.
Consente un’assegnazione efficiente dei ruoli e la scomposizione dei compiti.
Dimostra stabilità e accuratezza superiori nei compiti collaborativi di ingegneria del software.
Per saperne di più: https://arxiv.org/abs/2308.00352