Risorse accademiche

Atoms collabora con le migliori università e istituti di ricerca in tutto il mondo, producendo ricerche all'avanguardia su framework multi-agente, ragionamento degli LLM, aumento del contesto e flussi di lavoro automatizzati.

Questi lavori non solo portano avanti il progresso teorico, ma rafforzano anche le capacità di prodotto di Atoms in aree come la collaborazione multi-agente, l'interpretazione dei dati, il ragionamento potenziato da RAG e l'ottimizzazione dei prompt.

1. Non lo sai finché non clicchi: test GUI automatizzati per la valutazione di software pronti per la produzione

Abstract

Man mano che i large language model (LLM) e gli agenti di codice evolvono dalla generazione di frammenti isolati alla creazione di applicazioni complete con GUI, logica interattiva e comportamenti dinamici, i benchmark attuali non riescono a valutare efficacemente software pronti per la produzione. I controlli statici o gli script binari di superamento/fallimento trascurano l'usabilità nel mondo reale, che emerge solo attraverso l'interazione.

Per affrontare questo problema, gli autori introducono RealDevWorld, un framework di valutazione automatizzato end-to-end per testare la capacità degli LLM di generare repository pronti per la produzione da zero.

Contributi chiave

• Primo framework di valutazione end-to-end basato su GUI per applicazioni pronte per la produzione.
• Introduzione di RealDevBench, un benchmark con 194 attività ingegneristiche multimodali diversificate.
• Proposta di AppEvalPilot, un sistema agent-as-a-judge che simula interazioni utente basate su GUI per una valutazione olistica.
• Ottenuto un elevato allineamento umano (accuratezza 0.92, correlazione 0.85) riducendo al contempo la dipendenza dalla revisione manuale.

Per saperne di più: https://arxiv.org/abs/2508.14104

2. Progressi e sfide nei Foundation Agentes: dall'intelligenza ispirata al cervello a sistemi evolutivi, collaborativi e sicuri

Abstract

L'avvento degli LLM ha catalizzato un cambiamento trasformativo nell'IA, rendendo possibili agenti intelligenti capaci di ragionamento, percezione e azione in diversi domini. Progettare, valutare e migliorare continuamente tali agenti presenta sfide complesse e sfaccettate.

Questa survey fornisce una panoramica completa dei Foundation Agentes, inquadrati attraverso architetture modulari ispirate al cervello che integrano intuizioni provenienti da scienze cognitive, neuroscienze e computazione.

Contributi chiave

• Propone un framework modulare che mappa i componenti degli agenti alle funzionalità cerebrali (memoria, modellazione, obiettivi, emozioni).
• Esplora l'auto-miglioramento e l'adattamento continuo attraverso meccanismi evolutivi.
• Esamina i sistemi multi-agente e l'intelligenza collettiva emergente.
• Affronta le sfide di sicurezza, robustezza e allineamento nel deployment nel mondo reale.

Per saperne di più: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts per il test-time scaling Markov degli LLM

Abstract

Gli LLM traggono beneficio dalla scalabilità durante l'addestramento, e il test-time scaling migliora ulteriormente il ragionamento. Tuttavia, il contesto storico accumulato può sprecare capacità di calcolo e ostacolare il ragionamento.

L'articolo introduce Atom of Thoughts (AoT), che scompone il ragionamento complesso in** sotto-domande atomiche e senza memoria**, formando un processo di ragionamento simile a Markov.

Contributi chiave

• Definisce il ragionamento atomico: scomporre le domande in sottoproblemi DAG e contrarli.
• Fornisce compatibilità come plug-in per i metodi di test-time scaling esistenti.
• Migliora l'efficienza riducendo la ridondanza del contesto e lo spreco computazionale.
• Dimostra significativi guadagni di prestazione su sei benchmark.

Per saperne di più: https://arxiv.org/abs/2502.12018

4. Self-Supervised Prompt Optimization (SPO)

Abstract

Prompt di alta qualità sono cruciali per migliorare il ragionamento degli LLM, ma la progettazione manuale dei prompt richiede competenza e iterazione. I metodi automatizzati esistenti dipendono fortemente da riferimenti etichettati, limitando l'applicabilità nel mondo reale.

SPO introduce un framework auto-supervisionato che scopre prompt efficaci sia per attività a risposta chiusa sia aperta senza riferimenti esterni.

Contributi chiave

• Segnali auto-supervisionati derivati esclusivamente dagli output degli LLM.
• Usa gli LLM sia come valutatore sia come ottimizzatore.
• Raggiunge prestazioni state-of-the-art con 1–5% del costo dei metodi tradizionali.

Per saperne di più: https://arxiv.org/abs/2502.06855

5. Migliorare la fedeltà del contesto tramite Native Retrieval-Augmented Reasoning (CARE)

Abstract

Gli LLM spesso allucinano risposte incoerenti con il contesto fornito. Le soluzioni tradizionali richiedono o costosi dataset supervisionati oppure si basano su retrieval esterno che sfrutta poco il contesto fornito dall'utente.

CARE introduce un framework di native retrieval-augmented reasoning in cui gli LLM integrano dinamicamente le evidenze nel contesto direttamente nella catena di ragionamento.

Contributi chiave

• Introduce il retrieval nel contesto come parte del processo di ragionamento.
• Richiede dati etichettati minimi e usa curriculum learning per attività complesse.
• Supera SFT, il RAG tradizionale e i metodi di retrieval esterno sui benchmark di QA.

Per saperne di più: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: esaminare l'efficacia della riscrittura iterativa del contesto per il recupero di più fatti

Abstract

I Large Language Models (LLM) sono efficaci nel recuperare singoli fatti da contesti lunghi, ma faticano quando devono recuperare simultaneamente più fatti. Un limite chiave osservato è il fenomeno del “lost-in-the-middle”, in cui gli LLM perdono gradualmente traccia di informazioni importanti durante la generazione, portando a output incompleti o inaccurati.

Per affrontare questo problema, gli autori propongono Find All Crucial Texts (FACT) — un metodo iterativo di riscrittura del contesto che affina progressivamente l'input, consentendo al modello di catturare i fatti critici passo dopo passo.

Contributi chiave

• Identifica e analizza il fenomeno del “lost-in-the-middle” nel recupero di più fatti.
• Introduce FACT, un approccio iterativo di recupero e riscrittura che migliora incrementalmente la copertura fattuale.
• Dimostra significativi miglioramenti prestazionali nei benchmark di recupero di più fatti, sebbene con miglioramenti minori nelle attività generali di QA.
• Evidenzia la necessità di strategie più robuste nel recupero su contesti lunghi.

Per saperne di più: https://arxiv.org/abs/2410.21012

7. SELA: agenti LLM potenziati dalla ricerca ad albero per il machine learning automatizzato

Abstract

Gli agenti AutoML basati su LLM spesso generano pipeline poco diversificate e subottimali. SELA sfrutta Monte Carlo Tree Search (MCTS) per ottimizzare il processo decisionale degli agenti e l'esplorazione delle pipeline.

Contributi chiave

• Applica metodi di ricerca ad albero per migliorare l'esplorazione AutoML.
• Affina iterativamente le pipeline con feedback sperimentale.
• Supera le baseline AutoML tradizionali e basate su agenti su 20 dataset.

Per saperne di più: https://arxiv.org/abs/2410.17238

8. AFlow: automatizzare la generazione di workflow agentici

Abstract

La costruzione di workflow agentici per gli LLM richiede molto lavoro e non è completamente automatizzata. AFlow riformula l'ottimizzazione dei workflow come un problema di ricerca su grafi di codice, usando MCTS per affinare iterativamente i workflow con feedback di esecuzione.

Contributi chiave

• Definisce l'ottimizzazione dei workflow come ricerca su grafi di codice.
• Consente a modelli più piccoli di superare GPT-4o a una frazione del costo.
• Ottiene un miglioramento del 5.7% rispetto alle baseline state-of-the-art.

Per saperne di più: https://arxiv.org/abs/2410.10762

9. Data Interpreter: un agente LLM per la data science

Abstract

Gli approcci esistenti faticano con workflow end-to-end di data science, dipendenze dinamiche tra attività e requisiti di competenza di dominio.

Data Interpreter introduce:

• Modellazione gerarchica a grafo: scompone i problemi in sottoproblemi con nodi dinamici.
• Generazione di nodi programmabile: affina e valida iterativamente il codice per garantire robustezza.

Contributi chiave

• Primo agente LLM progettato per workflow completi di data science.
• Ottiene un miglioramento dell'accuratezza del 25% su InfiAgente-DABench.
• Aumenta significativamente le prestazioni nel machine learning, nelle attività aperte e nel dataset MATH.

Per saperne di più: https://arxiv.org/abs/2402.18679

10. MetaGPT: Meta Programming per un framework collaborativo multi-agente

Abstract

I sistemi multi-agente basati su LLM spesso falliscono su attività complesse a causa di allucinazioni a cascata. MetaGPT codifica le Standard Operating Procedures (SOPs) in sequenze di prompt, semplificando i workflow e riducendo gli errori.

Contributi chiave

• Introduce il meta-programming per la collaborazione multi-agente.
• Incorpora workflow umani basati su SOP nei prompt degli agenti.
• Consente un'assegnazione efficiente dei ruoli e la scomposizione delle attività.
• Dimostra stabilità e accuratezza superiori nelle attività collaborative di ingegneria del software.

Per saperne di più: https://arxiv.org/abs/2308.00352