Zasoby akademickie

Atoms współpracuje z czołowymi uniwersytetami i instytutami badawczymi na całym świecie, tworząc przełomowe badania nad frameworkami wieloagentowymi, rozumowaniem LLM, augmentacją kontekstu i zautomatyzowanymi przepływami pracy.

Prace te nie tylko napędzają postęp teoretyczny, ale także wzmacniają możliwości produktowe Atoms w obszarach takich jak współpraca wielu agentów, interpretacja danych, rozumowanie wspomagane przez RAG oraz optymalizacja promptów.

1. You Don’t Know Until You Click: Automated GUI Testing for Production-Ready Software Evaluation

Abstrakt

W miarę jak duże modele językowe (LLM) i agenci kodujący ewoluują od generowania pojedynczych fragmentów kodu do budowania kompletnych aplikacji z GUI, logiką interaktywną i dynamicznymi zachowaniami, obecne benchmarki nie potrafią skutecznie oceniać oprogramowania gotowego do wdrożenia produkcyjnego. Statyczne kontrole lub binarne skrypty zaliczenia/niezaliczenia pomijają użyteczność w warunkach rzeczywistych, która ujawnia się dopiero poprzez interakcję.

Aby temu zaradzić, autorzy przedstawiają RealDevWorld, kompleksowy zautomatyzowany framework ewaluacyjny do testowania zdolności LLM do generowania od podstaw repozytoriów gotowych do wdrożenia produkcyjnego.

Kluczowe wkłady

• Pierwszy oparty na GUI kompleksowy framework ewaluacyjny dla aplikacji gotowych do wdrożenia produkcyjnego.
• Wprowadzono RealDevBench, benchmark obejmujący 194 zróżnicowane multimodalne zadania inżynieryjne.
• Zaproponowano AppEvalPilot, system agent-as-a-judge symulujący interakcje użytkownika oparte na GUI w celu całościowej oceny.
• Osiągnięto wysoką zgodność z oceną człowieka (dokładność 0.92, korelacja 0.85), jednocześnie ograniczając zależność od ręcznej weryfikacji.

Czytaj więcej: https://arxiv.org/abs/2508.14104

2. Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

Abstrakt

Pojawienie się LLM zapoczątkowało transformacyjną zmianę w AI, umożliwiając tworzenie inteligentnych agentów zdolnych do rozumowania, percepcji i działania w różnych dziedzinach. Projektowanie, ocenianie i ciągłe doskonalenie takich agentów wiąże się z wielowymiarowymi wyzwaniami.

Niniejszy przegląd przedstawia kompleksowy obraz Foundation Agents, ujmowany przez pryzmat inspirowanych mózgiem architektur modułowych, które integrują wnioski z nauk kognitywnych, neuronauki i obliczeń.

Kluczowe wkłady

• Proponuje modułowy framework mapujący komponenty agenta na funkcjonalności mózgu (pamięć, modelowanie, cele, emocje).
• Analizuje samodoskonalenie i ciągłą adaptację poprzez mechanizmy ewolucyjne.
• Bada systemy wieloagentowe i emergentną inteligencję zbiorową.
• Odnosi się do wyzwań związanych z bezpieczeństwem, odpornością i alignmentem we wdrożeniach w świecie rzeczywistym.

Czytaj więcej: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts for Markov LLM Test-Time Scaling

Abstrakt

LLM czerpią korzyści ze skalowania podczas treningu, a test-time scaling dodatkowo wzmacnia rozumowanie. Jednak nagromadzony kontekst historyczny może marnować zasoby obliczeniowe i utrudniać rozumowanie.

Artykuł przedstawia Atom of Thoughts (AoT), które rozkłada złożone rozumowanie na** atomowe, bezpamięciowe pod-pytania**, tworząc proces rozumowania podobny do Markowa.

Kluczowe wkłady

• Definiuje rozumowanie atomowe: rozkładanie pytań na podproblemy DAG i ich kontrakcję.
• Zapewnia kompatybilność jako wtyczka dla istniejących metod test-time scaling.
• Poprawia efektywność poprzez redukcję redundancji kontekstu i marnowania zasobów obliczeniowych.
• Wykazuje znaczące wzrosty wydajności w sześciu benchmarkach.

Czytaj więcej: https://arxiv.org/abs/2502.12018

4. Self-Supervised Prompt Optimization (SPO)

Abstrakt

Prompty wysokiej jakości mają kluczowe znaczenie dla poprawy rozumowania LLM, ale ręczne projektowanie promptów wymaga wiedzy eksperckiej i wielu iteracji. Istniejące metody automatyczne w dużym stopniu opierają się na oznaczonych referencjach, co ogranicza ich zastosowanie w rzeczywistych warunkach.

SPO wprowadza samonadzorowany framework, który odkrywa skuteczne prompty zarówno dla zadań zamkniętych, jak i otwartych, bez zewnętrznych referencji.

Kluczowe wkłady

• Sygnały samonadzorowane wyprowadzane wyłącznie z wyników LLM.
• Wykorzystuje LLM zarówno jako ewaluator, jak i optymalizator.
• Osiąga wyniki state-of-the-art przy 1–5% kosztu tradycyjnych metod.

Czytaj więcej: https://arxiv.org/abs/2502.06855

5. Improving Context Fidelity via Native Retrieval-Augmented Reasoning (CARE)

Abstrakt

LLM często halucynują odpowiedzi niespójne z podanym kontekstem. Tradycyjne rozwiązania albo wymagają kosztownych nadzorowanych zbiorów danych, albo opierają się na zewnętrznym wyszukiwaniu, które nie wykorzystuje w pełni kontekstu dostarczonego przez użytkownika.

CARE wprowadza framework natywnego rozumowania wspomaganego wyszukiwaniem, w którym LLM dynamicznie integrują dowody z kontekstu bezpośrednio z łańcuchem rozumowania.

Kluczowe wkłady

• Wprowadza wyszukiwanie w kontekście jako część procesu rozumowania.
• Wymaga minimalnej ilości oznaczonych danych i wykorzystuje curriculum learning do złożonych zadań.
• Przewyższa SFT, tradycyjny RAG i metody zewnętrznego wyszukiwania w benchmarkach QA.

Czytaj więcej: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval

Abstrakt

Duże modele językowe (LLM) dobrze radzą sobie z wydobywaniem pojedynczych faktów z długich kontekstów, ale mają trudności, gdy trzeba jednocześnie wydobyć wiele faktów. Kluczowym zaobserwowanym ograniczeniem jest „zjawisko zagubienia w środku”, w którym LLM stopniowo tracą ślad ważnych informacji podczas generowania, co prowadzi do niepełnych lub niedokładnych wyników.

Aby temu zaradzić, autorzy proponują Find All Crucial Texts (FACT) — iteracyjną metodę przepisywania kontekstu, która stopniowo udoskonala dane wejściowe, pozwalając modelowi uchwycić kluczowe fakty krok po kroku.

Kluczowe wkłady

• Identyfikuje i analizuje „zjawisko zagubienia w środku” w wyszukiwaniu wielu faktów.
• Wprowadza FACT, iteracyjne podejście do wyszukiwania i przepisywania, które stopniowo poprawia pokrycie faktów.
• Wykazuje znaczące wzrosty wydajności w benchmarkach wyszukiwania wielu faktów, choć z mniejszą poprawą w ogólnych zadaniach QA.
• Podkreśla potrzebę bardziej odpornych strategii w wyszukiwaniu w długim kontekście.

Czytaj więcej: https://arxiv.org/abs/2410.21012

7. SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning

Abstrakt

Agenci AutoML oparci na LLM często generują pipeline’y o niskiej różnorodności i suboptymalnej jakości. SELA wykorzystuje Monte Carlo Tree Search (MCTS) do optymalizacji podejmowania decyzji przez agenta i eksploracji pipeline’ów.

Kluczowe wkłady

• Stosuje metody przeszukiwania drzew do poprawy eksploracji AutoML.
• Iteracyjnie udoskonala pipeline’y z wykorzystaniem informacji zwrotnej z eksperymentów.
• Przewyższa tradycyjne i agentowe baseline’y AutoML na 20 zbiorach danych.

Czytaj więcej: https://arxiv.org/abs/2410.17238

8. AFlow: Automating Agentic Workflow Generation

Abstrakt

Tworzenie agentowych przepływów pracy dla LLM jest pracochłonne i nie jest w pełni zautomatyzowane. AFlow ujmuje optymalizację przepływu pracy jako problem przeszukiwania grafów kodu, wykorzystując MCTS do iteracyjnego udoskonalania przepływów pracy na podstawie informacji zwrotnej z wykonania.

Kluczowe wkłady

• Definiuje optymalizację przepływu pracy jako przeszukiwanie grafu kodu.
• Umożliwia mniejszym modelom przewyższanie GPT-4o przy ułamku kosztu.
• Osiąga poprawę o 5.7% względem baseline’ów state-of-the-art.

Czytaj więcej: https://arxiv.org/abs/2410.10762

9. Data Interpreter: An LLM Agent For Data Science

Abstrakt

Istniejące podejścia mają trudności z kompleksowymi przepływami pracy data science, dynamicznymi zależnościami między zadaniami i wymaganiami dotyczącymi wiedzy dziedzinowej.

Data Interpreter wprowadza:

• Hierarchical Graph Modeling: rozbija problemy na podproblemy z dynamicznymi węzłami.
• Programmable Node Generation: iteracyjnie udoskonala i waliduje kod pod kątem odporności.

Kluczowe wkłady

• Pierwszy agent LLM dostosowany do pełnych przepływów pracy data science.
• Osiąga poprawę dokładności o 25% na InfiAgent-DABench.
• Znacząco zwiększa wydajność w uczeniu maszynowym, zadaniach otwartych i zbiorze danych MATH.

Czytaj więcej: https://arxiv.org/abs/2402.18679

10. MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework

Abstrakt

Systemy wieloagentowe oparte na LLM często zawodzą przy złożonych zadaniach z powodu kaskadowych halucynacji. MetaGPT koduje Standard Operating Procedures (SOPs) w sekwencjach promptów, usprawniając przepływy pracy i redukując błędy.

Kluczowe wkłady

• Wprowadza meta-programowanie do współpracy wielu agentów.
• Włącza oparte na SOP ludzkie przepływy pracy do promptów agentów.
• Umożliwia efektywne przypisywanie ról i dekompozycję zadań.
• Wykazuje wyższą stabilność i dokładność w zadaniach zespołowej inżynierii oprogramowania.

Czytaj więcej: https://arxiv.org/abs/2308.00352