Академические Ресурсы

Atoms сотрудничает с ведущими университетами и исследовательскими институтами по всему миру, создавая передовые исследования в области мультиагентных фреймворков, рассуждения LLM, расширения контекста и автоматизированных рабочих процессов.

Эти работы не только продвигают теоретический прогресс, но и усиливают продуктовые возможности Atoms в таких областях, как мультиагентное взаимодействие, интерпретация данных, рассуждение с улучшением через RAG и оптимизация промптов.

1. Вы не узнаете, пока не нажмете: автоматизированное GUI-тестирование для оценки готового к продакшену ПО

Аннотация

По мере того как большие языковые модели (LLM) и кодовые агенты переходят от генерации отдельных фрагментов к созданию полноценных приложений с GUI, интерактивной логикой и динамическим поведением, существующие бенчмарки не позволяют эффективно оценивать готовое к продакшену ПО. Статические проверки или бинарные скрипты pass/fail упускают реальную пригодность к использованию, которая проявляется только во взаимодействии.

Чтобы решить эту проблему, авторы представляют RealDevWorld — сквозной автоматизированный фреймворк оценки для тестирования способности LLM создавать с нуля репозитории, готовые к продакшену.

Ключевые вклады

• Первый GUI-ориентированный сквозной фреймворк оценки для приложений, готовых к продакшену.
• Представлен RealDevBench — бенчмарк с 194 разнообразными мультимодальными инженерными задачами.
• Предложен AppEvalPilot — система agent-as-a-judge, моделирующая GUI-взаимодействия пользователей для целостной оценки.
• Достигнуто высокое соответствие человеческой оценке (точность 0.92, корреляция 0.85) при снижении зависимости от ручной проверки.

Подробнее: https://arxiv.org/abs/2508.14104

2. Достижения и вызовы в Foundation Agents: от интеллекта, вдохновленного мозгом, к эволюционным, совместным и безопасным системам

Аннотация

Появление LLM стало катализатором трансформационного сдвига в ИИ, сделав возможными интеллектуальных агентов, способных к рассуждению, восприятию и действию в разных областях. Проектирование, оценка и непрерывное улучшение таких агентов сопряжены с многогранными трудностями.

Этот обзор дает всестороннее представление о Foundation Agents, рассматриваемых через призму модульных архитектур, вдохновленных устройством мозга, которые объединяют идеи когнитивной науки, нейронауки и вычислений.

Ключевые вклады

• Предлагается модульный фреймворк, сопоставляющий компоненты агента с функциями мозга (память, моделирование, цели, эмоции).
• Исследуются самоулучшение и непрерывная адаптация через эволюционные механизмы.
• Рассматриваются мультиагентные системы и возникающий коллективный интеллект.
• Затрагиваются вопросы безопасности, устойчивости и alignment при развертывании в реальном мире.

Подробнее: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts для масштабирования LLM во время инференса по Маркову

Аннотация

LLM выигрывают от масштабирования во время обучения, а масштабирование во время инференса дополнительно улучшает рассуждение. Однако накопленный исторический контекст может впустую расходовать вычислительные ресурсы и мешать рассуждению.

В статье представлен Atom of Thoughts (AoT), который разбивает сложное рассуждение на** атомарные, не зависящие от памяти подвопросы**, формируя марковоподобный процесс рассуждения.

Ключевые вклады

• Определяется атомарное рассуждение: разбиение вопросов на подзадачи в DAG и их свертка.
• Обеспечивается совместимость в виде плагина для существующих методов масштабирования во время инференса.
• Повышается эффективность за счет сокращения избыточности контекста и вычислительных потерь.
• Демонстрируется значительный прирост производительности на шести бенчмарках.

Подробнее: https://arxiv.org/abs/2502.12018

4. Самоконтролируемая оптимизация промптов (SPO)

Аннотация

Высококачественные промпты критически важны для улучшения рассуждения LLM, однако ручное проектирование промптов требует экспертизы и итераций. Существующие автоматизированные методы сильно зависят от размеченных эталонов, что ограничивает применимость в реальных условиях.

SPO представляет самоконтролируемый фреймворк, который находит эффективные промпты как для задач с закрытым, так и с открытым ответом без внешних эталонов.

Ключевые вклады

• Самоконтролируемые сигналы выводятся исключительно из результатов LLM.
• LLM используются одновременно как оценщик и оптимизатор.
• Достигается производительность уровня state-of-the-art при 1–5% стоимости традиционных методов.

Подробнее: https://arxiv.org/abs/2502.06855

5. Повышение точности контекста с помощью Native Retrieval-Augmented Reasoning (CARE)

Аннотация

LLM часто галлюцинируют ответы, не соответствующие заданному контексту. Традиционные решения либо требуют дорогих размеченных датасетов, либо опираются на внешнее извлечение, которое недостаточно использует предоставленный пользователем контекст.

CARE представляет фреймворк native retrieval-augmented reasoning, в котором LLM динамически интегрируют доказательства из контекста непосредственно в цепочку рассуждений.

Ключевые вклады

• Вводится извлечение из контекста как часть процесса рассуждения.
• Требуется минимальный объем размеченных данных, а для сложных задач используется curriculum learning.
• Превосходит SFT, традиционный RAG и методы внешнего извлечения на QA-бенчмарках.

Подробнее: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: анализ эффективности итеративного переписывания контекста для извлечения нескольких фактов

Аннотация

Большие языковые модели (LLM) хорошо справляются с извлечением отдельных фактов из длинных контекстов, но испытывают трудности, когда нужно одновременно извлечь несколько фактов. Одним из ключевых ограничений является феномен “lost-in-the-middle”, при котором LLM постепенно теряют из виду важную информацию в процессе генерации, что приводит к неполным или неточным результатам.

Чтобы решить эту проблему, авторы предлагают Find All Crucial Texts (FACT) — метод итеративного переписывания контекста, который постепенно уточняет входные данные, позволяя модели шаг за шагом захватывать критически важные факты.

Ключевые вклады

• Выявляется и анализируется феномен “lost-in-the-middle” при извлечении нескольких фактов.
• Представлен FACT — итеративный подход к извлечению и переписыванию, который поэтапно улучшает полноту фактического охвата.
• Демонстрируется значительный прирост производительности на бенчмарках извлечения нескольких фактов, хотя на общих QA-задачах улучшения меньше.
• Подчеркивается необходимость более устойчивых стратегий для извлечения из длинного контекста.

Подробнее: https://arxiv.org/abs/2410.21012

7. SELA: LLM-агенты с усилением через поиск по дереву для автоматизированного машинного обучения

Аннотация

AutoML-агенты на основе LLM часто создают пайплайны с низким разнообразием и неоптимальным качеством. SELA использует Monte Carlo Tree Search (MCTS) для оптимизации принятия решений агентом и исследования пайплайнов.

Ключевые вклады

• Применяет методы поиска по дереву для улучшения исследования в AutoML.
• Итеративно улучшает пайплайны с учетом экспериментальной обратной связи.
• Превосходит традиционные и агентные AutoML-бейзлайны на 20 датасетах.

Подробнее: https://arxiv.org/abs/2410.17238

8. AFlow: автоматизация генерации агентных рабочих процессов

Аннотация

Построение агентных рабочих процессов для LLM требует больших трудозатрат и не является полностью автоматизированным. AFlow переосмысляет оптимизацию рабочих процессов как задачу поиска по графам кода, используя MCTS для итеративного улучшения рабочих процессов с учетом обратной связи от выполнения.

Ключевые вклады

• Определяет оптимизацию рабочих процессов как поиск по графу кода.
• Позволяет меньшим моделям превосходить GPT-4o при доле стоимости.
• Достигает улучшения на 5.7% по сравнению с state-of-the-art бейзлайнами.

Подробнее: https://arxiv.org/abs/2410.10762

9. Data Interpreter: LLM-агент для Data Science

Аннотация

Существующие подходы испытывают трудности со сквозными рабочими процессами Data Science, динамическими зависимостями задач и требованиями к предметной экспертизе.

Data Interpreter представляет:

• Иерархическое моделирование графа: разбивает проблемы на подзадачи с динамическими узлами.
• Программируемую генерацию узлов: итеративно улучшает и проверяет код для обеспечения устойчивости.

Ключевые вклады

• Первый LLM-агент, адаптированный для полноценных рабочих процессов Data Science.
• Достигает улучшения точности на 25% на InfiAgent-DABench.
• Значительно повышает результаты в машинном обучении, открытых задачах и на датасете MATH.

Подробнее: https://arxiv.org/abs/2402.18679

10. MetaGPT: метапрограммирование для мультиагентного фреймворка совместной работы

Аннотация

Мультиагентные системы на основе LLM часто не справляются со сложными задачами из-за каскадных галлюцинаций. MetaGPT кодирует Standard Operating Procedures (SOPs) в последовательности промптов, упрощая рабочие процессы и снижая количество ошибок.

Ключевые вклады

• Вводит метапрограммирование для мультиагентного взаимодействия.
• Интегрирует человеческие рабочие процессы на основе SOP в промпты агентов.
• Обеспечивает эффективное распределение ролей и декомпозицию задач.
• Демонстрирует превосходящую стабильность и точность в совместных задачах программной инженерии.

Подробнее: https://arxiv.org/abs/2308.00352