Sumber Daya Akademik

Atoms berkolaborasi dengan universitas dan institut riset terkemuka di seluruh dunia, menghasilkan riset mutakhir tentang kerangka kerja multi-agen, penalaran LLM, augmentasi konteks, dan alur kerja otomatis.

Karya-karya ini tidak hanya mendorong kemajuan teoretis, tetapi juga memperkuat kapabilitas produk Atoms di bidang seperti kolaborasi multi-agen, interpretasi data, penalaran yang ditingkatkan RAG, dan optimasi prompt.

1. You Don’t Know Until You Click: Automated GUI Testing for Production-Ready Software Evaluation

Abstrak

Seiring model bahasa besar (LLM) dan agen kode berkembang dari menghasilkan potongan kode terpisah menjadi membangun aplikasi lengkap dengan GUI, logika interaktif, dan perilaku dinamis, tolok ukur saat ini gagal mengevaluasi perangkat lunak siap produksi secara efektif. Pemeriksaan statis atau skrip lulus/gagal biner mengabaikan kegunaan di dunia nyata, yang hanya muncul melalui interaksi.

Untuk mengatasi hal ini, para penulis memperkenalkan RealDevWorld, sebuah kerangka evaluasi otomatis end-to-end untuk menguji kemampuan LLM dalam menghasilkan repositori siap produksi dari nol.

Kontribusi Utama

• Kerangka evaluasi end-to-end berbasis GUI pertama untuk aplikasi siap produksi.
• Memperkenalkan RealDevBench, sebuah tolok ukur dengan 194 tugas rekayasa multimodal yang beragam.
• Mengusulkan AppEvalPilot, sistem agent-as-a-judge yang mensimulasikan interaksi pengguna berbasis GUI untuk penilaian holistik.
• Mencapai keselarasan tinggi dengan manusia (akurasi 0.92, korelasi 0.85) sambil mengurangi ketergantungan pada tinjauan manual.

Baca selengkapnya: https://arxiv.org/abs/2508.14104

2. Advances and Challenges in Foundation Agents: From Brain-Inspired Intelligence to Evolutionary, Collaborative, and Safe Systems

Abstrak

Kemunculan LLM telah memicu pergeseran transformatif dalam AI, memungkinkan agen cerdas yang mampu bernalar, memahami, dan bertindak lintas domain. Merancang, mengevaluasi, dan terus meningkatkan agen semacam itu menghadirkan tantangan yang berlapis.

Survei ini memberikan gambaran menyeluruh tentang Foundation Agents, yang dibingkai melalui arsitektur modular yang terinspirasi otak dan mengintegrasikan wawasan dari ilmu kognitif, neurosains, dan komputasi.

Kontribusi Utama

• Mengusulkan kerangka modular yang memetakan komponen agen ke fungsi otak (memori, pemodelan, tujuan, emosi).
• Mengeksplorasi peningkatan diri dan adaptasi berkelanjutan melalui mekanisme evolusioner.
• Menelaah sistem multi-agen dan kecerdasan kolektif yang muncul.
• Membahas tantangan keselamatan, ketahanan, dan alignment dalam penerapan di dunia nyata.

Baca selengkapnya: https://arxiv.org/abs/2504.01990

3. Atom of Thoughts for Markov LLM Test-Time Scaling

Abstrak

LLM mendapat manfaat dari penskalaan selama pelatihan, dan test-time scaling semakin meningkatkan penalaran. Namun, konteks historis yang terakumulasi dapat membuang komputasi dan menghambat penalaran.

Makalah ini memperkenalkan Atom of Thoughts (AoT), yang menguraikan penalaran kompleks menjadi** subpertanyaan atomik tanpa memori**, membentuk proses penalaran mirip Markov.

Kontribusi Utama

• Mendefinisikan penalaran atomik: menguraikan pertanyaan menjadi submasalah DAG dan mengontraksikannya.
• Menyediakan kompatibilitas sebagai plug-in untuk metode test-time scaling yang ada.
• Meningkatkan efisiensi dengan mengurangi redundansi konteks dan pemborosan komputasi.
• Menunjukkan peningkatan performa yang signifikan di enam tolok ukur.

Baca selengkapnya: https://arxiv.org/abs/2502.12018

4. Self-Supervised Prompt Optimization (SPO)

Abstrak

Prompt berkualitas tinggi sangat penting untuk meningkatkan penalaran LLM, tetapi perancangan prompt manual memerlukan keahlian dan iterasi. Metode otomatis yang ada sangat bergantung pada referensi berlabel, sehingga membatasi penerapan di dunia nyata.

SPO memperkenalkan kerangka self-supervised yang menemukan prompt efektif untuk tugas tertutup maupun terbuka tanpa referensi eksternal.

Kontribusi Utama

• Sinyal self-supervised yang berasal murni dari output LLM.
• Menggunakan LLM sebagai evaluator sekaligus pengoptimal.
• Mencapai performa state-of-the-art dengan 1–5% dari biaya metode tradisional.

Baca selengkapnya: https://arxiv.org/abs/2502.06855

5. Improving Context Fidelity via Native Retrieval-Augmented Reasoning (CARE)

Abstrak

LLM sering berhalusinasi dengan jawaban yang tidak konsisten dengan konteks yang diberikan. Solusi tradisional memerlukan dataset tersupervisi yang mahal atau bergantung pada retrieval eksternal yang kurang memanfaatkan konteks yang diberikan pengguna.

CARE memperkenalkan kerangka native retrieval-augmented reasoning di mana LLM secara dinamis mengintegrasikan bukti dalam konteks langsung ke dalam rantai penalaran.

Kontribusi Utama

• Memperkenalkan retrieval dalam konteks sebagai bagian dari proses penalaran.
• Memerlukan data berlabel minimal dan menggunakan curriculum learning untuk tugas kompleks.
• Mengungguli SFT, RAG tradisional, dan metode retrieval eksternal pada tolok ukur QA.

Baca selengkapnya: https://openreview.net/forum?id=qTsU1QLOph

6. FACT: Examining the Effectiveness of Iterative Context Rewriting for Multi-fact Retrieval

Abstrak

Large Language Models (LLMs) kuat dalam mengambil satu fakta dari konteks panjang, tetapi kesulitan ketika beberapa fakta harus diambil secara bersamaan. Keterbatasan utama yang diamati adalah fenomena “lost-in-the-middle”, di mana LLM secara bertahap kehilangan jejak informasi penting selama generasi, yang menyebabkan output tidak lengkap atau tidak akurat.

Untuk mengatasi hal ini, para penulis mengusulkan Find All Crucial Texts (FACT) — sebuah metode penulisan ulang konteks iteratif yang secara progresif menyempurnakan input, sehingga model dapat menangkap fakta-fakta penting langkah demi langkah.

Kontribusi Utama

• Mengidentifikasi dan menganalisis fenomena “lost-in-the-middle” dalam retrieval multi-fakta.
• Memperkenalkan FACT, pendekatan retrieval dan penulisan ulang iteratif yang secara bertahap meningkatkan cakupan faktual.
• Menunjukkan peningkatan performa yang signifikan pada tolok ukur retrieval multi-fakta, meskipun dengan peningkatan yang lebih kecil pada tugas QA umum.
• Menyoroti perlunya strategi yang lebih tangguh dalam retrieval konteks panjang.

Baca selengkapnya: https://arxiv.org/abs/2410.21012

7. SELA: Tree-Search Enhanced LLM Agents for Automated Machine Learning

Abstrak

Agen AutoML berbasis LLM sering menghasilkan pipeline dengan keragaman rendah dan suboptimal. SELA memanfaatkan Monte Carlo Tree Search (MCTS) untuk mengoptimalkan pengambilan keputusan agen dan eksplorasi pipeline.

Kontribusi Utama

• Menerapkan metode tree-search untuk meningkatkan eksplorasi AutoML.
• Menyempurnakan pipeline secara iteratif dengan umpan balik eksperimental.
• Mengungguli baseline AutoML tradisional dan berbasis agen pada 20 dataset.

Baca selengkapnya: https://arxiv.org/abs/2410.17238

8. AFlow: Automating Agentic Workflow Generation

Abstrak

Membangun alur kerja agentic untuk LLM memakan banyak tenaga dan belum sepenuhnya otomatis. AFlow membingkai ulang optimasi alur kerja sebagai masalah pencarian pada graf kode, menggunakan MCTS untuk menyempurnakan alur kerja secara iteratif dengan umpan balik eksekusi.

Kontribusi Utama

• Mendefinisikan optimasi alur kerja sebagai pencarian graf kode.
• Memungkinkan model yang lebih kecil mengungguli GPT-4o dengan sebagian kecil dari biayanya.
• Mencapai peningkatan 5.7% dibanding baseline state-of-the-art.

Baca selengkapnya: https://arxiv.org/abs/2410.10762

9. Data Interpreter: An LLM Agent For Data Science

Abstrak

Pendekatan yang ada kesulitan menangani alur kerja data science end-to-end, dependensi tugas yang dinamis, dan kebutuhan akan keahlian domain.

Data Interpreter memperkenalkan:

• Pemodelan Graf Hierarkis: memecah masalah menjadi submasalah dengan node dinamis.
• Pembuatan Node yang Dapat Diprogram: menyempurnakan dan memvalidasi kode secara iteratif untuk ketahanan.

Kontribusi Utama

• Agen LLM pertama yang dirancang khusus untuk alur kerja data science penuh.
• Mencapai peningkatan akurasi 25% pada InfiAgent-DABench.
• Meningkatkan performa machine learning, tugas terbuka, dan dataset MATH secara signifikan.

Baca selengkapnya: https://arxiv.org/abs/2402.18679

10. MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework

Abstrak

Sistem multi-agen berbasis LLM sering gagal pada tugas kompleks karena Halusinasi yang berantai. MetaGPT mengodekan Standard Operating Procedures (SOPs) ke dalam urutan prompt, menyederhanakan alur kerja dan mengurangi kesalahan.

Kontribusi Utama

• Memperkenalkan meta-programming untuk kolaborasi multi-agen.
• Menggabungkan alur kerja manusia berbasis SOP ke dalam prompt agen.
• Memungkinkan penetapan peran dan dekomposisi tugas yang efisien.
• Menunjukkan stabilitas dan akurasi yang lebih unggul dalam tugas rekayasa perangkat lunak kolaboratif.

Baca selengkapnya: https://arxiv.org/abs/2308.00352