Akses Sumber Daya Akademik
Makalah riset dan sumber daya akademik di balik kapabilitas multi-agent, penalaran, dan alur kerja Atoms.
Atoms berkolaborasi dengan universitas dan lembaga riset terkemuka di seluruh dunia, menghasilkan riset mutakhir tentang framework multi-agent, penalaran LLM, augmentasi konteks, dan alur kerja otomatis.
Karya-karya ini tidak hanya mendorong kemajuan teoretis, tetapi juga memperkuat kapabilitas produk Atoms di bidang seperti kolaborasi multi-agent, interpretasi data, penalaran yang ditingkatkan RAG, dan optimasi prompt.
1. Anda Tidak Tahu Sampai Anda Mengklik: Pengujian GUI Otomatis untuk Evaluasi Software Siap Produksi
Abstrak
Seiring model bahasa besar (LLM) dan agen kode berkembang dari menghasilkan cuplikan terpisah menjadi membangun aplikasi penuh dengan GUI, logika interaktif, dan perilaku dinamis, benchmark saat ini gagal mengevaluasi software siap produksi secara efektif. Pemeriksaan statis atau skrip lulus/gagal biner mengabaikan kegunaan di dunia nyata, yang hanya muncul melalui interaksi.
Untuk mengatasi hal ini, para penulis memperkenalkan RealDevWorld, sebuah framework evaluasi otomatis end-to-end untuk menguji kemampuan LLM dalam menghasilkan repositori siap produksi dari nol.
Kontribusi Utama
Framework evaluasi end-to-end berbasis GUI pertama untuk aplikasi siap produksi.
Memperkenalkan RealDevBench, sebuah benchmark dengan 194 tugas rekayasa multimodal yang beragam.
Mengusulkan AppEvalPilot, sistem agent-as-a-judge yang mensimulasikan interaksi pengguna berbasis GUI untuk penilaian holistik.
Mencapai keselarasan tinggi dengan manusia (akurasi 0.92, korelasi 0.85) sambil mengurangi ketergantungan pada peninjauan manual.
Baca selengkapnya: https://arxiv.org/abs/2508.14104
2. Kemajuan dan Tantangan dalam Foundation Agents: Dari Kecerdasan Terinspirasi Otak hingga Sistem Evolusioner, Kolaboratif, dan Aman
Abstrak
Kehadiran LLM telah mengatalisasi pergeseran transformatif dalam AI, memungkinkan agen cerdas yang mampu bernalar, memahami, dan bertindak lintas domain. Merancang, mengevaluasi, dan terus meningkatkan agen semacam itu menghadirkan tantangan yang berlapis.
Survei ini memberikan gambaran menyeluruh tentang Foundation Agents, yang dibingkai melalui arsitektur modular terinspirasi otak yang mengintegrasikan wawasan dari ilmu kognitif, neurosains, dan komputasi.
Kontribusi Utama
Mengusulkan framework modular yang memetakan komponen agen ke fungsi otak (memori, pemodelan, tujuan, emosi).
Mengeksplorasi peningkatan diri dan adaptasi berkelanjutan melalui mekanisme evolusioner.
Mengkaji sistem multi-agent dan kecerdasan kolektif yang muncul.
Membahas tantangan keselamatan, ketahanan, dan alignment dalam penerapan dunia nyata.
Baca selengkapnya: https://arxiv.org/abs/2504.01990
3. Atom of Thoughts untuk Markov LLM Test-Time Scaling
Abstrak
LLM mendapat manfaat dari scaling selama pelatihan, dan test-time scaling semakin meningkatkan penalaran. Namun, akumulasi konteks historis dapat memboroskan komputasi dan menghambat penalaran.
Makalah ini memperkenalkan Atom of Thoughts (AoT), yang menguraikan penalaran kompleks menjadi subpertanyaan atomik tanpa memori, membentuk proses penalaran mirip Markov.
Kontribusi Utama
Mendefinisikan penalaran atomik: menguraikan pertanyaan menjadi submasalah DAG dan mengontraksikannya.
Menyediakan kompatibilitas sebagai plug-in untuk metode test-time scaling yang sudah ada.
Meningkatkan efisiensi dengan mengurangi redundansi konteks dan pemborosan komputasi.
Menunjukkan peningkatan performa yang signifikan di enam benchmark.
Baca selengkapnya: https://arxiv.org/abs/2502.12018
4. Self-Supervised Prompt Optimization (SPO)
Abstrak
Prompt berkualitas tinggi sangat penting untuk meningkatkan penalaran LLM, tetapi perancangan prompt manual memerlukan keahlian dan iterasi. Metode otomatis yang ada sangat bergantung pada referensi berlabel, sehingga membatasi penerapan di dunia nyata.
SPO memperkenalkan framework self-supervised yang menemukan prompt efektif untuk tugas terbuka maupun tertutup tanpa referensi eksternal.
Kontribusi Utama
Sinyal self-supervised yang diturunkan murni dari output LLM.
Menggunakan LLM sebagai evaluator sekaligus pengoptimal.
Mencapai performa state-of-the-art dengan 1–5% dari biaya metode tradisional.
Baca selengkapnya: https://arxiv.org/abs/2502.06855
5. Meningkatkan Fidelitas Konteks melalui Native Retrieval-Augmented Reasoning (CARE)
Abstrak
LLM sering mengalami halusinasi dengan jawaban yang tidak konsisten dengan konteks yang diberikan. Solusi tradisional biasanya memerlukan dataset terawasi yang mahal atau bergantung pada retrieval eksternal yang kurang memanfaatkan konteks yang diberikan pengguna.
CARE memperkenalkan framework native retrieval-augmented reasoning di mana LLM secara dinamis mengintegrasikan bukti dalam konteks langsung ke dalam rantai penalaran.
Kontribusi Utama
Memperkenalkan retrieval dalam konteks sebagai bagian dari proses penalaran.
Memerlukan data berlabel minimal dan menggunakan curriculum learning untuk tugas kompleks.
Mengungguli SFT, RAG tradisional, dan metode retrieval eksternal pada benchmark QA.
Baca selengkapnya: https://openreview.net/forum?id=qTsU1QLOph
6. FACT: Mengkaji Efektivitas Penulisan Ulang Konteks Iteratif untuk Retrieval Multi-fakta
Abstrak
Large Language Models (LLM) kuat dalam mengambil satu fakta dari konteks panjang, tetapi kesulitan ketika beberapa fakta harus diambil secara bersamaan. Keterbatasan utama yang diamati adalah fenomena “lost-in-the-middle”, di mana LLM secara bertahap kehilangan jejak informasi penting selama generasi, sehingga menghasilkan output yang tidak lengkap atau tidak akurat.
Untuk mengatasi hal ini, para penulis mengusulkan Find All Crucial Texts (FACT) — sebuah metode penulisan ulang konteks iteratif yang secara progresif menyempurnakan input, memungkinkan model menangkap fakta penting langkah demi langkah.
Kontribusi Utama
Mengidentifikasi dan menganalisis fenomena “lost-in-the-middle” dalam retrieval multi-fakta.
Memperkenalkan FACT, pendekatan retrieval dan penulisan ulang iteratif yang secara bertahap meningkatkan cakupan faktual.
Menunjukkan peningkatan performa yang signifikan pada benchmark retrieval multi-fakta, meskipun dengan peningkatan yang lebih kecil pada tugas QA umum.
Menyoroti perlunya strategi yang lebih tangguh dalam retrieval konteks panjang.
Baca selengkapnya: https://arxiv.org/abs/2410.21012
7. SELA: Agen LLM yang Ditingkatkan Tree-Search untuk Automated Machine Learning
Abstrak
Agen AutoML berbasis LLM sering menghasilkan pipeline dengan keragaman rendah dan kurang optimal. SELA memanfaatkan Monte Carlo Tree Search (MCTS) untuk mengoptimalkan pengambilan keputusan agen dan eksplorasi pipeline.
Kontribusi Utama
Menerapkan metode tree-search untuk meningkatkan eksplorasi AutoML.
Secara iteratif menyempurnakan pipeline dengan umpan balik eksperimental.
Mengungguli baseline AutoML tradisional dan berbasis agen pada 20 dataset.
Baca selengkapnya: https://arxiv.org/abs/2410.17238
8. AFlow: Mengotomatiskan Pembuatan Alur Kerja Agentic
Abstrak
Membangun alur kerja agentic untuk LLM membutuhkan banyak tenaga dan belum sepenuhnya otomatis. AFlow membingkai ulang optimasi alur kerja sebagai masalah pencarian pada graf kode, menggunakan MCTS untuk secara iteratif menyempurnakan alur kerja dengan umpan balik eksekusi.
Kontribusi Utama
Mendefinisikan optimasi alur kerja sebagai pencarian graf kode.
Memungkinkan model yang lebih kecil mengungguli GPT-4o dengan sebagian kecil biaya.
Mencapai peningkatan 5.7% dibandingkan baseline state-of-the-art.
Baca selengkapnya: https://arxiv.org/abs/2410.10762
9. Data Interpreter: Agen LLM untuk Data Science
Abstrak
Pendekatan yang ada kesulitan menangani alur kerja data science end-to-end, dependensi tugas yang dinamis, dan kebutuhan akan keahlian domain.
Data Interpreter memperkenalkan:
Pemodelan Graf Hierarkis: memecah masalah menjadi submasalah dengan node dinamis.
Pembuatan Node yang Dapat Diprogram: secara iteratif menyempurnakan dan memvalidasi kode untuk ketangguhan.
Kontribusi Utama
Agen LLM pertama yang dirancang khusus untuk alur kerja data science penuh.
Mencapai peningkatan akurasi 25% pada InfiAgent-DABench.
Secara signifikan meningkatkan performa machine learning, tugas terbuka, dan dataset MATH.
Baca selengkapnya: https://arxiv.org/abs/2402.18679
10. MetaGPT: Meta Programming untuk Framework Kolaboratif Multi-Agent
Abstrak
Sistem multi-agent berbasis LLM sering gagal pada tugas kompleks karena halusinasi berantai. MetaGPT menyandikan Standard Operating Procedures (SOPs) ke dalam urutan prompt, merampingkan alur kerja dan mengurangi kesalahan.
Kontribusi Utama
Memperkenalkan meta-programming untuk kolaborasi multi-agent.
Menggabungkan alur kerja manusia berbasis SOP ke dalam prompt agen.
Memungkinkan penetapan peran dan dekomposisi tugas yang efisien.
Menunjukkan stabilitas dan akurasi yang unggul dalam tugas rekayasa software kolaboratif.
Baca selengkapnya: https://arxiv.org/abs/2308.00352