AnswersPublished16 sources
Роботи вчаться одне в одного: як працює колективне навчання CEL
Collective Experience Learning (CEL) дає роботам змогу вдосконалювати спільну модель на досвіді всього флоту, а не покладатися на нові експертні демонстрації для кожного оновлення. Алгоритм FERT використовує контекст невдалої спроби, щоб знайти схожі вдалі фрагменти й застосувати записані в них дії для навчання.
ОпублікувавВідредаговано за допомогою GPT-6 LunaЗображення створено за допомогою GPT Image 2
Research answer
Key takeaways
- Collective Experience Learning (CEL) дає роботам змогу вдосконалювати спільну модель на досвіді всього флоту, а не покладатися на нові експертні демонстрації для кожного оновлення.
- Алгоритм FERT використовує контекст невдалої спроби, щоб знайти схожі вдалі фрагменти й застосувати записані в них дії для навчання.
- У випробуваннях на п’яти завданнях дві роботи, яких не залучали до навчання, успішно виконали 585 із 600 спроб; результати поки що слід вважати даними, оприлюдненими командою.
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: What is Collective Experience Learning (CEL), proposed by Tsinghua University, Infinigence AI and AgiBot and described in an Infinigence AI–. Article summary: Collective Experience Learning (CEL) is a fleet-learning approach in which deployed robots share real-world execution experience to improve a common policy, rather than relying on fresh human demonstrations for every imp. Topic tags: general, academic, education, general web, documentation. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, waterm
Коли роботам доводиться вчитися самим
Навчання роботів часто спирається на людські демонстрації та виправлення помилок. Але що більше машин працює в реальних умовах, то важче забезпечити кожну з них постійною увагою операторів. Collective Experience Learning (CEL) пропонує інший підхід: роботи діляться досвідом виконання завдань, щоб разом покращувати спільну модель поведінки. Дослідники з Університету Цінхуа, Infinigence AI та AgiBot повідомляють про випробування методу на флоті чисельністю до 96 роботів. 1
9
Ідеться не про повну відмову від людей у навчанні роботів. Ідея в тому, щоб менше залежати від нової експертної підказки щоразу, коли модель потрібно вдосконалити: вдала спроба однієї машини може стати навчальним прикладом для інших. 1
Як невдача допомагає знайти вдалий приклад
Ключовий алгоритм CEL називається FERT — Failure-guided Experience Retrieval Fine-tuning, або мікроналаштування з пошуком досвіду за сигналом невдачі. Коли робот не справляється, система використовує контекст цієї спроби, щоб знайти у спільному сховищі схожі фрагменти успішних виконань. Записані вдалими роботами дії стають прикладами для оновлення моделі. 4
13
Це важливо для тривалих маніпуляційних завдань: наприкінці робот може отримати лише позначку «успіх» або «невдача», яка сама по собі не пояснює, на якому етапі виникла проблема. FERT допомагає зіставити складну ситуацію з прикладом успішного підходу. Водночас такий пошук не доводить, яка саме дія спричинила помилку.
Для навчання робіт, які можуть бути доступні не одночасно, команда також описує FATS — систему асинхронного навчання з підтримкою відмовостійкості. За наведеними даними, 30 збоїв торкнулися 22 роботів, а втрати робочого часу машин становили 1,3%. Ці показники описують заявлену роботу системи, але самі по собі не підтверджують усіх подробиць механізмів відновлення після збоїв чи передавання даних. 8
Що показали випробування
Команда оцінювала CEL на п’яти завданнях із маніпуляціями: складанні букетів, складанні одягу, заряджанні телефона, збиранні табурета та пакуванні телефона.
- Перевірка на роботах, яких не було під час навчання. Дві такі машини виконали 600 спроб: 585 успішно, 15 — із невдачею. Заявлений загальний рівень успіху — 97,5%. За повідомленням команди, на кожному з п’яти завдань роботи також перевершили середній результат шести операторів. Це порівняння стосується саме описаних завдань, а не доводить загальної переваги роботів над людьми.
- Пакування телефона. Заявлений рівень успіху зріс із 79,2% до 98,3%. В описі оцінювання йдеться про 120 тестів на двох роботах, які не брали участі в навчанні.
7
- Розмір флоту. За однакового реального часу навчання, як повідомляється, збільшення кількості роботів із 16 до 96 підняло рівень успіху з 86,7% до 98,3%. Це узгоджується з ідеєю, що більший флот може зібрати більше досвіду за той самий час, але не гарантує такого приросту в будь-яких умовах.
Перспективний підхід, але не остаточна відповідь
Суть CEL можна описати просто: невдалі спроби вказують, де потрібне вдосконалення, а успішні — дають приклади того, як можна діяти. FERT шукає такі приклади, тоді як FATS описується як інфраструктура для асинхронного навчання з урахуванням можливих збоїв. Результати на п’яти реальних завданнях, зокрема випробування на роботах поза навчальною групою, є обнадійливими ранніми даними. 13
Однак ці цифри оприлюднила дослідницька команда, і вони не є незалежним відтворенням результатів. Вони показують, як CEL спрацював у наведених умовах, але ще не встановлюють, наскільки добре підхід переноситиметься на інші типи роботів, завдання чи середовища.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Роботи вчаться одне в одного: як працює колективне навчання CEL"?
Collective Experience Learning (CEL) дає роботам змогу вдосконалювати спільну модель на досвіді всього флоту, а не покладатися на нові експертні демонстрації для кожного оновлення.
What are the key points to validate first?
Collective Experience Learning (CEL) дає роботам змогу вдосконалювати спільну модель на досвіді всього флоту, а не покладатися на нові експертні демонстрації для кожного оновлення. Алгоритм FERT використовує контекст невдалої спроби, щоб знайти схожі вдалі фрагменти й застосувати записані в них дії для навчання.
What should I do next in practice?
У випробуваннях на п’яти завданнях дві роботи, яких не залучали до навчання, успішно виконали 585 із 600 спроб; результати поки що слід вважати даними, оприлюдненими командою.