Pemantauan tingkah laku semasa latihan. Baru-baru ini, model Claude telah menjalani penilaian penjajaran secara langsung semasa latihan. Pasukan Anthropic dapat mengesan dan membetulkan strategi ejen yang salah, termasuk percubaan 'memeras ugut' oleh model terdahulu. Pendekatan ini membantu memastikan model bertindak selaras dengan matlamat jangka panjang .
Latihan pasca bukan sekadar 'pembelajaran keutamaan manusia'. Proses ini menggabungkan perlembagaan Claude, maklum balas manusia, maklum balas AI, dan pengelas keselamatan . Matlamatnya bukan sekadar menghafal 'senarai perkara yang dilarang', tetapi membina pemahaman tentang mengapa sesuatu tindakan itu wajar atau tidak.
Kesimpulannya, perasaan 'lain darjat' yang dirasai oleh pengguna mungkin berpunca daripada gabungan faktor: ① model asas yang lebih kukuh, ② latihan khusus untuk ejen jangka panjang, ③ konteks yang besar, ④ keupayaan penggunaan alatan dan pengesahan kendiri, dan ⑤ teknik penjajaran yang lebih baik. Namun, butiran teknikal seperti sama ada model ini menggunakan MoE, jumlah parameter, komposisi data, atau algoritma pembelajaran pengukuhan masih tidak didedahkan oleh Anthropic.