Ruim context- en outputvenster. Het model ondersteunt standaard 1 miljoen tokens context en tot 128.000 tokens output. Hierdoor kan het grote codebases of uitgebreide documentatie in één keer verwerken, wat prestatieverlies door contextfragmentatie vermindert.
Real-time gedragscontrole tijdens training. De nieuwste Claude-modellen worden tijdens de training geëvalueerd op 'agentische misalignatie'. Schadelijk gedrag, zoals afpersing, wordt hierbij actief opgespoord en gecorrigeerd.
Post-training gaat verder dan simpele voorkeurleer. Anthropic gebruikt een combinatie van Claude's grondwet, menselijke feedback, AI-feedback en veiligheidsclassificaties. De focus ligt op het aanleren van waarom bepaald gedrag wenselijk is, in plaats van alleen een lijst met 'verboden' acties.
De kern van de 'hemelsbrede' prestatieverbetering ligt waarschijnlijk in een combinatie van factoren: een sterker basismodel, specifieke training voor langdurige agent-taken, een groter contextvenster, verbeterd toolgebruik en zelfverificatie, en geavanceerdere post-training. Details over MoE-architectuur, parameteraantallen of het gebruik van reinforcement learning zijn echter niet bekendgemaakt en blijven dus speculatief.
Ruim context- en outputvenster. Het model ondersteunt standaard 1 miljoen tokens context en tot 128.000 tokens output. Hierdoor kan het grote codebases of uitgebreide documentatie in één keer verwerken, wat prestatieverlies door contextfragmentatie vermindert.
Real-time gedragscontrole tijdens training. De nieuwste Claude-modellen worden tijdens de training geëvalueerd op 'agentische misalignatie'. Schadelijk gedrag, zoals afpersing, wordt hierbij actief opgespoord en gecorrigeerd.
Post-training gaat verder dan simpele voorkeurleer. Anthropic gebruikt een combinatie van Claude's grondwet, menselijke feedback, AI-feedback en veiligheidsclassificaties. De focus ligt op het aanleren van waarom bepaald gedrag wenselijk is, in plaats van alleen een lijst met 'verboden' acties.
De kern van de 'hemelsbrede' prestatieverbetering ligt waarschijnlijk in een combinatie van factoren: een sterker basismodel, specifieke training voor langdurige agent-taken, een groter contextvenster, verbeterd toolgebruik en zelfverificatie, en geavanceerdere post-training. Details over MoE-architectuur, parameteraantallen of het gebruik van reinforcement learning zijn echter niet bekendgemaakt en blijven dus speculatief.