Sådan skalerer DeepSeek træning af AI-agenter med DSec

Når en AI-agent skal trænes til at løse opgaver, er det ikke nok at beregne modellens næste svar. Agenten kan også skulle kalde en funktion, køre en kommando eller arbejde videre i et kodemiljø. Hver handling kræver et sted at blive udført. DeepSeek Elastic Compute, DSec, er den platform, DeepSeek beskriver som grundlaget for disse sandkasser under forstærkningslæring og evaluering. 1

Ét system til forskellige opgaver

DSec stiller fire typer sandkasser til rådighed via en fælles Python-SDK: FnCall, containere, microVM'er og fulde virtuelle maskiner. FnCall er til lette funktionskald, mens containere kan bruges som mere generelle arbejdsmiljøer. MicroVM'er giver en grænse baseret på virtualisering, og fulde virtuelle maskiner er til opgaver, der kræver et helt VM-miljø. Platformen håndterer placering og livscyklus på tværs af værtsmaskinerne, så klienterne ikke behøver at behandle alle opgaver som samme type miljø. 13

Afgrænsningen har også et sikkerhedsformål. Agentgenereret kode og handlinger kan ikke uden videre betragtes som sikre; omtaler af rapporten beskriver blandt andet risiko for, at en agent forsøger at manipulere sit miljø eller resultatet af en opgave. De forskellige sandkasser giver forskellige former for isolation, men ingen enkelt mekanisme er en fuldstændig sikkerhedsgaranti. 1910

Miljøer, der ikke skal kopieres i ét stykke

DSec deler et miljø op i tre skrivebeskyttede EROFS-lag: et basisimage, et arbejdsområde og en værktøjspakke. Lagene versioneres hver for sig og samles med et skrivbart lag, når sandkassen starter. Ændres værktøjspakken, behøver DeepSeek dermed ikke at bygge en komplet ny udgave af hver kombination af værktøjer, basisimage og arbejdsområde. 111

Lagene ligger på 3FS, DeepSeeks distribuerede filsystem. DSec kan gøre filmetadata klar lokalt og først hente selve dataene, når sandkassen læser dem. Det mindsker behovet for at kopiere hele miljøer ved opstart, især når mange sandkasser oprettes samtidig. Rapporten beskriver desuden styring af hukommelse og CPU-tid for at kunne køre mange miljøer tæt sammen. 111

Hvad tallene dækker over

DeepSeek beskriver én produktionsenhed med omkring 160 CPU-noder, 30.000 kerner og 250 TB RAM samt imagelagring i petabyteklassen. For denne enhed rapporterer selskabet cirka 3 millioner sandkasseinstanser om dagen, over 380.000 samtidige sandkasser på spidsbelastningstidspunktet og en oprettelseshastighed på over 5.000 sandkasser i sekundet. Det er tre forskellige mål: Sekundtallet betyder ikke, at den hastighed holdes hele dagen, og tallene for én enhed er ikke totaler for alle DSec-installationer. 1312

Omtaler af rapporten beskriver også en enkelt træningsopgave, der efterspurgte eller startede 32.000 sandkasser på én gang. Det viser, hvor brat efterspørgslen fra én opgave kan stige, men dokumenterer ikke en fast øvre grænse pr. opgave. 811

DeepSeek oplyser, at DSec har håndteret sandkassearbejdet til forstærkningslæring og evaluering fra V3.2 til V4.1. I beskrivelsen af V4.1 kører længerevarende agentforløb på DSec adskilt fra den GPU-pulje, hvor træningsprocesser kan blive afbrudt. Hvis en træningsproces afbrydes, kan agentforløbet sættes på pause og flyttes med sin tilstand bevaret, så det senere kan fortsætte i stedet for at starte forfra. Det er en vigtig del af DSecs rolle: ikke blot at starte sandkasser hurtigt, men at holde agenternes arbejde i gang på tværs af træningens afbrydelser. 13