AnswersPublished14 sources
Houd de AI-gateway uit handen van onbetrouwbare servers
Laat de gateway en hoofdsleutels op een vertrouwde VPS staan; geef een niet vertrouwde ontwikkelserver alleen beperkte, intrekbare toegang. Laat een mini app communiceren met de bestaande backend, niet rechtstreeks met een algemene AI gateway.
Gepubliceerd doorAfbeeldingen gegenereerd met GPT Image 2
Research answer
Key takeaways
- Laat de gateway en hoofdsleutels op een vertrouwde VPS staan; geef een niet vertrouwde ontwikkelserver alleen beperkte, intrekbare toegang.
- Laat een mini app communiceren met de bestaande backend, niet rechtstreeks met een algemene AI gateway.
- Herbruik voor verbindingen tussen vertrouwde servers eerst de bestaande, permanente SSH tunnel; meet de latency voordat je iets vervangt.
- Zet authenticatie, limieten en taakbudgetten op orde voordat je een openbare proef openstelt.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/X2Iv9UzutJWrB6MyNYnoFEwyNX93/images/B46231A279305D82E030/F351DDBF81DB11332C64.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"在你确认的边界下，推荐统一采用“网关留在可信 VPS，现有可信业务后端负责对外接入”的架构：不可信开发环境只获得受限调用权限，小程序只访问业务接口。无需先建设 Nginx、负载均衡或复杂防火墙体系，但不能承诺绝对零时延损失。\n\n 先指出当前代码的安全缺口\n\n 当前启动入口默认监听所有网卡，而不是仅本机。依. Topic tags: general web, code, api, security, data. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
De veiligste eerste stap is niet nóg een proxy of infrastructuurlaag toevoegen. Houd de AI-gateway op een vertrouwde VPS en laat de bestaande vertrouwde backend de toegang regelen. Een ontwikkelserver die je niet volledig vertrouwt, krijgt alleen beperkte rechten; een mini-app krijgt uitsluitend toegang tot de functies die gebruikers nodig hebben.
Dat beperkt de blootstelling van sleutels en maakt het mogelijk gebruik te begrenzen. Een extra netwerkstap kan wel latency toevoegen: reken dus niet op een gegarandeerd verlies van nul milliseconden.
Eerst: de huidige beveiligingsgaten
Een paar eigenschappen van de huidige code maken het onverstandig om de gateway rechtstreeks open te zetten:
- De standaardinstelling laat de applicatie op alle netwerkinterfaces luisteren, niet alleen lokaal. Zie
main.go. Bind de gateway op de vertrouwde VPS expliciet aan het lokale loopback-adres. - De hoofdroutes controleren momenteel geen authenticatie voor inkomende verzoeken en bieden onder meer modeloverzichten, statistieken en twee chatroutes aan. Zie
internal/api/chat.go. Een client die zelf een sleutel invult, is daarmee nog niet beveiligd. - Er is oudere middleware voor authenticatie, maar die is bedoeld voor Gin. De huidige startketen gebruikt standaard HTTP-routes, en de bekeken hoofdroutes roepen die middleware niet aan. Zie
middlewares/auth.goenmain.go. Alleen een oude authenticatievariabele instellen bewijst dus niet dat de huidige ingang beveiligd is. - De bestaande configuratie voor toegangsbeheer is expliciet bedoeld voor lokale tests en schrijft voor dat het maximum per client op nul staat. Dat is geen kant-en-klare productiebeperking voor meerdere gebruikers. Zie
internal/chatadmission/config.goeninternal/chatadmission/config.go.
Ontwikkelserver: wel op afstand gebruiken, niet daar uitrollen
De aanbevolen route is: niet-vertrouwde ontwikkelserver → HTTPS-ingang met beperkte rechten op de vertrouwde backend → privénetwerkverbinding → gateway op de vertrouwde VPS.
Laat broncode, bouwproces, gateway en upstream-sleutels in de vertrouwde omgeving. De ontwikkelserver krijgt alleen een endpoint en een aparte sleutel voor ontwikkeling. Die sleutel moet intrekbaar en kort geldig zijn, en toegang geven tot een beperkte modellenlijst en begrensde verzoekgrootte, gelijktijdigheid en totale besteding.
De vertrouwde backend moet de sleutel controleren en het budget bijhouden. Vertrouw daarvoor niet op configuratie of controles die alleen op de ontwikkelserver draaien. Geef de ingang alleen de benodigde routes en methoden; bied er geen statistieken, beheerfuncties, accounts of algemene doorstuurmogelijkheid aan.
Een belangrijke grens: als de beheerder van de ontwikkelserver niet te vertrouwen is, moet je ervan uitgaan dat die beheerder sleutels, verzoeken en antwoorden kan inzien of wijzigen. Een tijdelijke sleutel voorkomt dat niet; die beperkt hooguit de schade na misbruik. Een container, binary of versluierde code biedt geen geheimhouding tegenover de beheerder van de host.
Het doel is daarom niet om een hoofdsleutel ongrijpbaar te maken op een onbetrouwbare machine. Het doel is dat die hoofdsleutel daar nooit terechtkomt en dat ontwikkelrechten direct ingetrokken kunnen worden en een begrensde schade veroorzaken. Echt gevoelige ontwikkelgegevens horen in de vertrouwde omgeving te blijven.
Laat de ontwikkelserver niet via een SSH-tunnel rechtstreeks op de huidige gateway zonder authenticatie aansluiten. Als de identiteit voor die tunnel wordt gestolen, kan de beperking worden omzeild. Gebruik een tunnel alleen naar de ingang met beperkte rechten, niet naar de oorspronkelijke gateway of andere privénetwerkdiensten.
Mini-app: bied een functie aan, geen algemene gateway
Voor een openbare proef is de aanbevolen route: WeChat-mini-app → vertrouwde backend voor login, quota en agenttaken → privénetwerkverbinding → gateway → modelaanbieder.
De mini-app vraagt alleen de gegevens op die nodig zijn voor de functie, bijvoorbeeld een functieomschrijving, functie-eisen en relevante werkervaring. Zet de hoofdsleutel niet in de app en laat gebruikers niet zelf willekeurige modellen, systeemprompts of tools kiezen.
Voeg op de backend een specifieke functie toe, bijvoorbeeld ‘persoonlijke pluspunten verbeteren’. Daar kan de server vaste modellen, prompttemplates, toegestane zoekmogelijkheden en uitvoerformaten instellen. Geef de app dus niet simpelweg een onbeperkte chatproxy.
Gebruik de identiteit uit de door de backend geverifieerde loginstatus; vertrouw niet op een gebruikers-ID die de app zelf in het verzoek meestuurt. Koppel taken, context en quota aan die geverifieerde gebruiker, zodat gesprekken niet door elkaar lopen. In de officiële mini-app-login haalt de client een tijdelijk loginbewijs op. De server wisselt dat om voor een gebruikersidentiteit en maakt vervolgens een eigen loginstatus aan; de sessiesleutel hoort niet naar de client te worden doorgestuurd. 9
Stel grenzen in per gebruiker, per taak en voor de hele proef: beperk het aantal model- en toolaanroepen, de omvang van invoer en uitvoer en het totale budget. Een gratis proef kan nog steeds een harde bestedingslimiet en een noodschakelaar nodig hebben.
Voer meerstaps agenttaken op de backend uit en laat iedere stap van hetzelfde taakbudget afgaan. Ook annuleringen, time-outs en nieuwe pogingen moeten binnen de limiet vallen; anders kan een agentlus de kosten alsnog onbeperkt laten oplopen. Als de backend meerdere processen gebruikt, moeten reserveringen en afboekingen via transacties in de bestaande database worden gecoördineerd, zodat elk proces niet zijn eigen versie van het totale budget bijhoudt.
De mini-app kan het bestaande HTTPS-domein van de backend blijven gebruiken. WeChat vereist voor regulier netwerkverkeer dat toegestane serverdomeinen vooraf worden ingesteld; de gateway hoeft dus geen apart publiek domein voor de mini-app te krijgen. 7
Verbinding en snelheid: begin met de bestaande SSH-tunnel
Staan backend en gateway op dezelfde vertrouwde machine, gebruik dan bij voorkeur een lokale verbinding. Staan ze op afzonderlijke vertrouwde servers, hergebruik in eerste instantie de bestaande permanente SSH-tunnel. Zet geen nieuwe tunnel op voor elk verzoek.
Gebruik voor SSH een aparte identiteit die alleen poortdoorsturing toestaat en beperk de bestemming tot de benodigde poort. Laat de gateway aan het lokale adres binden en zorg dat aanvragen worden geweigerd als de tunnel uitvalt. Schakel dan niet automatisch over op een onbeveiligde publieke ingang.
Een lege toegangssleutel is alleen passend op die gecontroleerde interne verbinding, en alleen als ook andere processen op de betrokken hosts binnen de vertrouwensgrens vallen. Een ingang die bereikbaar is vanuit een niet-vertrouwde omgeving moet een eigen, daadwerkelijk gecontroleerde sleutel vereisen.
Overweeg pas een rechtstreekse WireGuard-verbinding tussen de twee vertrouwde servers als metingen laten zien dat de bestaande tunnel een knelpunt vormt. WireGuard ondersteunt authenticatie op basis van de sleutel van de tegenpartij en versleuteling; dat betekent niet automatisch dat jullie verbinding sneller zal zijn. 12
16
Voeg nu geen derde partij als tussenstation of extra reverse proxy toe. Hergebruik verbindingen waar dat kan, stuur streaminguitvoer tijdig door en geef een afgebroken verbinding door aan de taak die op de backend draait.
De werkelijke extra latency is op basis van de beschikbare informatie niet vast te stellen. Meet daarom apart de netwerkduur tussen backend en gateway, de tijd tot het eerste stukje uitvoer en de totale taakduur. Vergelijk zowel medianen als hogere percentielen. De daadwerkelijke route vanuit het vasteland van China naar de gateway en de modelaanbieder moet afzonderlijk worden getest.
Kies een ‘snel model’ bovendien niet alleen op basis van de naam. De bestaande test voor modelkandidaten vereist dat de ingestelde modus diepgaand blijft, met hoge redeneerkracht en gedetailleerde uitvoer; die test bewijst niet dat de modelaanbieder bereikbaar is of dat de werkelijke latency laag is. Zie internal/upstream/studioglobal/registry_fast_models_test.go en internal/upstream/studioglobal/registry_fast_models_test.go. Ontwerp en meet daarom een aparte, lichtere instelling voor het verbeteren van persoonlijke pluspunten, zonder de bestaande ontwikkelinstelling zomaar te wijzigen.
Praktische volgorde
- Beperk waar de gateway luistert en controleer dat het publieke internet en de niet-vertrouwde ontwikkelserver er niet buiten de backend om bij kunnen.
- Maak op de vertrouwde backend twee gescheiden rechtengebieden: beperkt ontwikkelgebruik en mini-app-proefgebruik. Beheer sleutels en budgetten afzonderlijk.
- Bouw begrensde agenttaken, budgetreservering, annulering en streaminguitvoer in. Stel ook een totaalbudget voor de proef in.
- Controleer dat verzoeken zonder sleutel en met een ingetrokken sleutel worden geweigerd, dat ontwikkelrechten geen beheerroutes kunnen bereiken en dat een gebruiker nooit de context van een ander krijgt. Test ook dat stappen en nieuwe pogingen een taakbudget niet overschrijden.
- Begin met een kleine proef, meet de latency en beslis daarna pas of de interne verbinding of de verdeling over instanties moet veranderen.
Wat dit advies niet omvat
Dit is een architectuuradvies, geen uitgevoerde of gevalideerde beveiligingsimplementatie: er worden hier geen wijzigingen aangebracht, tests uitgevoerd of ADR- of planningsbestanden geschreven.
Voor de eerste fase zijn een load balancer, service mesh of permanent agentplatform geen vereiste. De keerzijde is dat een enkele instance een storingsrisico en een capaciteitsgrens blijft.
Of de upstream-aanbieder openbare proefversies toestaat en welke eisen gelden voor de verwerking van persoonlijke werkervaringsgegevens, is niet vastgesteld. Controleer dat vóór openstelling. Vraag zo weinig mogelijk gegevens op, maak ze waar mogelijk minder herleidbaar en sla geen volledige cv-tekst of toegangsgegevens op.
Kortom: houd broncode en hoofdsleutels in de vertrouwde omgeving, geef de ontwikkelserver alleen begrensde mogelijkheden en laat de mini-app uitsluitend zakelijke functies gebruiken. Versterk eerst authenticatie, quota en taakgrenzen; meer infrastructuurlagen zijn niet automatisch veiliger.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Houd de AI-gateway uit handen van onbetrouwbare servers"?
Laat de gateway en hoofdsleutels op een vertrouwde VPS staan; geef een niet vertrouwde ontwikkelserver alleen beperkte, intrekbare toegang.
What are the key points to validate first?
Laat de gateway en hoofdsleutels op een vertrouwde VPS staan; geef een niet vertrouwde ontwikkelserver alleen beperkte, intrekbare toegang. Laat een mini app communiceren met de bestaande backend, niet rechtstreeks met een algemene AI gateway.
What should I do next in practice?
Herbruik voor verbindingen tussen vertrouwde servers eerst de bestaande, permanente SSH tunnel; meet de latency voordat je iets vervangt.