AnswersPublished14 sources
Så håller du AI-gatewayen privat – utan att bygga ett helt nytt system
Behåll källkod, gateway och uppströmsnycklar i den betrodda miljön. Utvecklingsservrar som inte går att lita på bör bara få begränsad, återkallelig åtkomst.
Publicerad avBilder genererade med GPT Image 2
Research answer
Key takeaways
- Behåll källkod, gateway och uppströmsnycklar i den betrodda miljön. Utvecklingsservrar som inte går att lita på bör bara få begränsad, återkallelig åtkomst.
- Låt miniprogrammet anropa en specifik affärsfunktion på den betrodda backend servern, inte en generell AI gateway.
- Återanvänd en befintlig, permanent SSH tunnel mellan betrodda servrar och mät fördröjningen innan du byter nätverkslösning.
- Inför användargränser, uppgiftsbudget och stoppvillkor för agentkörningar innan tjänsten öppnas för provanvändning.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/X2Iv9UzutJWrB6MyNYnoFEwyNX93/images/B46231A279305D82E030/F351DDBF81DB11332C64.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"在你确认的边界下，推荐统一采用“网关留在可信 VPS，现有可信业务后端负责对外接入”的架构：不可信开发环境只获得受限调用权限，小程序只访问业务接口。无需先建设 Nginx、负载均衡或复杂防火墙体系，但不能承诺绝对零时延损失。\n\n 先指出当前代码的安全缺口\n\n 当前启动入口默认监听所有网卡，而不是仅本机。依. Topic tags: general web, code, api, security, data. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with
Den enklaste vägen till en säkrare AI-tjänst är inte nödvändigtvis fler servrar och nätverkslager. En rimlig grund är att låta gatewayen stanna på en betrodd VPS och använda den befintliga betrodda backend-servern som enda väg in. Utvecklingsmiljöer som inte går att lita på får begränsad åtkomst; miniprogrammet får bara anropa den avgränsade tjänst det behöver.
Det innebär inte att varje risk försvinner eller att fördröjningen blir noll. Men det gör det lättare att hålla huvudnycklar och obegränsad åtkomst borta från de miljöer där de inte hör hemma.
Börja med gatewayens faktiska åtkomst
Innan du bygger vidare är det viktigt att skilja mellan vad koden gör i dag och vad den är tänkt att göra:
- Startpunkten lyssnar som standard på alla nätverksgränssnitt, inte bara på den lokala datorn. Se
main.go. På den betrodda VPS:en bör gatewayen bindas till en lokal adress i stället för att exponeras direkt mot internet. - Huvudroutern saknar anropsautentisering och registrerar flera vägar, däribland modellförteckning, statistik och två chattvägar. Se
internal/api/chat.go. Att en klient fyller i en nyckel betyder alltså inte i sig att åtkomsten är skyddad. - Det finns äldre autentiseringskod för Gin, men den aktuella startkedjan använder vanlig HTTP-routing. I den granskade huvudrutten anropas inte den äldre middleware-lösningen. Se
middlewares/auth.goochmain.go. En miljövariabel för den äldre autentiseringen bevisar därför inte att dagens ingång är skyddad. - Den befintliga konfigurationen för anropsbegränsningar är uttryckligen avsedd för lokal testning och anger noll anrop per klient. Den är inte en färdig lösning för produktionsbegränsning av flera användare. Se
internal/chatadmission/config.goochinternal/chatadmission/config.go.
Utvecklingsmiljöer ska få en begränsad tjänst, inte gatewayen
Rekommenderad väg: utvecklingsserver som inte är betrodd → HTTPS-ingång med begränsad behörighet på den betrodda backend-servern → privat anslutning → gateway på betrodd VPS.
Källkod, byggprocess, gateway och uppströmsnycklar stannar i den betrodda miljön. Utvecklingsservern får bara en adress att anropa och en särskild utvecklingsbehörighet. Den ingången kan stödja de chattprotokoll som klienten behöver, men bör bara tillåta nödvändiga metoder, vägar och modeller. Statistik, administration, godtycklig vidarebefordran och kontofunktioner hör inte hemma där.
Ge varje utvecklingsmiljö en egen behörighet som kan återkallas och har kort giltighetstid. Begränsa vilka modeller den får använda, hur stora förfrågningar den får skicka, hur många anrop som kan köras samtidigt och hur stor den sammanlagda budgeten är. Håll utvecklingsbehörigheter helt åtskilda från produktionsbehörigheter. Kontroll och budgetavdrag måste ske på den betrodda backend-servern – inte i konfiguration eller kontrollkod på en miljö du inte litar på.
Om administratören för utvecklingsservern inte är betrodd bör du utgå från att behörigheter, förfrågningar och svar på den servern kan läsas eller ändras. Kortlivade nycklar minskar den möjliga skadan vid en läcka, men gör inte nyckeln omöjlig att stjäla. En vanlig container, distribuerad binärfil eller kodförvrängning ger inget säkert skydd mot serverns administratör.
Målet är alltså inte att försöka gömma en huvudnyckel på den obetrodda servern. Målet är att aldrig lägga huvudnyckeln där och att göra en eventuell utvecklingsbehörighet återkallelig och begränsad.
Undvik att låta en obetrodd server nå en gateway utan autentisering genom en SSH-tunnel. Om tunnelns identitet kapas kan begränsningarna kringgås. Behövs en tunnel ska den bara leda till den begränsade utvecklingsingången, inte direkt till gatewayen eller andra privata tjänster.
Öppna en affärsfunktion för provanvändning – inte en generell AI-proxy
Rekommenderad väg: WeChat-miniprogram → betrodd backend med inloggning, kvoter och agentlogik → privat anslutning → gateway → modell.
Miniprogrammet bör använda tjänstens vanliga inloggning. WeChats inloggningsflöde innebär att klienten hämtar en tillfällig inloggningskod som skickas till servern. Servern byter koden mot användaruppgifter och skapar sedan en egen inloggning för fortsatt kommunikation. Sessionsnyckeln ska inte skickas tillbaka till klienten.9
För en funktion som förbättrar personliga styrkor i en jobbansökan kan miniprogrammet skicka jobbannonsen, kravprofilen och de delar av användarens erfarenhet som behövs. Det ska inte hålla gatewayens huvudnyckel eller fritt välja modell, systeminstruktioner och verktyg. Lägg i stället till en särskild affärsingång på backend-servern som styr tillåtna modeller, instruktioner, sökfunktioner och svarsformat. Det är säkrare än att vidarebefordra obegränsade chattförfrågningar.
Hämta användaridentiteten från en inloggning som servern har verifierat. Lita inte på ett användar-ID som klienten själv skickar i förfrågningens innehåll. Håll uppgifter, historik och kvoter åtskilda mellan användare.
Sätt en gräns per användare, ett tak för modell- och verktygsanrop per uppgift, maxstorlek för in- och utdata samt en total budget för hela provtjänsten. En tjänst kan vara kostnadsfri att prova utan att vara obegränsad. Agentens alla steg ska räknas mot samma uppgiftsbudget. Även avbrutna anrop, tidsgränser och omförsök behöver omfattas, så att en agent inte kan öka förbrukningen genom att fortsätta i en loop.
Om backend-servern kör flera processer bör reservering och avräkning av kvoter hanteras gemensamt, exempelvis med transaktioner i den databas som redan används. Annars kan varje process i praktiken räkna med en egen totalbudget.
Miniprogrammet kan fortsätta använda den befintliga HTTPS-domänen för affärstjänsten. WeChats vanliga nätverkskommunikation kräver att tillåtna serverdomäner har angetts i förväg, så miniprogrammet behöver inte få en egen offentlig gatewaydomän.7
Återanvänd den privata anslutningen och mät innan du byter
Om backend och gateway ligger på samma betrodda server är en lokal anslutning förstahandsvalet. Om de ligger på olika betrodda servrar kan den befintliga permanenta SSH-tunneln användas i ett första steg. Skapa inte en ny tunnel för varje förfrågan.
Använd en särskild SSH-identitet som bara får vidarebefordra trafik till den tillåtna porten. Bind gatewayen till en lokal adress, och låt anrop misslyckas om tunneln går ned – de ska inte automatiskt falla tillbaka till en oskyddad offentlig ingång. En tom anropsnyckel kan bara vara rimlig på en intern anslutning där även andra processer på värdarna ingår i den betrodda miljön. En ingång som kan nås från en obetrodd miljö måste kontrollera en separat behörighet.
Överväg WireGuard mellan två betrodda servrar först om mätningar visar att den befintliga tunneln är en flaskhals. WireGuard använder autentisering och kryptering baserad på nycklar för nätverkets motparter, men det betyder inte att just din anslutning automatiskt blir snabbare.12
16
Någon garanterad extra fördröjning går inte att fastställa utifrån underlaget. Mät separat nätverkstiden från backend till gateway, tiden till den första delen av svaret och tiden för hela uppgiften. Jämför medianen med värden i den långsammare delen av fördelningen. Den faktiska nätverksvägen till gatewayen och modellens uppströmsleverantör behöver också kontrolleras separat.
Låt backend-servern återanvända anslutningar, vidarebefordra strömmade svar utan onödigt dröjsmål och föra vidare avbrutna klientanslutningar till den pågående uppgiften. Det kräver inte i sig en ny proxy- eller lastbalanseringsnivå.
Inför gränser före bredare provanvändning
En rimlig ordning är att först begränsa gatewayens lyssningsadress och kontrollera att varken internet eller obetrodda utvecklingsmiljöer kan nå den förbi backend-servern. Skapa därefter två tydliga behörighetsområden: begränsad utvecklingsåtkomst och affärsåtkomst för provanvändare. Hantera deras nycklar och budgetar var för sig.
Bygg sedan in kvotreservering, stoppvillkor, avbrutna körningar och strömmade svar i agentflödet. Testa att anrop utan giltig behörighet nekas, att återkallade nycklar slutar fungera, att utvecklingsåtkomst inte når administrationsvägar och att en användares historik inte kan blandas ihop med en annans. Kontrollera också att omförsök och flera agentsteg inte överskrider uppgiftens budget.
Börja med en liten provgrupp och mät innan du delar upp tjänsten eller byter transportlösning. Första steget behöver inte omfatta lastbalansering, service mesh eller en permanent agentplattform. Att en enda instans har begränsad kapacitet och kan bli en felpunkt är en tydlig avvägning – inte ett problem som måste lösas med fler systemlager från dag ett.
Ett sista frågetecken återstår: underlaget visar inte om den aktuella modellleverantören tillåter publik provanvändning eller vilka regler som gäller för personuppgifter i tjänstens faktiska dataflöde. Det behöver klarläggas innan tjänsten öppnas. Skicka bara den information som behövs och undvik att logga hela CV-texter eller behörighetsuppgifter.
Kort sagt: behåll källkod och huvudnycklar i den betrodda miljön, ge utvecklingsmiljöer begränsad åtkomst och låt miniprogrammet använda en avgränsad affärsfunktion. Börja med autentisering, budget och tydliga uppgiftsgränser – inte med fler infrastrukturlager.
Detta är arkitekturråd, inte en genomförd implementation eller verifierad säkerhetsgranskning.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Så håller du AI-gatewayen privat – utan att bygga ett helt nytt system"?
Behåll källkod, gateway och uppströmsnycklar i den betrodda miljön. Utvecklingsservrar som inte går att lita på bör bara få begränsad, återkallelig åtkomst.
What are the key points to validate first?
Behåll källkod, gateway och uppströmsnycklar i den betrodda miljön. Utvecklingsservrar som inte går att lita på bör bara få begränsad, återkallelig åtkomst. Låt miniprogrammet anropa en specifik affärsfunktion på den betrodda backend servern, inte en generell AI gateway.
What should I do next in practice?
Återanvänd en befintlig, permanent SSH tunnel mellan betrodda servrar och mät fördröjningen innan du byter nätverkslösning.