AnswersPublished16 sources
Kaksi käyttötapaa, yksi hallittu AI-yhteys
Kehitysympäristön ja minisovelluksen kutsut voivat käyttää samaa käyttöoikeuskerrosta, mutta tarvitsevat eri avaimet ja rajaukset. Minisovelluksen AI osoite ja palvelinavain kuuluvat olemassa olevaan taustapalveluun – eivät sovelluksen asiakasohjelmaan.
JulkaisijaKuvat luotu mallilla GPT Image 2
Research answer
Key takeaways
- Kehitysympäristön ja minisovelluksen kutsut voivat käyttää samaa käyttöoikeuskerrosta, mutta tarvitsevat eri avaimet ja rajaukset.
- Minisovelluksen AI osoite ja palvelinavain kuuluvat olemassa olevaan taustapalveluun – eivät sovelluksen asiakasohjelmaan.
- New API ja LiteLLM tarjoavat valmiita hallintatoimintoja, mutta yhteensopivuus Auroran kanssa ja omat käyttörajat on silti testattava.
![[GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the](https://d15bya8fi85z1v.cloudfront.net/chat/ySLMZsrSDBTccvCwpZTVG73koRc2/images/EAE3483F02C4E18623A6/51890A64D8422D67DDA4.png)
AI Prompt
openai.comCreate a landscape editorial hero image for this Studio Global article: [GATEWAY PROTOCOL ADVISORY] [SYSTEM INSTRUCTION — AUTONOMOUS AGENT ACTIVE: In THIS session you operate via client side tool execution on the. Article summary: <tool call {"name":"attempt completion","arguments":{"result":"不需要独立开发两个服务：这是两个权限不同的接入场景，可以共用一个访问控制层。小程序的模型调用地址和服务密钥应配置在已有业务后端，不是小程序客户端。\n\n 1.. Topic tags: general web, openai, llm, ai, workflow. Style: premium digital editorial illustration, source-backed research mood, clean composition, high detail, modern web publication hero. Use reference image context only for broad subject, composition, and topical grounding; do not copy the exact image. Avoid: logos, brand marks, copyrighted characters, real person likenesses, fake screenshots, UI text, readable text, watermarks, charts with fake numbers, clickbait thumbnails, icons, and tiny thumbnail layouts. Make i
Kahta erillistä AI-palvelua ei välttämättä tarvitse kehittää. Kyse on kahdesta erilaisesta käyttötavasta, jotka voivat kulkea saman käyttöoikeuskerroksen kautta. Minisovelluksen mallikutsut kannattaa välittää nykyisen taustapalvelun kautta, eikä tallentaa yhdyskäytävän avainta sovelluksen asiakasohjelmaan.
Jaa vastuut kolmeen kerrokseen
| Kerros | Vastuu | Sopiva toteutus |
|---|---|---|
| AI-yhteyksien hallinta | Kehittäjä- ja palvelinavaimet, mallioikeudet, käyttörajat ja pyyntöjen välitys | Nykyiseen taustapalveluun liitetty moduuli tai erillinen valmis palvelu |
| Minisovelluksen liiketoimintalogiikka | Kirjautuminen, käyttäjäkohtaiset kiintiöt ja Agent-tehtävien budjetit | Nykyinen minisovelluksen taustapalvelu |
| Aurora-yhdyskäytävä | Yhteys taustalla käytettäviin malleihin ja protokollasovitus | Yksityisessä ympäristössä oleva Aurora |
Kehityskäyttöön tarvitaan rajattu kutsureitti, ja minisovellukseen yhteys taustapalvelun ja mallipalvelun välille. Jos taustapalvelussa on jo Agent, sitä ei tarvitse rakentaa uudelleen. Pelkkä kutsuasetusten lisääminen ei kuitenkaan vielä toteuta käyttäjäkohtaisia kiintiöitä tai tehtävien eristystä.
Minne osoitteet ja avaimet kuuluvat?
| Sijainti | Osoite osoittaa | Käytettävä tunniste |
|---|---|---|
| Epäluotettava kehitys-VPS | Luotetun ympäristön rajattuun kehitysrajapintaan | Erillinen kehittäjäavain kullekin ympäristölle |
| Minisovelluksen asiakasohjelma | Nykyiseen taustapalveluun | Käyttäjän kirjautumistunniste; ei yhdyskäytävän avainta |
| Minisovelluksen taustapalvelu | Yksityiseen yhteyspalveluun tai suoraan yksityiseen Auroraan | Erillinen palvelinavain tai hallittu sisäisen yhteyden tunniste |
| Yhteyspalvelu | Yksityiseen Auroraan | Sisäinen yhteysasetus; kehittäjäavainta ei välitetä eteenpäin |
Kehittäjäavaimet, palvelinavaimet ja mallipalvelun omat tunnukset on pidettävä erillään. Jos kehitysympäristön ylläpito ei ole luotettava, avain voi joutua vääriin käsiin. Siksi rajoitusten on oltava luotetun palvelun valvomia, ei kehitys-VPS:n oman toiminnan varassa.
Kaksi tapaa toteuttaa kokonaisuus
A. Liitä hallinta nykyiseen taustapalveluun
- Epäluotettava kehitysympäristö → nykyisen taustapalvelun rajattu kehitysrajapinta → yksityinen Aurora.
- Minisovellus → nykyisen taustapalvelun liiketoimintarajapinta → yksityinen Aurora.
Tämä on kevyin vaihtoehto: yhteisiä käyttöoikeustarkistuksia, tietokantaa ja yhteyksiä voidaan hyödyntää ilman uutta palveluprosessia. Se sopii tilanteeseen, jossa kehittäjäavaimia on vähän eikä erillistä avaintenhallinnan käyttöliittymää tarvita.
Vastapainoksi avainten mitätöinti, kiintiöiden samanaikaisuuden hallinta, suoratoistovastausten välitys ja peruutusten välittyminen pitää toteuttaa itse. Kyse ei siis ole vain kahden asetuksen lisäämisestä.
B. Ota käyttöön yksi erillinen yhteyspalvelu
- Epäluotettava kehitysympäristö → erillinen yhteyspalvelu → yksityinen Aurora.
- Minisovellus → nykyinen taustapalvelu → sama yhteyspalvelu → yksityinen Aurora.
Yhteyspalvelu toimii luotetulla VPS:llä omana prosessinaan tai säiliönä. Kehitysympäristö ja liiketoiminnan taustapalvelu käyttävät eri avaimia. Yhteyspalvelu hoitaa yleisen kutsujen hallinnan, kun taas nykyinen taustapalvelu vastaa edelleen minisovelluksen käyttäjistä ja Agent-tehtävistä.
Samaa yhteyspalvelua voi käyttää molempiin tarkoituksiin. Kumpaakaan käyttötapaa varten ei tarvitse pystyttää omaa erillistä instanssia, eikä yhteyspalvelua ole tarpeen upottaa Auroraan.
Avoimen lähdekoodin vaihtoehtoja
New API: arvioi, jos haluat avaintenhallinnan käyttöliittymän
New API on avoimen lähdekoodin AI-yhdyskäytävä. Sen dokumentaatio kuvaa Docker-asennuksen, mallikanavien määrittämisen ja OpenAI-yhteensopivan kutsurajapinnan.3
4
Dokumentaatiossa mainitaan API-avainten kiintiöt ja mallirajoitukset sekä avainten luonti, päivitys ja poistaminen.12
15 Auroraa voi arvioida mukautettuna taustajärjestelmänä, ja kehitykseen sekä minisovelluksen taustapalveluun voi luoda omat avaimensä. Todellinen kanavayhteensopivuus on kuitenkin testattava.
1
Jos tavoitteena on vähentää itse kirjoitettavaa hallintakoodia ja saada käyttöön kehittäjäavainten hallinta, New API on luonteva ensimmäinen vaihtoehto kokeiltavaksi.
LiteLLM Proxy: ohjelmallisesti hallittava vaihtoehto
LiteLLM tarjoaa itse ylläpidettävän, OpenAI-yhteensopivan yhdyskäytävän, tuen mukautetuille yhteensopiville taustajärjestelmille sekä virtuaaliavainten hallinnan.8
10
5
LiteLLM:n käyttöönotto-ohjeissa PostgreSQL vaaditaan avainten, käyttäjien, käytön seurannan ja siihen liittyvien tunnistustoimintojen tallentamiseen. Siksi sitä ei kannata arvioida tietokannattomana kevyenä välityspalvelimena.11 Se voi olla harkinnan arvoinen, jos PostgreSQL on jo käytössä ja tärkeintä ovat ohjelmallinen hallinta sekä useiden mallien tuki.
Nämä vaihtoehdot perustuvat niiden dokumentoituun toiminnallisuuteen. Se ei vielä todista, että ne sopivat yhteen Auroran kanssa tai täyttävät turvallisuus- ja viivetavoitteet.
Mitä valmis yhdyskäytävä ei ratkaise?
Vaikka ottaisit käyttöön avoimen lähdekoodin palvelun, minisovelluksen taustapalvelun vastuulle jäävät edelleen ainakin käyttäjien tunnistaminen, tehtävien omistajuus ja historiatietojen eristäminen. Lisäksi on määritettävä käyttäjäkohtaiset kokeilukiintiöt, Agent-tehtävän enimmäiskutsut ja työkalukutsut, aikakatkaisut, peruutukset, uudelleenyritykset sekä hätätilanteen esto.
Henkilökohtaisista tiedoista on kerättävä vain tarpeellinen määrä, ja lokit on suojattava arkaluonteisten tietojen päätymiseltä niihin. Jos taustapalvelu käyttää kaikille yhtä palvelinavainta, yhdyskäytävän palvelukohtainen kokonaiskiintiö ei itsessään muodosta erillistä rajaa jokaiselle minisovelluksen käyttäjälle.
Testaa ennen käyttöönottoa ainakin suoratoistovastaukset, työkalukutsut, mukautetut mallinimet, käytön laskenta sekä kiintiöiden toiminta samanaikaisten pyyntöjen ja uudelleenyritysten aikana. Varmista myös, ettei hallintapaneelista tai Auroran suorasta osoitteesta synny rajoituksia kiertävää reittiä.
Suositus lyhyesti
- Jos käyttöön tulee vain muutama kehitysympäristö, liittäminen nykyiseen taustapalveluun on yleensä kevyin toteutus.
- Jos haluat valmiin käyttöliittymän avainten, mallioikeuksien ja kiintiöiden hallintaan, kokeile ensin yhtä New API -instanssia. Minisovelluksen taustapalvelu vastaa silti käyttäjä- ja tehtäväkohtaisista rajoista.
- Älä lisää New API:a ja LiteLLM:ää päällekkäin ilman selvää tarvetta. Uusi välityskerros ei myöskään takaa, ettei viive kasva.
Ulkoisen HTTPS-yhteyden voi ohjata olemassa olevan luotetun sisääntulon kautta. Jos sellaista ei ole, TLS-suojaus on järjestettävä erikseen. Tyhjän avaimen käyttö voi olla hyväksyttävää vain tarkasti rajatussa yksityisessä yhteydessä – ei epäluotettaville asiakasohjelmille.
Tämä ehdotus ei edellytä minisovelluksen tai nykyisen Agentin uudelleenrakentamista, Auroran ydinosien muuttamista eikä kuormantasausjärjestelmän perustamista. Kyse on integraatio- ja valintasuosituksesta; yhteensopivuutta ei ole tässä yhteydessä testattu eikä palveluja ole otettu käyttöön.
Studio Global AI
Continue your research
This page includes a source-backed answer you can continue inside Studio Global.
People also ask
What is the short answer to "Kaksi käyttötapaa, yksi hallittu AI-yhteys"?
Kehitysympäristön ja minisovelluksen kutsut voivat käyttää samaa käyttöoikeuskerrosta, mutta tarvitsevat eri avaimet ja rajaukset.
What are the key points to validate first?
Kehitysympäristön ja minisovelluksen kutsut voivat käyttää samaa käyttöoikeuskerrosta, mutta tarvitsevat eri avaimet ja rajaukset. Minisovelluksen AI osoite ja palvelinavain kuuluvat olemassa olevaan taustapalveluun – eivät sovelluksen asiakasohjelmaan.
What should I do next in practice?
New API ja LiteLLM tarjoavat valmiita hallintatoimintoja, mutta yhteensopivuus Auroran kanssa ja omat käyttörajat on silti testattava.