개발용 도구와 소형 앱이 같은 사설 AI 게이트웨이를 쓰더라도, 두 서비스에 각각 게이트웨이를 새로 구축할 필요는 없습니다. 중요한 것은 접근 제어 계층은 공유하되, 개발용 키와 백엔드 서비스 키, 앱 사용자별 권한은 분리하는 것입니다.

특히 앱의 모델 호출 주소와 서비스 키를 앱 클라이언트에 넣어서는 안 됩니다. 클라이언트에는 사용자 로그인 정보만 두고, 모델 호출은 기존 비즈니스 백엔드가 맡도록 구성하는 편이 안전합니다.

먼저 역할을 나누자

계층	맡는 일	권장 구성
AI 접근 제어 계층	개발 키와 서비스 키, 모델 권한, 할당량, 프로토콜 전달	기존 백엔드에 통합하거나 독립 게이트웨이 도입
앱 비즈니스 계층	사용자 로그인, 개인 정보 처리, 사용자별 할당량, Agent 작업 예산	기존 앱 백엔드에 유지
Aurora 게이트웨이	상위 모델과의 연동 및 모델 호출	사설 배포 유지

개발 환경에는 제한된 모델 호출 경로가 필요하고, 앱에는 기존 백엔드에서 모델 서비스로 이어지는 연결과 작업별 예산 제어가 필요합니다. 기존 백엔드에 Agent가 이미 있다면 새로 만들 필요는 없지만, 호출 설정만 추가한다고 해서 사용자별 할당량과 작업 격리까지 구현되는 것은 아닙니다.

주소와 키는 어디에 둘까

위치	호출 대상	사용할 인증 정보
신뢰할 수 없는 개발 VPS	신뢰할 수 있는 환경의 제한된 개발용 진입점	환경별 개발 키
앱 클라이언트	기존 비즈니스 백엔드	사용자 로그인 정보. 게이트웨이 키는 두지 않음
앱 비즈니스 백엔드	사설 접속 서비스 또는 사설 Aurora	별도 서비스 키 또는 통제된 내부 인증
독립 접속 서비스	사설 Aurora	내부 호출 설정. 개발 키를 그대로 전달하지 않음

개발 키와 백엔드 서비스 키, 상위 모델의 자격 증명은 서로 다른 것으로 취급해야 합니다. 신뢰할 수 없는 개발 환경에서는 키가 유출될 수 있으므로, 사용 제한은 해당 환경의 자기 통제가 아니라 신뢰할 수 있는 서버에서 적용해야 합니다.

선택지 1: 기존 백엔드에 통합하기

구성을 가장 간단하게 유지하려면 기존 백엔드에 접근 제어 기능을 추가할 수 있습니다.

• 개발 도구 → 기존 백엔드의 제한된 개발용 경로 → 사설 Aurora
• 앱 → 기존 백엔드의 비즈니스 경로 → 사설 Aurora

접근 제어 모듈과 데이터베이스, 연결 풀을 공유하므로 별도의 프로세스를 추가하지 않아도 됩니다. 개발 키가 몇 개뿐이고 관리용 웹 화면이 필요하지 않은 경우에 적합할 수 있습니다.

대신 키 폐기, 동시 요청을 고려한 할당량 차감, 스트리밍 전달, 요청 취소 전파 같은 기능을 직접 구현해야 합니다. 단순히 주소와 키만 추가하는 작업으로 보면 안 됩니다.

선택지 2: 독립 접속 서비스를 하나 두기

일반적인 키와 호출 관리를 직접 개발하고 싶지 않다면, 신뢰할 수 있는 VPS에 독립 접속 서비스를 하나 배포하는 방법이 있습니다.

• 개발 도구 → 독립 접속 서비스 → 사설 Aurora
• 앱 → 기존 비즈니스 백엔드 → 같은 접속 서비스 → 사설 Aurora

개발 환경과 앱 백엔드는 각각 별도 키를 사용하고, 접속 서비스는 공통 호출 관리를 맡습니다. 사용자 인증과 Agent 작업 예산은 기존 앱 백엔드가 계속 담당합니다. 개발용과 앱용으로 접속 서비스를 두 개씩 운영하거나, 그 서비스를 Aurora 소스에 포함할 필요는 없습니다.

오픈소스 후보: New API와 LiteLLM

New API: 키 관리 화면이 필요할 때

New API는 오픈소스 AI 게이트웨이로, Docker 배포와 채널 설정 절차, OpenAI 호환 API 호출 방식을 문서화하고 있습니다.34 공식 문서에는 API 키의 할당량과 모델 제한, 키 생성·수정·삭제 기능도 안내돼 있습니다.1215

Aurora를 사용자 지정 상위 모델 후보로 연결하고, 개발용 키와 백엔드 서비스 키를 따로 발급하는 구성을 검토할 수 있습니다. 다만 실제 Aurora 연동은 별도로 확인해야 합니다.1 관리 코드를 줄이고 개발 키를 발급·제한할 화면을 원한다면 우선 평가해볼 만한 후보입니다.

LiteLLM Proxy: 프로그램 방식의 관리에 무게를 둘 때

LiteLLM은 자체 호스팅 방식의 OpenAI 호환 게이트웨이와 사용자 지정 호환 상위 모델, 가상 키 관리 기능을 제공합니다.8105 다만 공식 배포 문서에 따르면 인증과 키·사용량 추적 기능에는 PostgreSQL이 필요합니다. 따라서 데이터베이스 없이 동작하는 경량 프록시로 비용을 계산해서는 안 됩니다.11

이미 PostgreSQL을 운영하고 있고 프로그램 방식의 설정이나 여러 모델 관리에 비중을 둔다면 검토할 수 있습니다. 두 후보 모두 공식 문서상 기능을 바탕으로 한 선택지일 뿐, Aurora와의 호환성이나 보안·응답 지연이 실제 환경에서 검증됐다는 뜻은 아닙니다.

게이트웨이를 도입해도 앱 백엔드가 맡아야 할 일

• 앱 사용자 인증, 작업 소유권 확인, 사용자별 기록 격리
• 사용자별 체험 할당량과 Agent 작업별 모델 호출·도구 실행 한도
• 시간 초과, 요청 취소, 재시도, 전체 서비스 긴급 중지
• 개인 경험 데이터의 최소 수집과 로그 내 민감 정보 제거

앱 백엔드가 하나의 서비스 키를 공유한다면, 게이트웨이에서 관리하는 서비스 전체 할당량이 앱 사용자별 한도를 대신해주지는 않습니다. 사용량과 예산을 사용자·작업 단위로 구분할 책임은 비즈니스 백엔드에 남습니다.

실제 도입 전에는 스트리밍 응답, 도구 호출, 사용자 지정 모델 이름, 사용량 정산을 확인하고, 동시 요청이나 재시도 상황에서도 예산 한도가 지켜지는지 검증해야 합니다. 관리 화면이나 원본 Aurora가 제한을 우회하는 통로가 되지 않도록 접근 경로도 점검할 필요가 있습니다.

상황별로 고르면

• 개발 환경이 소수이고 관리 화면이 필요 없다면 기존 백엔드 통합이 가장 단순합니다.
• 키와 모델 권한, 할당량을 화면에서 관리하고 싶다면 New API 인스턴스 하나를 우선 검증하고 앱 백엔드에는 업무 연결과 작업별 제어를 보완할 수 있습니다.
• New API와 LiteLLM을 동시에 추가할 필요는 없습니다. 접속 계층을 더한다고 해서 지연이 전혀 늘지 않는다고 볼 수도 없습니다.

외부 HTTPS는 기존의 신뢰할 수 있는 진입점을 재사용할 수 있습니다. 그런 진입점이 없다면 TLS 구성을 별도로 마련해야 합니다. 빈 키를 이용한 내부 호출은 엄격히 통제된 사설 연결에서만 고려해야 하며, 신뢰할 수 없는 클라이언트에 노출해서는 안 됩니다.

이 설계 범위는 접속 구조와 선택지에 관한 권고입니다. 앱을 다시 만들거나 기존 Agent를 재작성하고, Aurora의 상위 연결 핵심을 수정하거나 로드밸런싱 체계를 새로 구축하는 내용은 포함하지 않습니다. 실제 서비스 배포나 Aurora 호환성 검증이 완료됐다는 의미도 아닙니다.

개발용 도구와 소형 앱이 같은 사설 AI 게이트웨이를 쓰더라도, 두 서비스에 각각 게이트웨이를 새로 구축할 필요는 없습니다. 중요한 것은 접근 제어 계층은 공유하되, 개발용 키와 백엔드 서비스 키, 앱 사용자별 권한은 분리하는 것입니다.

특히 앱의 모델 호출 주소와 서비스 키를 앱 클라이언트에 넣어서는 안 됩니다. 클라이언트에는 사용자 로그인 정보만 두고, 모델 호출은 기존 비즈니스 백엔드가 맡도록 구성하는 편이 안전합니다.

먼저 역할을 나누자

계층	맡는 일	권장 구성
AI 접근 제어 계층	개발 키와 서비스 키, 모델 권한, 할당량, 프로토콜 전달	기존 백엔드에 통합하거나 독립 게이트웨이 도입
앱 비즈니스 계층	사용자 로그인, 개인 정보 처리, 사용자별 할당량, Agent 작업 예산	기존 앱 백엔드에 유지
Aurora 게이트웨이	상위 모델과의 연동 및 모델 호출	사설 배포 유지

개발 환경에는 제한된 모델 호출 경로가 필요하고, 앱에는 기존 백엔드에서 모델 서비스로 이어지는 연결과 작업별 예산 제어가 필요합니다. 기존 백엔드에 Agent가 이미 있다면 새로 만들 필요는 없지만, 호출 설정만 추가한다고 해서 사용자별 할당량과 작업 격리까지 구현되는 것은 아닙니다.

주소와 키는 어디에 둘까

위치	호출 대상	사용할 인증 정보
신뢰할 수 없는 개발 VPS	신뢰할 수 있는 환경의 제한된 개발용 진입점	환경별 개발 키
앱 클라이언트	기존 비즈니스 백엔드	사용자 로그인 정보. 게이트웨이 키는 두지 않음
앱 비즈니스 백엔드	사설 접속 서비스 또는 사설 Aurora	별도 서비스 키 또는 통제된 내부 인증
독립 접속 서비스	사설 Aurora	내부 호출 설정. 개발 키를 그대로 전달하지 않음

개발 키와 백엔드 서비스 키, 상위 모델의 자격 증명은 서로 다른 것으로 취급해야 합니다. 신뢰할 수 없는 개발 환경에서는 키가 유출될 수 있으므로, 사용 제한은 해당 환경의 자기 통제가 아니라 신뢰할 수 있는 서버에서 적용해야 합니다.

선택지 1: 기존 백엔드에 통합하기

구성을 가장 간단하게 유지하려면 기존 백엔드에 접근 제어 기능을 추가할 수 있습니다.

• 개발 도구 → 기존 백엔드의 제한된 개발용 경로 → 사설 Aurora
• 앱 → 기존 백엔드의 비즈니스 경로 → 사설 Aurora

접근 제어 모듈과 데이터베이스, 연결 풀을 공유하므로 별도의 프로세스를 추가하지 않아도 됩니다. 개발 키가 몇 개뿐이고 관리용 웹 화면이 필요하지 않은 경우에 적합할 수 있습니다.

대신 키 폐기, 동시 요청을 고려한 할당량 차감, 스트리밍 전달, 요청 취소 전파 같은 기능을 직접 구현해야 합니다. 단순히 주소와 키만 추가하는 작업으로 보면 안 됩니다.

선택지 2: 독립 접속 서비스를 하나 두기

일반적인 키와 호출 관리를 직접 개발하고 싶지 않다면, 신뢰할 수 있는 VPS에 독립 접속 서비스를 하나 배포하는 방법이 있습니다.

• 개발 도구 → 독립 접속 서비스 → 사설 Aurora
• 앱 → 기존 비즈니스 백엔드 → 같은 접속 서비스 → 사설 Aurora

개발 환경과 앱 백엔드는 각각 별도 키를 사용하고, 접속 서비스는 공통 호출 관리를 맡습니다. 사용자 인증과 Agent 작업 예산은 기존 앱 백엔드가 계속 담당합니다. 개발용과 앱용으로 접속 서비스를 두 개씩 운영하거나, 그 서비스를 Aurora 소스에 포함할 필요는 없습니다.

오픈소스 후보: New API와 LiteLLM

New API: 키 관리 화면이 필요할 때

New API는 오픈소스 AI 게이트웨이로, Docker 배포와 채널 설정 절차, OpenAI 호환 API 호출 방식을 문서화하고 있습니다.34 공식 문서에는 API 키의 할당량과 모델 제한, 키 생성·수정·삭제 기능도 안내돼 있습니다.1215

Aurora를 사용자 지정 상위 모델 후보로 연결하고, 개발용 키와 백엔드 서비스 키를 따로 발급하는 구성을 검토할 수 있습니다. 다만 실제 Aurora 연동은 별도로 확인해야 합니다.1 관리 코드를 줄이고 개발 키를 발급·제한할 화면을 원한다면 우선 평가해볼 만한 후보입니다.

LiteLLM Proxy: 프로그램 방식의 관리에 무게를 둘 때

LiteLLM은 자체 호스팅 방식의 OpenAI 호환 게이트웨이와 사용자 지정 호환 상위 모델, 가상 키 관리 기능을 제공합니다.8105 다만 공식 배포 문서에 따르면 인증과 키·사용량 추적 기능에는 PostgreSQL이 필요합니다. 따라서 데이터베이스 없이 동작하는 경량 프록시로 비용을 계산해서는 안 됩니다.11

이미 PostgreSQL을 운영하고 있고 프로그램 방식의 설정이나 여러 모델 관리에 비중을 둔다면 검토할 수 있습니다. 두 후보 모두 공식 문서상 기능을 바탕으로 한 선택지일 뿐, Aurora와의 호환성이나 보안·응답 지연이 실제 환경에서 검증됐다는 뜻은 아닙니다.

게이트웨이를 도입해도 앱 백엔드가 맡아야 할 일

• 앱 사용자 인증, 작업 소유권 확인, 사용자별 기록 격리
• 사용자별 체험 할당량과 Agent 작업별 모델 호출·도구 실행 한도
• 시간 초과, 요청 취소, 재시도, 전체 서비스 긴급 중지
• 개인 경험 데이터의 최소 수집과 로그 내 민감 정보 제거

앱 백엔드가 하나의 서비스 키를 공유한다면, 게이트웨이에서 관리하는 서비스 전체 할당량이 앱 사용자별 한도를 대신해주지는 않습니다. 사용량과 예산을 사용자·작업 단위로 구분할 책임은 비즈니스 백엔드에 남습니다.

실제 도입 전에는 스트리밍 응답, 도구 호출, 사용자 지정 모델 이름, 사용량 정산을 확인하고, 동시 요청이나 재시도 상황에서도 예산 한도가 지켜지는지 검증해야 합니다. 관리 화면이나 원본 Aurora가 제한을 우회하는 통로가 되지 않도록 접근 경로도 점검할 필요가 있습니다.

상황별로 고르면

• 개발 환경이 소수이고 관리 화면이 필요 없다면 기존 백엔드 통합이 가장 단순합니다.
• 키와 모델 권한, 할당량을 화면에서 관리하고 싶다면 New API 인스턴스 하나를 우선 검증하고 앱 백엔드에는 업무 연결과 작업별 제어를 보완할 수 있습니다.
• New API와 LiteLLM을 동시에 추가할 필요는 없습니다. 접속 계층을 더한다고 해서 지연이 전혀 늘지 않는다고 볼 수도 없습니다.

외부 HTTPS는 기존의 신뢰할 수 있는 진입점을 재사용할 수 있습니다. 그런 진입점이 없다면 TLS 구성을 별도로 마련해야 합니다. 빈 키를 이용한 내부 호출은 엄격히 통제된 사설 연결에서만 고려해야 하며, 신뢰할 수 없는 클라이언트에 노출해서는 안 됩니다.

이 설계 범위는 접속 구조와 선택지에 관한 권고입니다. 앱을 다시 만들거나 기존 Agent를 재작성하고, Aurora의 상위 연결 핵심을 수정하거나 로드밸런싱 체계를 새로 구축하는 내용은 포함하지 않습니다. 실제 서비스 배포나 Aurora 호환성 검증이 완료됐다는 의미도 아닙니다.