데이터 분석에 웹 검색 붙이기: Tavily 연동과 AI 메모리 구현 방법

결론부터 말하면

가능합니다. 다만 현재 프로그램이 제3자 OpenAI 호환 인터페이스와 chat.completions.create()를 사용하고 있다면, 해당 모델이 OpenAI의 내장 웹 검색 도구를 지원하는지는 base_url 제공업체에 따라 달라집니다. OpenAI의 공식 웹 검색 도구는 Responses API를 통해 제공되지만, 제3자 호환 API가 같은 기능까지 지원한다고 볼 수는 없습니다.5

따라서 가장 호환성이 높은 구성은 다음과 같습니다.

TXT 데이터
   ↓
검색 키워드 생성
   ↓
Tavily 웹 검색
   ↓
검색 결과 + TXT 데이터를 AI에 전달
   ↓
분석 보고서와 출처 생성

Tavily는 API 키를 사용해 검색 요청을 보내고 구조화된 결과를 반환하므로, 모델 자체가 웹 검색 도구를 지원하지 않아도 별도의 검색 단계로 활용할 수 있습니다.13

코드에 추가된 주요 기능

제공한 코드는 다음과 같은 방식으로 구성됩니다.

1. Tavily 검색 API 연결

환경 변수에 AI API와 Tavily API 키를 저장합니다.

$env:AI_API_KEY="你的 AI API Key"
$env:AI_BASE_URL="你的 Base URL"
$env:TAVILY_API_KEY="你的 Tavily API Key"

검색 기능은 다음 설정으로 켜고 끌 수 있습니다.

ENABLE_WEB_SEARCH = True

TAVILY_SEARCH_URL에 Tavily 검색 엔드포인트를 지정하고, 검색 깊이와 검색 결과 수를 설정합니다. 검색 결과에는 제목, URL, 요약, 사용된 검색어가 포함되며, 중복 URL은 제거됩니다.

2. 데이터에 맞는 검색어 자동 생성

프로그램은 TXT 파일의 앞부분과 열 정보를 모델에 전달해 기술적 검색어를 만들도록 설정돼 있습니다. 예를 들어 MOSFET 데이터라면 다음과 같은 주제가 검색될 수 있습니다.

• MOSFET DIBL gate length short channel effect
• subthreshold swing physical interpretation MOSFET
• threshold voltage Idsat Ioff tradeoff semiconductor

자동 생성에 실패할 경우를 대비해 USER_SEARCH_QUERIES에 미리 지정한 검색어도 함께 사용합니다. 검색어에는 원본 데이터의 민감한 정보나 대량의 수치를 넣지 않도록 제한하는 것이 안전합니다.

3. 검색 결과에 출처 번호 부여

검색 자료에는 [W1], [W2]와 같은 번호가 붙습니다. 모델은 네트워크 자료를 사용한 문장 뒤에 해당 번호를 표시하도록 지시받습니다.

예를 들면 다음과 같습니다.

짧은 게이트 길이에서는 단채널 효과로 인해 DIBL이 커질 수 있습니다 [W1].

이때 TXT 파일에서 직접 확인한 값과 웹 검색으로 확인한 일반적인 물리 설명을 구분해야 합니다. 코드의 분석 지침도 이 원칙을 따르도록 작성돼 있습니다.

AI는 이전에 입력한 내용을 기억할까?

기본적으로는 기억하지 않습니다. chat.completions.create()를 여러 번 호출하거나 같은 client 객체와 모델을 계속 사용한다고 해서 이전 요청이 자동으로 이어지지는 않습니다. 대화의 문맥은 프로그램이 직접 저장하고 다음 요청에 다시 전달해야 합니다.26

즉, 다음 두 가지는 서로 다릅니다.

• 같은 API 클라이언트 사용: 연결 설정을 재사용하는 것
• 대화 기억 유지: 이전 메시지나 결과를 저장해 다음 요청에 포함하는 것

현재 코드에는 이 문제를 해결하기 위한 선택적 로컬 메모리 기능이 들어가 있습니다.

analysis_memory.txt 방식의 로컬 기억

다음 설정을 활성화하면 됩니다.

ENABLE_PERSISTENT_MEMORY = True

활성화하면 프로그램은 다음 순서로 동작합니다.

1. 실행할 때 analysis_memory.txt를 읽습니다.
2. 이전 분석 보고서를 현재 분석의 보조 배경으로 모델에 전달합니다.
3. 새로운 분석이 끝나면 최종 보고서를 메모리 파일에 추가합니다.
4. 파일이 지나치게 커지지 않도록 최대 문자 수를 제한합니다.

다만 이 기능은 전체 원본 데이터를 영구적으로 기억하는 기능이 아닙니다. 현재 구현에서는 이전의 최종 분석 보고서를 저장하고 다음 분석에 참고 자료로 전달합니다.

또한 서로 다른 프로젝트나 다른 반도체 소자의 데이터를 분석할 때는 다음처럼 끄는 편이 좋습니다.

ENABLE_PERSISTENT_MEMORY = False

이전 프로젝트의 결론이 현재 데이터에 섞일 수 있기 때문입니다. 코드에서도 과거 기억이 현재 TXT 데이터의 사실이나 수치를 덮어쓰지 못하도록 지시하고 있습니다.

사용할 때 주의할 점

웹 검색 결과를 사실로 확정하지 않기

Tavily가 반환하는 내용은 검색 결과의 제목과 요약입니다. 최종 보고서에서 중요한 기술적 결론을 내릴 때는 원문 확인이 필요합니다. 검색 요약만으로 현재 데이터의 원인을 확정해서는 안 됩니다.

x와 X를 숫자 0으로 처리하지 않기

제공한 분석 지침은 x 또는 X를 결측값·무효값·계산 불가 값으로 취급하도록 명시합니다. 따라서 전처리 단계에서도 이를 0으로 변환하지 않아야 합니다.

메모리에는 민감한 원본 데이터를 저장하지 않기

현재 코드는 원본 TXT 전체가 아니라 최종 보고서를 메모리에 저장하도록 설계돼 있습니다. 프로젝트명, 소자 정보, 실험 조건 등 민감한 내용이 보고서에 포함될 수 있다면 analysis_memory.txt의 접근 권한과 보관 기간도 별도로 관리해야 합니다.

정리

현재 구조에서는 모델에 직접 ‘기억 기능’이나 ‘인터넷 기능’이 자동으로 생기는 것이 아닙니다.

• 웹 검색은 Tavily를 별도 호출해 구현합니다.
• 검색 결과와 원본 데이터를 하나의 분석 프롬프트로 묶어 모델에 전달합니다.
• 이전 분석 결과는 파일이나 데이터베이스에 저장해야 합니다.
• 다음 요청에서 저장한 내용을 다시 보내야 모델이 과거 내용을 참고할 수 있습니다.
• 다른 프로젝트를 분석할 때는 로컬 메모리를 끄거나 프로젝트별 메모리 파일을 사용하는 것이 안전합니다.

이 방식은 사용 중인 모델이나 제3자 API가 OpenAI의 내장 검색 도구를 완전히 지원하지 않더라도 적용할 수 있다는 점이 장점입니다.