최근 생성형 AI와 대규모 언어 모델(LLM)의 상용화가 가속화되면서, 기업들은 AI 호출 트래픽을 안전하고 효율적으로 관리할 수 있는 솔루션의 필요성을 절감하고 있다. 이러한 변화 속에서 글로벌 API 플랫폼 기업인 콩(Kong)은 ‘콩 AI 게이트웨이’를 통해 AI 및 LLM 전용 트래픽 관리 영역으로 포트폴리오를 확장하고 있다고 28일 공식 발표했다. 이와 함께 국내 IT 서비스 기업 리티스(litis)는 콩 기반 서비스를 중심으로 기업의 API 및 AI 인프라 구축을 지원하고 있다.
콩 AI 게이트웨이는 기존 API 게이트웨이 개념을 한 단계 발전시킨 솔루션으로, LLM 및 생성형 AI API 호출을 중앙에서 제어하고 보안 및 관측할 수 있도록 설계되었다. 이 솔루션의 핵심은 단순한 프록시 역할을 넘어 AI 서비스 운영에 필수적인 통제 지점을 제공하는 데 있다. 콩 AI 게이트웨이는 오픈AI, 애저 오픈AI, 앤트로픽 등 다양한 LLM API 호출을 단일 게이트웨이에서 표준화하여 관리할 수 있게 해준다. 또한, 요청 및 응답 로깅, 민감 정보 마스킹, 정책 기반 필터링을 통해 데이터 유출 리스크를 감소시키며, 모델별 호출량, 비용, 지연 시간을 실시간으로 모니터링할 수 있는 AI 트래픽 가시성을 제공한다.
보안 및 컴플라이언스 측면에서도 콩 AI 게이트웨이는 인증 및 인가, 사용량 제한, 감사 로그 기능을 통해 AI 호출에 대한 관리 체계를 강화하고 있다. 특히 기존 콩 게이트웨이를 사용 중인 기업들은 기존 API 운영 체계를 유지하면서 AI 트래픽까지 손쉽게 확장할 수 있는 점에서 큰 장점을 누릴 수 있다.
국내 IT 서비스 기업 리티스는 콩 게이트웨이와 콩 AI 게이트웨이를 중심으로 API 관리, 보안, 운영 전반을 아우르는 포괄적인 서비스를 제공하고 있다. 리티스의 접근 방식은 단순히 제품을 공급하는 것에 그치지 않고, 기업 환경에 맞춘 아키텍처 설계와 운영 안정성 확보에 집중하고 있다. 리티스의 서비스는 마이크로서비스, 하이브리드 및 멀티 클라우드 환경에 적합한 API 게이트웨이 아키텍처 설계, LLM 호출 흐름 분석 및 보안 정책 수립, 그리고 비용과 성능 최적화를 위한 전략 제시 등을 포함한 AI 게이트웨이 도입 컨설팅을 포함한다. 이 외에도 OWASP API 시큐리티 톱 10 기반 정책 설계 및 실운영 적용, 장애 대응, 성능 개선, 버전 업그레이드 등 다양한 운영 단계에 걸친 지원을 제공하고 있다. 이러한 포괄적인 서비스를 통해 리티스는 기존 API 관리 고객의 AI 전환을 단계적으로 지원하고 있는 것이다.
리티스 관계자는 “전문가들은 생성형 AI 도입이 확산될수록 AI 거버넌스의 출발점이 API가 될 것이라고 전망한다. LLM 호출 역시 API 형태로 이루어지기 때문에 인증, 보안, 모니터링이 가능한 중앙 관문이 필수적이다”라고 설명하며, “콩 AI 게이트웨이는 이러한 요구에 기술적으로 대응하는 플랫폼으로, 리티스는 이를 국내 기업 환경에 맞게 현실적인 구축 및 운영 모델로 구현하는 파트너로 자리매김하고 있다”고 덧붙였다. 이어 “생성형 AI가 실험 단계를 넘어 실제 비즈니스에 적용되는 시점에서, 콩 AI 게이트웨이는 단순한 인프라가 아닌 AI 통제의 핵심 레이어로 진화하고 있다”고 강조했다.
[관련기사] https://n.news.naver.com/mnews/article/092/0002420547?sid=105
답글 남기기