오픈라우터(OpenRouter)는 AI 모델의 성능, 속도, 비용 등을 비교할 수 있는 평가 도구인 '오리 이밸(Ori Eval)'을 공개했다. 이 도구는 개발자가 다양한 AI 모델을 개별적으로 시험하는 데 드는 부담을 줄이고, 그들의 제품에 가장 적합한 모델을 찾을 수 있도록 돕는다.
오픈라우터는 공식 블로그에서 오리 이밸이 실제 애플리케이션의 프롬프트를 실행하여 도구 호출과 답변의 품질을 점검함으로써 모델 선택의 근거를 제시한다고 밝혔다. 오픈라우터는 여러 AI 모델을 하나의 API로 활용할 수 있는 게이트웨이형 서비스인 만큼, 이러한 도구는 더욱 중요한 역할을 한다.
오리 이밸은 기존의 공개 리더보드처럼 모델의 일반적인 순위를 매기는 대신, 특정 서비스에 대한 모델의 성능을 평가하기 위해 설계되었다. 일반적인 벤치마크나 소셜 미디어 추천은 각 제품의 데이터와 실행 환경을 반영하는 데 한계가 있기 때문에, 그 문제를 해결하기 위해 나온 것이다.
이 도구는 개발자의 코드베이스에서 AI 모델 호출 지점을 찾아내어 평가 파일을 생성한다. 이후, 후보 모델은 동일한 조건에서 실행되어 결과를 비교한다. 개발자는 정확성, 속도, 비용, 지연 시간 등 제품의 필요에 따른 기준을 설정할 수 있다. 이를 통해 객관적인 데이터를 확보하고, 더 나은 의사 결정을 내릴 수 있는 기반을 제공한다.
평가하는 과정에서는 실행 환경과 모델 설정, 추론의 강도가 고정되어, 공정한 비교가 이뤄질 수 있도록 설계되었다. 평가 결과는 '*.eval.ts' 형식의 코드 파일로 저장되며, 'bun test' 방식으로 실행된다. 이 과정에서 에이전트는 필요한 도구를 호출했는지, 불필요한 도구를 피했는지, 그리고 답변을 완전하게 제공했는지를 검사한다. 정답이 없는 경우에는 추가적인 대규모 언어 모델(LLM)을 활용하여 채점할 수 있는 기능도 제공된다.
또한, 자연어로 표현된 버그를 평가로 변환하는 기능 역시 제공된다. 고객 지원 에이전트가 주문 조회 없이 환불을 처리하는 문제를 입력하면, 주문 조회 도구의 호출 여부를 점검하는 평가를 생성하는 방식이다. 이를 통해 개발자는 문제를 수정한 후 동일한 평가를 다시 실행하여 재발 여부를 확인할 수 있다.
오리 이밸은 깃허브 액션(GitHub Actions)과 통합되어 평가를 회귀 테스트로 활용할 수 있는 기능도 가진다. 평가에 실패하게 되면 지속적 통합(CI) 작업 또한 실패하도록 설정할 수 있으며, 사용자는 이를 수동으로 실행하거나 정해진 일정에 따라 자동으로 수행할 수 있다.
이번 도구 출시는 오픈라우터의 사업 범위가 모델 중계를 넘어서 개발 및 운영 관리로 확장되고 있음을 보여준다. 지난 7월에는 에이전트의 작업과 비용을 추적하는 '클래시파이어(Classifiers)'를 소개했으며, 지연 시간, 처리량, 가동 시간을 바탕으로 LLM 제공자의 성능을 평가하는 방법도 공개했다. 이러한 변화는 오픈라우터가 AI 기술의 발전에 따라 지속적으로 적응하고 있음을 나타낸다.
크립토와의 연계는 결제 수단에 국한되어 있으며, 오픈라우터는 신용카드와 알리페이 외에도 달러에 연동되는 스테이블코인인 유에스디코인(USDC)을 지원한다. 그러나 오리 이밸 자체는 블록체인 서비스나 특정 토큰 프로젝트로 분류되지는 않았다.
