• RTEB: 검색 평가의 새로운 표준
  • 기존 벤치마크가 부족한 이유
  • RTEB 소개
    • 진정한 일반화를 위한 하이브리드 전략
    • 실제 도메인을 위해 설계됨
  • RTEB 출시: 커뮤니티의 노력
  • 한계점과 향후 계획

이 글은 Hugging Face 블로그의 Introducing RTEB: A New Standard for Retrieval Evaluation를 한국어로 번역한 글입니다.

RTEB: 검색 평가의 새로운 표준

요약 – 여러분께 새로운 벤치마크, RTEB(Retrieval Embedding Benchmark, 검색 임베딩 벤치마크)의 베타 버전을 소개합니다. RTEB는 실제 환경에 사용할 임베딩 모델의 검색 정확도를 신뢰성 있게 평가하도록 설계되었습니다. 기존 벤치마크는 진정한 일반화 능력을 측정하기 어려웠으나, RTEB는 공개 및 비공개 데이터셋을 결합한 하이브리드 전략으로 이 문제를 해결합니다. 목표는 간단합니다. 모델이 이전에 접하지 않은 데이터에서 어떻게 수행하는지 측정하기 위한, 공정하고 투명하며 응용 중심의 표준을 만드는 것입니다.

RAG, 에이전트부터 추천 시스템에 이르기까지 많은 AI 애플리케이션의 성능은 근본적으로 검색 및 검색 품질에 의해 제한됩니다. 따라서 임베딩 모델의 검색 품질을 정확히 측정하는 것은 개발자들에게 공통적인 고민거리입니다. 모델이 실제 환경에서 얼마나 잘 작동할지 어떻게 정확히 검증할 수 있을까요?

여기서 문제가 복잡해집니다. 현재 평가 기준은 공개 벤치마크에서의 모델 ‘제로샷’ 성능에 의존하는 경우가 많습니다. 그러나 이는 기껏해야 모델의 진정한 일반화 능력을 가늠한 것에 불과합니다. 동일한 공개 데이터셋으로 모델을 반복 평가할 때, 보고된 점수와 새로운 미검증 데이터에서의 실제 성능 사이에 차이가 발생합니다.

이러한 문제를 해결하기 위해, 검색 모델 평가에 신뢰할 수 있는 기준을 제공하기 위해 설계된 벤치마크인 RTEB를 개발했습니다.

기존 벤치마크가 부족한 이유

기본 평가 방법론과 지표(예: NDCG@10)는 잘 알려져 있고 견고하지만, 기존 벤치마크의 신뢰성은 종종 다음과 같은 문제로 인해 저하됩니다.

일반화 격차. 현재 벤치마크 생태계는 의도치 않게 “시험에 맞춘 교육”을 조장합니다. 훈련 데이터 소스와 평가 데이터셋이 중복될 경우 모델 점수가 부풀려져 벤치마크의 신뢰성을 훼손할 수 있습니다. 이러한 관행은 의도적이든 아니든 여러 모델의 훈련 데이터셋에서 명백히 관찰됩니다. 이는 모델이 견고하고 일반화 가능한 능력을 개발하기보다 테스트 데이터를 암기하는 데 보상을 받는 피드백 루프를 생성합니다.

이러한 이유로, 제로샷 점수가 낮은 모델[1]이 새로운 문제에 대한 일반화 능력 없이도 벤치마크에서 매우 우수한 성능을 보일 수 있습니다. 따라서 벤치마크 성능은 다소 낮지만 제로샷 점수가 높은 모델이 권장되고는 합니다.

현재 AI 애플리케이션과의 부적합성. 많은 벤치마크는 개발자들이 현재 구축 중인 기업용 사용 사례에 부적합합니다. 이들은 종종 학술 데이터셋이나 QA 데이터셋에서 파생된 검색 작업에 의존하는데, 이는 그 자체로 유용하지만 검색 평가를 위해 설계된 것이 아니며 실제 검색 시나리오에서 발생하는 분포적 편향과 복잡성을 포착하지 못할 수 있습니다. 이러한 문제가 없는 벤치마크는 코드 검색과 같은 단일 도메인에 집중하는 등 범위가 너무 좁아 범용 모델 평가에 부적합한 경우가 많습니다.

RTEB 소개

검색 임베딩 벤치마크(RTEB)를 여러분께 소개합니다. 이 벤치마크의 목표는 임베딩 모델의 진정한 검색 정확도를 측정하는 새롭고 신뢰할 수 있는 고품질 벤치마크를 만드는 것입니다.

진정한 일반화를 위한 하이브리드 전략

벤치마크 과적합 문제를 해결하기 위해 RTEB는 공개 데이터셋과 비공개 데이터셋을 모두 활용하는 하이브리드 전략을 사용했습니다.

• 공개 데이터셋: 코퍼스, 쿼리, 관련성 라벨이 완전히 공개됩니다. 이는 투명성을 보장하며 모든 사용자가 결과를 재현할 수 있게 합니다.
• 비공개 데이터셋: 이 데이터셋들은 비공개로 유지되며, 평가 과정은 공정성을 보장하기 위해 MTEB 관리자들이 수행합니다. 이러한 구성은 모델이 미지 데이터에 대한 일반화 능력을 명확하고 편향 없이 측정할 수 있게 합니다. 투명성을 위해 각 비공개 데이터셋에 대해 기술 통계, 데이터셋 설명, 그리고 (쿼리, 문서, 관련성) 예시 샘플을 제공합니다.

이러한 하이브리드 접근 방식은 광범위하고 견고한 일반화 능력을 갖춘 모델 개발을 장려합니다. 공개 데이터셋과 비공개 데이터셋 간 성능 차이가 현저한 모델은 과적합을 시사하며, 이는 커뮤니티에 명확한 신호를 제공합니다. 일부 모델은 이미 RTEB의 비공개 데이터셋에서 성능이 현저히 저하되는 모습을 보이고 있습니다.

실제 도메인을 위해 설계됨

RTEB는 기업 사용 사례에 특히 중점을 두고 설계되었습니다. 복잡한 계층 구조 대신 명확성을 위해 단순한 그룹을 사용합니다. 단일 데이터셋은 여러 그룹에 속할 수 있습니다(예: 독일 법률 데이터셋은 “법률” 그룹과 “독일어” 그룹 모두에 존재).

• 다국어 지원: 벤치마크 데이터셋은 영어, 일본어와 같은 일반적인 언어부터 벵골어, 핀란드어와 같은 희귀 언어까지 총 20개 언어를 포괄합니다.
• 도메인 특화: 벤치마크에는 법률, 의료, 코드, 금융과 같은 핵심 기업 도메인의 데이터셋이 포함됩니다.
• 효율적인 데이터셋 규모: 데이터셋은 의미 있는 규모(최소 1,000개 문서 및 50개 쿼리)이면서도 평가에 지나치게 많은 시간과 비용이 소요되지 않도록 설계되었습니다.
• 검색 결과 우선 평가 지표: 기본 리더보드 지표는 순위 지정 검색 결과 품질의 표준 측정값인 NDCG@10입니다.

전체 데이터셋 목록은 아래에서 확인할 수 있습니다. 공개 및 비공개 부분 모두 다양한 범주의 데이터셋으로 지속적으로 업데이트할 계획이며, 커뮤니티의 적극적인 참여를 권장합니다. 다른 데이터셋을 제안하고 싶으시면 GitHub의 MTEB 저장소에 이슈를 생성해 주십시오.

RTEB 출시: 커뮤니티의 노력

RTEB가 오늘 베타 버전으로 출시됩니다. 우리는 커뮤니티의 노력으로 견고한 벤치마크를 구축할 수 있다고 믿고, 개발자와 연구자 모두의 피드백을 바탕으로 RTEB를 발전시켜 나갈 계획입니다. 여러분의 의견을 공유하고, 새로운 데이터셋을 제안하며, 기존 데이터셋의 문제를 발견함으로써, 모두가 더 신뢰할 수 있는 표준을 구축하는 데 도움을 주시길 권합니다. Github의 MTEB 저장소에서 토론에 참여하거나 이슈를 생성하여 참여하실 수 있습니다.

한계점과 향후 계획

개선이 필요한 부분을 명확히 하기 위해 RTEB의 현재 한계점과 향후 계획을 투명하게 공개합니다.

• 벤치마크 범위: RTEB는 현실적이고 검색 중심의 사용 사례에 초점을 맞춥니다. 매우 까다로운 합성 데이터셋은 현재 목표는 아니지만 향후 추가될 수 있습니다.
• 모달리티: 벤치마크는 현재 텍스트 전용 검색을 평가합니다. 향후 릴리스에서는 텍스트-이미지 및 기타 다중 모달 검색 작업을 포함할 계획입니다.
• 언어 지원 범위: 중국어, 아랍어와 같은 주요 언어는 물론, 저자원 언어(low-resource language, 희소 언어를 의미)까지 지원 범위를 넓히기 위해 적극적으로 추진 중입니다. 해당 기준에 부합하는 고품질 데이터셋을 알고 계시다면 알려주시기 바랍니다.
• 질의응답(QA) 데이터셋 재활용: 현재 검색 데이터셋의 약 50%는 QA 데이터셋을 재활용한 것으로, 질문과 문맥 간 어휘 중복이 심해 키워드 매칭에 의존하는 모델이 진정한 의미 이해를 하는 모델보다 유리해지는 등의 문제가 발생할 수 있습니다.
• 비공개 데이터셋: 일반화 능력 테스트를 위해 MTEB 관리자만 접근 가능한 비공개 데이터셋을 활용합니다. 공정성 유지를 위해 모든 관리자는 해당 데이터셋으로 훈련된 모델을 공개하지 않으며, 공개 채널을 통한 테스트만 수행하기로 약속하여 특정 기업이나 개인이 부당한 이점을 얻지 않도록 합니다.

우리의 목표는 RTEB가 검색 평가 분야의 커뮤니티 신뢰 기준이 되는 것입니다.

RTEB 리더보드는 오늘 Hugging Face에서 MTEB 리더보드의 새로운 검색(Retrieval) 섹션의 일부로 이용 가능합니다. 리더보드에서 여러분의 모델을 평가해보세요. 그리고 AI 커뮤니티 전체를 위한 더 나은 신뢰할 수 있는 벤치마크 구축에 함께해 주시길 바랍니다.

[1] 제로샷 점수는 모델 제공자가 명시적으로 훈련에 사용했다고 밝힌 평가 세트의 비율을 의미합니다. 이는 일반적으로 훈련 분량만 포함합니다.