요즘 AI 평가 방식, 뭔가 잘못된 거 아니야? AI 산업계의 최신 발표들을 훑어보다 보면 드는 생각이다. SignalForge와 Tenacious라는 이름의 팀이 내놓은 아웃바운드 워크플로우 시스템이 바로 그 예다. 이들이 주장하길, pretty한 그래프와 빵빵한 수치를 쏟아내는 기존 LLM 평가 방식으로는 AI가 실제 세계에서 뭘 제대로 할 수 있는지 알아내기란, 김 빠진 콜라만큼이나 쓸모없다는 것이다.
이제는 문법적으로 완벽한 문장을 뱉는 수준을 넘어섰다. 그건 쉬운 문제다. 최근 발표된 내용에 따르면, 치명적인 실패 사례는 텍스트 생성 자체의 문제가 아니었다. 오히려 판단 오류였다. 부실한 데이터에 기반한 과장된 주장, 초점 그룹이 쓴 듯한 모호한 기업식 언어로 흐르기, 혹은 — 이건 정말 고전적인 사례인데 — 고객과의 소통을 너무 빨리 예약 단계로 끌어올리는 식이었다. 심지어 새로운 CTO와 대화할 때, 기술적으로는 그럴듯하게 들리지만 사회적으로는 전혀 눈치 없는 소리를 할 수도 있다고 한다. 이 업계에서 5분만 있어 봤어도 이런 실수를 즉각 알아챌 수 있다. 이런 문제는 일반적인 어시스턴트 벤치마크로는 절대 잡아내지 못한다. 교실에서 종이비행기 날리기 테스트로 전투기 조종사의 실력을 가늠하려는 것과 마찬가지다.
결과는? 이런 구체적인 워크플로우 문제를 집중 공략했더니, 개선된 ‘Path B 비평가’가 테스트 데이터에서 +48.84%p라는 놀라운 정확도 향상을 이끌어냈다고 한다. 물론 완벽하다는 주장은 아니지만, 광범위한 접근 대신 판단과 평가에 깊이 파고드는 것이 옳은 방향이었음을 보여주는 강력한 증거다.
왜 현재 벤치마크는 실무에서 꽝인가 (진짜다)
솔직히, 난 이 일을 20년째 해왔다. 한때 유행했던 온갖 신조어들이 스타트업 창업자의 초기 투자금보다 빠르게 사라지는 것을 봐왔다. 새로운 AI 모델들이 모든 것을 바꿀 것이라는 말을 끊임없이 듣는다. 때로는 정말 그렇기도 하다. 하지만 많은 경우? 결국은 똑같은 오래된 문제에 새 포장지를 씌우고, 새로운 전문 용어로 치장한 것에 불과하다. 현재의 일반적인 LLM 벤치마크들이 딱 그렇다. 물론 표현력, 유창함, 기본적인 작업 완료 능력은 테스트한다. 하지만 프로젝트 전체를 좌초시키거나 고객 관계를 망칠 수 있는 미묘하고, 때로는 인간적인 실패는 완전히 놓친다.
약한 공개 신호에서 비롯된 과장된 주장. 일반적인 아웃소싱 언어로 흘러가기. 너무 일찍 예약 단계로 넘어가기. 가격 협상 과정에서의 실수. 기술적으로는 그럴듯하지만 사회적으로는 어긋나기. 이건 추상적인 개념이 아니다. 이건 기업에 돈을 날리고 평판을 실추시키는 실제 실패 사례들이다. 그리고 Tenacious-Bench v0.1을 만든 사람들은 분명 이 간극을 봤다.
이는 광범위한 어시스턴트 벤치마크나 일반 상담원 벤치마크로는 쉽게 측정하기 어려운 행동 유형입니다.
이것만큼은 명확하고, 또 결정적이다. 고양이 시를 쓰는 챗봇의 능력을 테스트하기 위해 만들어진 벤치마크가 고객에게 말도 안 되는 약속을 할지 여부를 알려주지는 못한다. 목표 자체가 근본적으로 다르기 때문이다.
더 나은 덫 만들기: Tenacious의 접근 방식
그래서 그들은 무엇을 했는가? 그들만의 벤치마크, Tenacious-Bench v0.1을 만들었다. 단순히 프롬프트 몇 개를 모아놓은 것이 아니다. 이 벤치마크는 특정 워크플로우 수준의 실패 모드를 중심으로 설계되었다. 총 225개의 태스크를 학습, 개발, 그리고 테스트 세트로 나누었다. 하지만 진짜 핵심은 데이터 생성 방식에 있다:
- Trace-derived: 실제 세계의 데이터.
- Programmatic: 제어된 매개변수 스윕.
- Multi-LLM-synthesis: AI를 이용한 복잡한 사례 생성.
- Hand-authored: 인간의 비판적이고 전략적인 접근.
이 혼합이 매우 중요하다. 그들은 단순히 합성적인 슬롯 채우기나 일화적인 데이터에 의존하는 벤치마크를 원하지 않았다. 실제 데이터 추적, 체계적인 스윕, 적대적 사례, 그리고 단순한 템플릿으로는 놓치는 생성된 사례까지 모두 커버하기를 원했다. 이것이 비즈니스 상호작용의 복잡한 현실을 근사하게 만들어가는 방법이다.
여기서 핵심 결정은 그들이 Path B: 선호도 기반 조정된 심판 또는 비평가라고 부르는 것을 선택한 것이다. 이는 유행을 따르려는 선택이 아니었다. 핵심 생성기가 병목 현상이 아니라는 관찰에 대한 실용적인 대응이었다. 시스템은 괜찮은 초안을 만들어낼 수 있었다. 문제는 그 초안이 위험한 영역을 넘나드는 것을 인식하지 못한다는 점이었다. 그래서 생성기를 ‘더 유창하게’ 만들려고 노력하는 대신, 그들은 판단의 일관성에 집중했다. 솔직히 말해서, 이건 더 똑똑한 문제 해결 방식이다.
이것이 실제로는 무엇을 의미할까? Tenacious 특유의 실패에 집중하고, 하나의 결과는 승인하고 다른 결과는 저하된 선호도 쌍을 생성하며, 경량 비평가 모델을 학습시킨 후, 이를 오래된 휴리스틱 기준선과 비교하여 테스트 데이터에서 평가하는 것을 의미한다. 벤치마크 자체는 구조화되어 있으며, 각 태스크별로 source_mode, dimension, task_type과 같은 메타데이터를 포함한다. 입력, 후보 결과, 정답, 그리고 채점 기준까지 포함한다. 테스트 데이터가 학습 또는 개발 세트에 실수로 유출되지 않았는지 확인하기 위한 오염 검사까지 추가했다.
결과는 상당히 극명했다. 모든 과정을 거친 후, 최종적으로 더 강력한 GPU 기반 어댑터가 아닌, 가벼운 로컬 비평가만으로도 엄청난 개선이 이루어졌다. 테스트 기준선의 정확도는 0.5116이었고, 학습된 정확도는 1.0000까지 치솟았다. 거의 49%p의 향상이다. 그리고 중요한 것은, 이것이 단순한 일반적인 품질 점수가 아니라는 점이다. 이것은 벤치마크가 포착하도록 설계된 정확히 비즈니스 특정 실패 모드에 대한 측정된 개선이다. 이것이야말로 실제 세계에서 실제로 중요한 종류의 목표 개선이다.
물론, 완벽한 프로젝트는 없다. 가장 큰 남은 한계점은 절차적인 것으로, 평가자 간 연구가 두 번째 검토를 기다리고 있다고 한다. 하지만 그 단서에도 불구하고, 이곳에서의 작업은 이 점점 더 강력해지는 AI 모델들이 준비되었는지, 아니면 같은 오래된 실수를 더 빠르게 반복할 것인지 실제로 평가하는 어려운 작업에서 중요한 진전을 이루었다.
여기서 얻을 수 있는 교훈은 무엇인가? 간단하다. 복잡한 실제 워크플로우를 위한 AI를 구축하고 있다면, 일반적인 벤치마크에 의존하는 것을 멈춰라. 그들은 당신을 속이고 있다. 자신만의 벤치마크를 구축하고, 해당 도메인에 중요한 특정 실패 모드에 집중하라. 그러면 당신의 AI가 실제로 자신의 일을 시작하고, 무엇보다도 엄청난 판단 착오로 인한 손실 대신 돈을 벌기 시작할지도 모른다.
