Hacker News • 3일 전

JevBench — 타입 안전 결정 모델을 위한 재현 가능한 벤치마크 공개

IMP

5/10

핵심 요약

Hacker News에 타입 기반 결정 모델을 평가하는 재현 가능한 벤치마크 'JevBench'가 소개되었습니다. 이 벤치마크가 classifier.dev를 측정한 결과, 이 서비스는 자체 모델이 아니라 TypeSafe의 Jev 모델에 가격 층과 저신뢰도 에스컬레이션(모델 캐스케이드)을 얹은 것으로 확인되었습니다. 자기 모델끼리 순위를 매기는 문제 때문에 v1.2.4부터 명예 언급으로 분류된다는 점이 흥미롭습니다.

번역된 본문

classifier.dev · 순위 없음 · JevBench 점수 83.6 · Jev 1.13.0(#1)은 74.4점 · Jev(TypeSafe) 기반 실행.

지능 85.1 · 캘리브레이션 77.9 · 속도 87.6 · 비용 84.3 · 1,000개 결정당 약 $0.0033(추정).

Jev(TypeSafe) 기반 실행 — 목록에는 올랐지만 순위는 매겨지지 않음. 이것을 Jev와 순위 비교하면 Jev의 모델을 Jev의 모델과 겨루는 셈이 되므로, v1.2.4부터는 1위 대신 '명예 언급'으로 분류됩니다. 순위를 매기지 않는 이유, 가격 산정 전제, 그리고 우리가 발견한 내용은 다음과 같습니다.

classifier.dev는 자체 모델이 아닙니다. 공식 페이지에 스스로 밝히고 있습니다: "빠른 티어(fast tier)는 TypeSafe의 결정 모델인 Jev입니다"(https://classifier.dev/benchmark, 2026-09-20 확인), 그리고 API는 "model": "jev-1.13.0"으로 응답합니다 — 이 벤치마크가 Jev 1.13.0으로 직접 측정한 것과 동일한 모델 버전입니다. classifier.dev가 추가한 것은 가격 책정과, 스마트 티어에서의 오케스트레이션 계층입니다: "스마트 티어는 Jev에 추론 모델을 더해, Jev가 신뢰도 0.7 미만으로 판정한 답변만 다시 묻는 방식입니다" — 저신뢰도 에스컬레이션(모델 캐스케이드)이지, best-of-N도, self-consistency도, 위원회 방식도 아닙니다. 공개된 에스컬레이션 모델은 gemini-3.8-flash입니다. 이것을 Jev와 순위 비교하면 Jev의 모델끼리 겨루는 것이 되므로, v1.2.4부터 1위 대신 명예 언급입니다. 측정된 것은 빠른 티어뿐입니다. 스마트 티어의 에스컬레이션은 실행된 적이 없어 여기서 점수를 매기지 않습니다.

가격. 결정 1,000개당 $0.0033은 정액제 요금제를 최대로 사용했을 때의 추정치입니다: classifier.dev Pro는 월 $20으로 하루 20만 건의 빠른 분류를 제공하고(https://classifier.dev/pricing, 2026-09-20 확인), 분류 1건이 결정 1건입니다. 사용량이 적으면 결정당 비용은 올라갑니다 — 할당량의 10분의 1을 쓰면 1,000건당 $0.033입니다. 우리가 사용한 무료 티어(하루 2만 건의 빠른 분류)는 비용이 들지 않습니다. 정액제가 어떻게 재원 조달되는지는 페이지에 나와 있지 않아 그들의 원가 구조는 알 수 없습니다. 공개된 유일한 수치는 호출자에게 부과되는 모델 비용입니다: "빠른 티어의 기반 모델은 1,000건당 약 $0.005가 들며 TypeSafe 키가 필요합니다"(https://classifier.dev/pricing) — 이는 그들의 짧은 한 문장 입력 기준이지, JevBench의 완전한 질문 기준이 아닙니다.

단순 전달은 아님. 우리 데이터셋에서 빠른 티어는 판정 티어에서 97.3%를 기록해 Jev의 94.5%를 앞섰고, 하드 티어에서는 70.5%로 Jev의 74.1%에 뒤졌습니다. classifier.dev는 이런 차이에 대해 배칭(batching)으로 설명합니다("빠른 티어는 Jev를 요청 하나에 1,000개씩 묶어 처리합니다"). 그들 자신의 두 테스트 세트에서는 이 차이를 노이즈로 측정했습니다.

합법적이고 잘 문서화된 제품입니다: 계정 없이 무료, 오픈소스(https://github.com/mrmps/classifier-dev), 제작자는 Michael Ryaboy(@michael_chomsky).

2026-09-20 확인: classifier.dev · classifier.dev/benchmark · classifier.dev/pricing · classifier.dev/about

원문 보기

원문 보기 (영어)

classifier.dev no rank 83.6 JevBench Score · Jev 1.13.0 (# 1 ) scores 74.4 Runs on Jev (TypeSafe) . Intelligence 85.1 Calibration 77.9 Speed 87.6 Cost 84.3 $ per 1,000 decisions ~ $0.0033 est. Runs on Jev (TypeSafe) — listed, not ranked. Ranking it against Jev would rank Jev's model against Jev's model, so from v1.2.4 it is an honorable mention instead of #1. Why it is not ranked, what its price assumes, and what we found classifier.dev is not its own model. Its own pages say so: "The fast tier is Jev, TypeSafe's decision model" (https://classifier.dev/benchmark, read 2026-09-20), and the API answers with "model": "jev-1.13.0" — the same model version this benchmark measures directly as Jev 1.13.0. What it adds is a price and, on its smart tier, an orchestration layer: "The smart tier is Jev plus a reasoning model re-asking only the answers Jev put under 0.7 confidence" — escalation on low confidence (a model cascade), not best-of-N, not self-consistency and not a committee. Its published escalation model is gemini-3.8-flash. Ranking it against Jev would rank Jev's model against Jev's model, so from v1.2.4 it is an honorable mention instead of #1. Only the fast tier was measured. The smart tier's escalation was never run, so nothing here scores it. Price. $0.0033 per 1,000 decisions is an estimate from the published flat-rate plan at full use: classifier.dev Pro is $20/month for 200,000 fast classifications a day (https://classifier.dev/pricing, read 2026-09-20), and one classification is one decision. Lower use costs more per decision — at a tenth of that allowance it is $0.033 per 1,000 — and the free tier (20,000 fast classifications a day), which is what our run used, costs nothing. Their pages do not say how the flat rate is funded, so we do not know their cost basis; the only figure they publish is what the model costs a caller: "The model behind the fast tier costs about $0.005 per thousand classifications and needs a TypeSafe key" (https://classifier.dev/pricing) — for their short single-sentence inputs, not for JevBench's whole questions. Not a pass-through. On our set the fast tier scored 97.3 % on the judge tier against Jev's 94.5 %, and 70.5 % against 74.1 % on the hard tier. classifier.dev's own explanation for differences of this kind is batching ("The fast tier is Jev, packed a thousand to a request"); on their own two test sets they measured the same difference as noise. A legitimate, well-documented product: free without an account, open source (https://github.com/mrmps/classifier-dev), by Michael Ryaboy (@michael_chomsky). Read 2026-09-20 : classifier.dev · classifier.dev/benchmark · classifier.dev/pricing · classifier.dev/about

벤치마크 결정 모델 모델 캐스케이드 오픈소스 비용