#벤치마킹

안드리센 호로위츠 투자받은 Vals, AI 벤치마킹 표준 노린다

AI 벤치마킹 스타트업 Vals가 안드리센 호로위츠(Andreessen Horowitz)가 주도한 시리즈 A에서 4,000만 달러를 유치했습니다. Vals는 공개된 시험 문제에 모델을 학습시켜 성적을 부풀리는 기존 벤치마크의 한계를 지적하며, 문제를 비공개로 유지하고 법률·금융·코딩 등 실제 산업별 과제 수행 능력을 평가하는 방식으로 차별화합니다. 매출이 작년 대비 8배 성장하는 등 빠르게 확장 중이며, AI 모델 도입 결정의 핵심 판단 기준으로 자리 잡고 있습니다.

리퀴드 AI, 엣지 디바이스용 벤치마킹 플랫폼 '피펫' 오픈소스 공개

Liquid AI가 엣지 디바이스에서 파운데이션 모델을 벤치마킹하는 오픈소스 플랫폼 'Pipette'를 공개했습니다. 모델 카드의 서버급 풀 정밀도 수치가 실제 스마트폰에서의 성능을 예측하지 못하는 문제를 해결하기 위해, 모델·양자화·런타임·하드웨어를 통합적으로 측정합니다. Artificial Analysis가 독립적으로 방법론 검증을 담당해 신뢰성을 높였습니다.

예견되었던 '큐데이(QDay) 상' 경진대회의 실패

현재의 양자 컴퓨터로 쇼어 알고리즘을 구현해 가장 큰 수를 인수분해하는 자에게 1비트코인을 주는 '큐데이 상(QDay Prize)' 경진대회가 있었습니다. 하지만 당초 예상대로 양자 오류 수정 기술의 부재와 작은 숫자를 대상으로 한 테스트의 한계로 인해, 양자 컴퓨터가 아닌 난수 생성기로도 동일한 결과를 내는 우승작이 선정되는 촌극이 벌어졌습니다.