r/singularity • 24일 전

서브쿼드래틱, LLM 확장 한계 돌파 주장…비용 최대 1000倍 절감

IMP

8/10

핵심 요약

전 구글 딥마인드와 메타 엔지니어들이 설립한 스타트업 '서브쿼드래틱(Subquadratic)'이 기존 대비 처리 비용을 1,000분의 1 수준으로 줄이는 새로운 AI 아키텍처를 발표했습니다. 이 모델은 데이터가 늘어나도 연산량이 비례해서 증가하는 선형 스케일링(Linear scaling)을 채택해 최대 1,200만 토큰의 컨텍스트 윈도우를 처리할 수 있다고 주장합니다. 비즈니스 측면에서 이 기술이 검증된다면 RAG(검색 증강 생성) 파이프라인이 불필요해질 수 있으나, 독립적인 동료 평가나 성능 저하 검증이 부족하다는 산업계의 비판적 시각도 존재합니다.

번역된 본문

우선, 얼리 액세스 대기열에 등록하려면 웹사이트의 양식을 제출해야 합니다. https://subq.ai/

전 구글 딥마인드(DeepMind) 및 메타(Meta) 엔지니어들이 설립한 스타트업 서브쿼드래틱(Subquadratic)은 기존 모델과 비교해 처리 비용을 최대 1,000분의 1 수준으로 줄이는 아키텍처를 개발했다고 주장합니다.

다음은 이들이 주장하는 기술적 세부 사항입니다.

병목 현상(The bottleneck)

현재 대규모 언어 모델(LLM)은 확장의 한계에 직면해 있습니다. 입력 데이터가 두 배로 늘어나면 일반적으로 연산 비용이 기하급수적으로 치솟습니다. 이들은 이러한 비효율성이 컨텍스트 윈도우와 모델의 기능을 확장하는 데 있어 주된 걸림돌이라고 설명합니다.

선형적 해결책(The Linear Solution) *

서브쿼드래틱의 모델은 선형 스케일링(Linear scaling)을 구현할 것을 약속합니다. 이 프레임워크에서는 데이터가 두 배로 늘어나도 처리 요구량이 단순히 두 배로만 증가합니다. 이 회사는 1,200만 토큰의 컨텍스트 윈도우를 구현했다고 발표하며, 100만 토큰 규모에서 표준 트랜스포머(Transformer) 아키텍처와 비교해 52배의 효율성 향상을 달성했다고 주장합니다. 또한 이것이 RAG(검색 증강 생성)에 미치는 영향력도 언급했습니다.

만약 모델이 성능 저하 없이 방대한 데이터를 자체적으로 처리할 수 있다면, 현재 널리 쓰이는 RAG 및 복잡한 벡터 데이터베이스 파이프라인 같은 우회 기법들은 더 이상 필요하지 않게 될 수 있습니다. 모델이 단순히 프롬프트 내에서 전체 데이터셋을 한 번에 처리할 수 있기 때문입니다.

현실 점검, 벤치마크 및 가중치 등...

과학계와 산업계에서는 현재 동료 평가(Peer review)를 요구하고 있습니다. 하드웨어의 한계나 정확도에서의 숨겨진 트레이드오프(Trade-off) 때문에 수많은 '돌파구'들이 백서(Whitepaper) 단계를 넘지 못하고 좌절된 사례가 많았기 때문입니다.

여기서 '돌파구'가 아닌 부분은 무엇일까요:

전 딥마인드 및 메타 출신들이 벤처 캐피탈을 유치하기 위해 이러한 주장을 펼치는 동안, 이 스타트업은 중요한 기술적 한계를 편리하게 무시하고 있습니다. 여기에는 단순한 데이터 검색과 복잡한 전역 추론(Global reasoning) 사이의 근본적인 수학적 트레이드오프, 소프트웨어만으로는 결코 해결할 수 없는 하드웨어 메모리 대역폭 병목 현상이라는 엄연한 물리적 한계가 포함됩니다. 또한 이 폐쇄형 모델(Closed-source model)이 실제로 아키텍처의 패러다임 전환인지, 아니면 인공지능의 다음 도약인 척 위장한 또 다른 고손실(Highly lossy)의 하이브리드 기교에 불과한지 검증할 독립적인 동료 평가가 절대적으로 부족합니다.

한편, 서브쿼드래틱은 비전 펀드(Vision Fund), 틴더(Tinder) 공동 창립자, 그리고 오픈AI(OpenAI) 및 앤스로픽(Anthropic)의 초기 투자자들로부터 2,900만 달러(약 390억 원)라는 대규모 시드 펀딩을 유치했습니다.

IT 매체 더뉴스택(The New Stack)에 따르면, 이 회사의 기업가치는 5억 달러(약 6,700억 원)에 달하는 것으로 알려졌습니다.

원문 보기

원문 보기 (영어)

First, to join the early access queue, you must submit a form on their website. https://subq.ai/ The startup Subquadratic, founded by ex-DeepMind and Meta engineers, claims to have developed an architecture that reduces processing costs by up to 1,000x compared to current models. Here is the breakdown of the technical claims: The bottleneck Current LLMs face a scaling wall. Doubling the input data typically causes computational costs to explode exponentially. This inefficiency is the primary barrier to expanding context windows and model capabilities according to them The Linear Solution \* Subquadratic’s model promises linear scaling. In this framework, doubling the data only doubles the processing requirement. They are reporting a 12-million-token context window, claiming a 52x efficiency gain at the 1-million-token scale compared to standard Transformer architectures and the Impact on RAG. If models can natively handle this much data without performance degradation, current workarounds like RAG and complex vector database pipelines could become obsolete. The model would simply process the entire dataset within the prompt. The Reality Check, benchmarks, weights and etc... The scientific community is currently calling for peer reviews. We have seen many "breakthroughs" fail to move past the whitepaper stage due to hardware constraints or hidden trade-offs in accurac What is not a breakthrough here: While the ex-DeepMind and Meta make those claims to attract venture capital, crucial technical limitations are being conveniently ignored by the startup, including the fundamental mathematical trade-off between simple data retrieval and complex global reasoning, the stark physical reality of hardware memory bandwidth bottlenecks that software alone simply cannot fix, and the glaring lack of independent peer review to verify whether this closed-source model is an actual architectural paradigm shift or just another heavily lossy, hybrid trick disguised as the next leap forward in artificial intelligence. Subquadratic just pulled in a heavy $29 million in seed funding, backed by players like Vision Fund, Tinder’s co-founder, and early investors from OpenAI and Anthropic. According to the website The New Stack, the company's valuation reached US$500 million.

LLM 아키텍처 비용 효율화 선형 스케일링 시드 투자 RAG