#지연시간

LLM 추론의 효율적 프론티어

AI 업계에서 비용과 성능의 트레이드오프를 나타내는 '효율적 프론티어' 개념을 LLM 추론 엔지니어링에 적용한 글입니다. 지연시간과 처리량 간 균형을 잡는 기법(배치 크기, 병렬화 전략 등)과 프론티어 자체를 확장하는 기법을 구분해 설명하며, 실무 배포 최적화에 유용한 가이드입니다.

상대성 네트웍스, 데이터센터용 초고속 광케이블 위해 2,200만 달러 투자 유치

Relativity Networks는 기존 광케이블보다 30% 빠른 데이터 전송이 가능한 중공 광섬유(hollow-core fiber) 기술을 개발하는 스타트업으로, 시드 단계에서 2,200만 달러를 유치하고 익명의 대형 하이퍼스케일러로부터 4,000만 달러 규모 후속 주문을 확보했습니다. AI 연산 규모가 커지면서 GPU 간 물리적 거리가 늘어나는 상황에서, 지연시간 감소는 데이터센터 건설의 지리적 제약을 완화할 수 있어 주목받고 있습니다.