HN
Hacker News • 5일 전
IMP 6
노르웨이 국립도서관, 화웨이 2PB 플래시 스토리지로 자국어 LLM 구축
노르웨이 국립도서관이 영어 중심의 상용 LLM을 대체하기 위해 자국의 역사와 문화가 반영된 주권 AI(주권 LLM)를 개발하고 있습니다. 이를 위해 20PB 규모의 자체 디지털 데이터를 정제하는 파이프라인에 2PB의 화웨이 오션스토어(OceanStor Dorado) 플래시 스토리지를 도입해 데이터 병목 현상을 해소하고 있습니다. 이 과정은 대규모 아카이브를 AI 학습 파이프라인으로 효율적으로 전송하는 기술적 과제와 자국어 평가 및 거버넌스 확립의 중요성을 보여줍니다.
주권 AI 노르웨이 국립도서관 화웨이 스토리지