PyTorch나 자동 미분(autograd), 머신러닝 라이브러리 없이 순수 C/CUDA만으로 GPT-2 급의 언어 모델을 제로부터 구축한 프로젝트가 공개되었습니다. 순방향/역방향 패스부터 바이트 수준 BPE 토크나이저, CUDA 엔진, FlashAttention까지 전체 학습 파이프라인을 직접 손으로 작성 및 검증한 것이 특징입니다. 실사용 챗봇보다는 대형 언어 모델의 동작 원리와 엔지니어링 과정을 투명하게 이해하기 위한 교육 및 연구용으로 큰 의미가 있습니다.
2019년 발표된 GPT-2는 GPT-1을 기반으로 파라미터와 학습 데이터를 대폭 확장한 언어 모델입니다. 악의적 사용을 우려해 전체 모델 공개를 보류하고 소규모 모델만 공개했던 이 사건은, 강력한 AI 모델의 책임 있는 공개를 둔러싼 초창기 핵심 이슈였습니다.
최근 오픈AI의 이미지 모델로 알려진 GPT-2를 활용해, 마치 아이폰으로 맥북 화면을 찍은 것 같은 극사실주의 이미지를 생성하는 프롬프트가 화제입니다. 이 프롬프트는 화면의 먼지, 지문, 반사광까지 디테일하게 묘사하여 AI 이미지 특유의 과도한 보정 느낌을 완벽히 숨기는 것이 특징입니다. 생성된 결과물은 실제 사진과 구분하기 힘들 정도로 높은 수준의 현실감을 보여주어 AI 이미지 생성 기술의 진일보를 보여줍니다.
2019년 오픈AI는 특정 주제를 주면 문맥에 맞는 글을 매우 자연스럽게 생성하는 텍스트 생성 모델 GPT-2를 발표했습니다. 그러나 가짜 뉴스나 악의적 콘텐츠 생성 등 안전 및 보안상의 우려로 인해 원본 모델이 아닌 축소된 버전만 공개하기로 결정했습니다. 이 결정은 AI 알고리즘의 위험성과 윤리적 공개 기준에 대한 업계 전문가들의 치열한 논쟁을 촉발하는 계기가 되었습니다.