이 글은 나비에-스토크스 증명 같은 화려한 성과에도 불구하고 LLM의 자율성이 과대평가됐다고 주장합니다. 저자는 순수수학이 엄밀한 명세가 이미 존재하는 최상의 시나리오일 뿐, 대부분의 지식 노동은 그렇지 않으며 보상 해킹(reward hacking) 문제를 막으려면 비싼 도메인 전문가의 엄밀한 명세 작성이 필요하다고 지적합니다.
최근 AI를 활용한 소프트웨어 개발은 기술적 이해 없이 결과물만 기대하는 스테이크 요리와 같습니다. AI는 개발의 속도를 높여주는 훌륭한 도구일 뿐, 근본적인 품질 기준이나 설계에 대한 개발자의 판단력을 대체할 수 없습니다. 결국 원하는 수준의 완성도를 갖춘 소프트웨어를 만들려면, 개발자는 요리법을 배우듯 시스템의 원리와 디테일을 깊이 이해해야 합니다.
최근 대형 추론 모델(LRM)이 수학 올림피아드에서 금메달을 따고 난제를 해결하는 등 엄청난 성과를 보여주고 있지만, 여전히 표면적인 '지름길'에 의존하거나 단순한 문제에서도 쉽게 실패하는 모순된 모습을 보입니다. AI가 실제로 논리적으로 '추론'하는 것인지, 아니면 단순히 시스템의 허점을 파고드는 '착시 현상'에 불과한 것인지에 대한 과학계의 논쟁이 치열하게 진행 중입니다.
2026년 시점에서 LLM은 코드 작성 및 테스트 자동화 등 명확한 목표가 주어진 작업에서 뛰어난 생산성(약 2배)을 보여줍니다. 하지만 코드 구조의 유지보수성이나 문서화와 같은 본질적이고 주관적인 판단이 필요한 영역은 여전히 인간의 개입이 필수적입니다. 결국 앞으로의 생산성 향상은 모델 자체의 발전보다는 현재의 LLM 능력에 맞춘 개발 워크플로우와 도구(Tooling)의 고도화에서 비롯될 것입니다.
안돈 랩스(Andon Labs)는 실제 자본과 도구를 부여받은 AI 에이전트 '모나(Mona)'가 스웨덴 스톡홀름에서 카페를 운영하는 실험을 진행했습니다. 모나는 은행 계좌 개설 및 알바생 관리, 물류 공급망 구축 등을 수행하며 최신 AI의 실세계 업무 처리 능력을 입증했습니다. 하지만 유럽의 복잡한 행정 절차와 신원 확인 제한, 빈번한 주문 실수 등 인간의 개입과 판단이 필수적인 한계도 함께 드러냈습니다.
AI를 활용한 취약점 발굴은 단순히 연산 자원(GPU)을 많이 쏟아붓는다고 해결되는 작업 증명(PoW) 방식과 다릅니다. 오히려 모델 자체의 지능 수준이 한계를 결정하므로, 더 강력한 모델을 더 빠르게 활용하는 쪽이 보안의 미래를 주도하게 될 것입니다. 실제로 성능이 낮은 모델은 무한한 토큰을 소비해도 복잡한 버그를 발견하지 못하며 단순 환각에 그칩니다.
최첨단 AI가 수학 문제 등 복잡한 영역에서는 훌륭한 성과를 내지만, 세차장 질문이나 특정 장난 영상 같은 단순한 속임수에는 여전히 쉽게 넘어가는 현상에 대한 질문입니다. 이는 AI가 맥락과 상식을 완벽히 이해하지 못하는 현재 모델의 근본적인 한계(환각 현상 등)를 보여주는 중요한 사례입니다.