Hacker News • 21일 전

똑똑하지만 서툰 AI, 결국 스스로를 자동화하다

IMP

7/10

핵심 요약

LLM은 방대한 코드를 분석하고 수정하는 데 탁월하지만, 본질적으로 비결정론적이고 실수를 반복하기 쉽습니다. 개발자는 LLM의 이러 한계를 극복하기 위해 빠르고 확실한 결정론적 도구와 엄격한 워크플로우로 AI를 샌드위치처럼 감싸는 아키텍처를 제안합니다. 궁극적으로 반복되는 AI의 작업을 AI 스스로가 스크립팅하여 자동화하게 만들고, 안정적인 도구로 대체함으로써 'AI의 자동화'를 이뤄내는 개발 철학을 확인할 수 있습니다.

번역된 본문

한때 안드레이 카파시(A. Karpathy)는 OpenAI 연구원들이 AI를 개선함으로써 사실상 '자신들의 존재를 자동화(Automating themselves away)'하고 있다고 말한 적이 있습니다. 현재 저는 Anthropic의 모델을 활용해 Beagle SCM을 개발하고 있으며, 이 모델은 산더미 같은 코드에서 사소한 오류를 찾아내고 티켓을 등록한 뒤 수정하는 등 정말 훌륭한 능력을 보여줍니다. 하지만 어제는 프로젝트에 build/ 디렉터리를 무려 두 번이나 커밋하는 실수를 저질렀습니다. 뛰어나지만, 어딘가 서툴기도 한 것입니다. 대규모 언어 모델(LLM)의 특성상 모델이 더 발전한다고 해서 이러한 문제가 사라지는 것은 아닙니다. 이들은 본래 정확하지 않고 비결정론적(non-deterministic)이기 때문입니다. 파서 생성기인 레이젤(Ragel)은 1만 줄(10 KLoC)에 달하는 공식적으로 올바른 파서를 즉각적이고 결정론적으로 '작성'할 수 있습니다. 클로드(Claude)는 어떨까요? 음, 저는 지시문에 모두 대문자로 '절대로, 어떤 것도 수동으로 파싱하지 마세요(DO NOT PARSE ANYTHING MANUALLY, EVER)'라고 적어두었습니다. 그 과정은 고문과 같을 뿐만 아니라 오류가 발생하기 쉬우니 절대 하지 말라는 뜻입니다. 그럼에도 불구하고 클로드는 어김없이 파싱을 시도하므로, 저는 주기적으로 코드베이스를 스캔하여 수동 파싱 시도를 찾아 지우라고 지시합니다. 이 방법이 대부분은 먹힙니다. 모델은 점점 더 똑똑해지지만, 서투른 성질은 여전합니다. 비싸고, 느리고, 서툴지만 뛰어난 LLM을 다루는 방법은 빠르고 강력하며 결정론적인 도구를 제공하는 것, 그리고 전체 시스템을 결정론적이고 공식적인 워크플로우로 구축하는 것입니다. 작업을 더 빠르게 만들고, 적절한 시점에 관련 정보를 볼 수 있게 하며, 서투름을 줄이고 스스로 교정할 수 있게 해야 합니다. 즉, 뛰어나지만 일관성 없는 비결정론적 특성을, 강력한 결정론적 도구와 공식적인 프로세스 사이에 샌드위치처럼 끼워 넣는 것입니다. 만약 우리가 이러한 도구와 프로세스를 유연하게 다룰 수 있게 만든다면, 이 이야기는 훨씬 더 흥미로워집니다. 그렇게 하면 클로드가 특정 작업의 순서를 너무 자주 수행할 경우 우리는 그것을 자동화합니다. 무언가에서 반복적으로 실패한다면, 검증 단계를 자동화합니다. 본질적으로 우리는 단순하고 신뢰할 수 있는 결정론적 도구를 위해 LLM이 스스로를 자동화(Automating away)하도록 만드는 것입니다. Beagle SCM은 LLM이 JavaScript로 자신만의 루틴을 스크립팅할 수 있게 해줍니다. 모든 무거운 작업은 C 언어로 구현되어 거의 건드리지 않지만, 도구 계층(샌드위치의 아랫부분)과 워크플로우 계층(윗부분)은 전부 JavaScript로 이루어져 있으며, node_modules 방식처럼 파일 시스템에서 코드를 가져옵니다. 거의 모든 언어의 소스 파일을 토큰화하고, 파일 기록과 커밋 기록을 조사하며, 링크를 교차 확인하는 것은 물론 기본적으로 git이 내부적으로 접근할 수 있는 모든 데이터에 도달할 수 있는 git 훅(git hooks)을 상상해 보십시오. 그것이 바로 Beagle입니다.

원문 보기

원문 보기 (영어)

Beagle SCM Automating away A. Karpathy once said that OpenAI researchers are effectively "automating themselves away" by improving their AI. Right now I develop Beagle SCM with Anthropic's Fable and it is of course a brilliant model able to spot nits in a mountain of code, file tickets, make fixes. Still, yesterday it managed to commit the build/ dir into a project, twice. It is brilliant, but clumsy. Due to the nature of LLMs, this issue is not going away as they progress further. They tend to be imprecise and non-deterministic. Ragel the parser generator can "code" a 10 KLoC formally correct parser in an instant, deterministically. What about Claude? Well, my instructions say in all caps: DO NOT PARSE ANYTHING MANUALLY, EVER. It would be torturous and it would be faulty, just don't. It tries anyway, so periodically I tell it to scan the codebase to find and remove any attempts at manual parsing. That mostly works. It becomes ever more brilliant, no less clumsy. The way to deal with an expensive, slow, clumsy but brilliant LLM is to give it fast, powerful and deterministic tools AND to build the entire thing into a deterministic formal workflow. Make it faster, make it see the relevant stuff at the right time, make it less clumsy, make it self-correct. Sandwich that brilliant but inconsistent non-determinism between powerful deterministic tools and equally formal processes. This story becomes even more interesting if we make the tools and processes malleable. That way, if Claude does some sequence of actions too often, we automate it. If it fails at something repeatedly, we automate the verification step. Essentially, we let the LLM automate itself away, in favor of simple reliable deterministic tools. Beagle SCM lets LLMs script their own routines in JavaScript. While all the heavy lifting is implemented in C and rarely touched, the tooling layer (the lower part of the sandwich) and the workflow layer (the upper part) are all JavaScript and pick their code from the filesystem, node_modules -style. Imagine git hooks that can tokenize source files in almost any language, inspect file history and commit history, cross-check links, and basically reach any data git can reach internally. That is Beagle.

LLM 자동화 결정론 Beagle-SCM 개발-워크플로우