메뉴
HN
Hacker News 28일 전

말은 의식의 부산물이다, 하지만 LLM은 그 반대다

IMP
7/10
핵심 요약

인간의 언어는 내면의 의식과 생각을 표현하기 위해 나오는 부산물이지만, LLM은 거대한 수학적 모델을 기반으로 다음 단어를 예측할 뿐 그 내면에 의식이나 근본적 아이디어가 존재하지 않습니다. 이러한 인간과 AI의 태생적인 차이를 이해하는 것이 기술 발전 방향과 AI 활용 시대를 통찰하는 핵심입니다. 과거 초창기 컴퓨터가 그랬듯 AI 역시 빠르게 효율화되어 누구나 강력한 도구를 활용하는 빌더가 되는 시대로 나아가고 있습니다.

번역된 본문

잠시 멈춰서 아주 간단한 질문 하나를 던져보세요. 당신의 말은 어디에서 오는가요? 말을 할 때, 생각이 먼저인가요, 단어가 먼저인가요? 머릿속에 생각이 먼저 떠오른 뒤에, 그 생각을 감쌀 적절한 단어를 찾아 나섭니까? 우리 모두가 그럴 것입니다. 단어는 결코 시작이 아닙니다. 단어는 겉껍질일 뿐입니다. 그 아래에 자리 잡고 있는 것은 바로 아이디어이자 의식입니다. 이제 LLM에 대해 똑같은 질문을 던져보세요. LLM에게는 상황이 정확히 반대입니다. 그리고 이 작은 차이가 우리가 나아갈 방향에 대한 거의 모든 것을 설명해준다고 생각합니다. (이 점을 기억해두세요. 나중에 유용할 테니까요.)

우리는 지금 변곡점에 서 있습니다. 역사에는 이러한 변곡점들이 수없이 많았고, 그때마다 인류는 한 단계 더 발전했습니다. 오래전, 호모 사피엔스는 말하고 생각하는 법을 배웠습니다. 진정한 마법은 그 소리 자체가 아니었습니다. 우리가 법, 정의, 철학 같은 추상적인 개념을 머릿속에 담을 수 있게 되었다는 사실이죠. 그것이 우리를 다른 모든 동물과 차별화했습니다. 인간의 무리는 같은 생각에 대해 서로 다른 소리를 내기 시작했고, 우리는 이 소리들을 언어라고 불렀습니다. 그러고는 글을 쓰는 법을 배웠습니다. 잉크와 종이, 그리고 인쇄기가 등장했습니다. 갑자기 물리적 거리는 더 이상 문제가 아니게 되었습니다. 인도에 있는 사람이 쓴 것을 유럽에 있는 사람이 읽을 수 있게 되자, 지식은 사람이 직접 이동하지 않아도 퍼져나갔습니다. 마법 같았지 않나요?

하지만 우리는 여전히 현실 세계의 문제를 안고 있었습니다. 물류가 그랬죠. 사물을 A지점에서 B지점으로 옮기는 일은 여전히 어려웠습니다. 그럼에도 신문, 책, 예술은 인간의 뇌를 계속해서 자극했고, 새로운 아이디어는 끊임없이 창조되었습니다. 그 시대에는 아이디어가 곧 금이었습니다. 무언가를 실행에 옮기는 것은 극도로 어려웠지만, 좋은 아이디어 하나는 적어도 나아갈 방향을 제시해주었습니다. 그러다 수학 계산을 할 수 있는 기계, 컴퓨터가 등장했고 이 또한 마법처럼 느껴졌습니다. 하지만 초기 컴퓨터는 매우 느리고 시끄러웠으며, 에어컨이 있는 큰 방을 차지했고, 수백만 달러를 들이는데 비해 돌려주는 것은 극히 적었습니다. 무언가 떠오르지 않나요? 이 생각을 일단 접어두세요.

이후 사람들이 정보를 공유하기 위해 컴퓨터들을 연결하면서 인터넷이 탄생했습니다. 이제 정보는 거의 순식간에 이동할 수 있게 되었습니다. 월드 와이드 웹(WWW)이 등장했고, 소셜 미디어도 나타났습니다. 어느 시점에서 누군가 간단한 질문을 던졌습니다. 왜 대기업만 이 모든 혜택을 누려야 할까? 우리 같은 평범한 사람들은 안 되는 건가? 그렇게 개인용 컴퓨터(PC)가 탄생했습니다. (고맙습니다, 스티브 잡스.) 그 이후에는 카메라가 달린 휴대폰이 등장하여, 우리는 대화하고 듣고 보는 것이 가능해졌습니다. 음성, 이미지, 비디오가 모두 하나로 합쳐진 것입니다. 그리고 그 이면에서 조용히 거대한 데이터 산을 쌓아 올리는 동안, 컴퓨터는 점점 더 전력 효율이 좋아졌습니다.

시간을 2017년으로 넘겨봅시다. 구글의 한 팀이 '트랜스포머(Transformer)'라는 것을 만들었고, 이것이 세상을 바꿨습니다. 우리는 마침내 LLM을 얻게 되었습니다. 그렇다면 LLM이란 진정 무엇일까요? 본질적으로 LLM은 컴퓨터가 계산해 낸 수학적 원리를 이용해 다음 단어를 예측하는 거대한 단어 덩어리입니다. 이제 다시 제 첫 번째 질문으로 돌아가 봅시다. LLM은 이전에 나온 모든 단어들을 기반으로 다음 단어를 예측합니다. 이것이 전부입니다. 그 밑에 어떤 아이디어가 자리 잡고 있는 것이 아닙니다. 단어가 곧 전부입니다. LLM에게는 단어가 근원적인 원인이며, 거기서 파생되는 어떤 의미는 그저 우연히 떨어져 나온 부산물일 뿐입니다.

하지만 당신의 뇌는 정반대로 작동합니다. 먼저 개념, 느낌, 이미지가 떠오르고, 그것을 묘사하기 위해 그제야 단어가 튀어나옵니다. (적어도 제 뇌는 그렇게 작동한다고 느낍니다.) 우리에게 단어는 의식의 부산물입니다. 하지만 LLM에게는 이 과정이 완전히 거꾸로입니다. 그리고 제가 계속 강조하고 싶은 부분은 바로 이 지점입니다. 나는 그 역전된 과정을 인간과 똑같이 복제할 수는 없다고 생각합니다. 사람들은 LLM이 너무 비싸고 전력을 너무 많이 소모한다고 말합니다. 맞는 말입니다. 하지만 초기 컴퓨터를 기억하시나요? 그들 역시 똑같았으며, 약 4분의 3세기가 지나자 주머니에 쏙 들어갈 만큼 작아졌습니다. LLM 역시 효율성을 갖추게 될 것입니다. 다른 점이 있다면, 이번에는 그 변화에 75년이나 걸리지 않을 것이라는 겁니다.

이제 인류의 모든 지식은 작은 채팅 상자 안에 들어와 있습니다. 우리는 그저 상상력을 발휘할 수 있는 똑똑한 몇 명의 인간만 있으면 됩니다. 그리고 여기서 거대한 패러다임의 전환이 일어납니다. LLM의 시대에 이제 모든 사람은 '창작자(builder)'가 되었습니다. 솔직히 말해서, 이제 막상 아직

원문 보기
원문 보기 (영어)
Stop for one second and ask yourself a simple question. Where do your words come from? When you speak, what comes first, the idea or the word? Do you first feel a thought inside you, and only after that go searching for the right word to wrap around it? I think we all do. The word is never the start. The word is just the skin. The idea, the consciousness, is the thing sitting under it. Now ask the same question about an LLM. For an LLM, it is exactly the opposite. And I think this one small difference explains almost everything about where we are heading. (Remember this, it will come in handy later.) We are standing at an inflection point right now. History is full of these points, and every single one pushed the human race forward. Long back, Homo sapiens learned to speak and think. The real magic was not the sound itself. It was that we could hold abstract ideas in our head, things like law, justice, and philosophy. That is what made us stand out from every other animal. Different groups of humans made different sounds for the same ideas, and we call these sounds languages. Then we learned to write. Then came ink, paper, and the printing press. Suddenly proximity was not a problem anymore. Something written by a person in India could be read by a person in Europe, and that knowledge travelled without the human travelling. Felt like magic, no? But we still had real world problems, like logistics. Moving a thing from point A to point B was hard. Still, newspapers, books, and art kept feeding the human brain, and ideas kept coming. In that era, ideas were the gold. Execution was extremely difficult, but a good idea at least gave you a direction to move in. Then came the computer, a machine that could do maths, and again it felt like magic. But it was slow, noisy, sitting inside an air conditioned room, eating millions of dollars and giving back very little. Does this ring a bell? Hold that thought. Then people connected computers to share information, and we got the internet. Now information could move almost instantly. The WWW arrived, then social media. At some point someone asked a simple question: why should only big businesses enjoy all of this? Why not normal people like us? And we got the personal computer. (Thank you, Steve Jobs.) After that came phones with cameras, so now we could talk, listen, and see. Voice, image, video, all together. And quietly, in the background, we were building a giant mountain of data, while computers were getting more and more power efficient. Fast forward to 2017. A team at Google built something called the Transformer, and it changed the world. We got LLMs. So what is an LLM, really? At its core, it is a big pile of words that predicts the next word, using some maths the computers figured out. Now come back to my first question. An LLM predicts the next word based on all the words before it. That is the whole story. There is no idea sitting underneath. The words are everything. For an LLM, words are the source, and any meaning is just a byproduct that falls out by accident. But your brain works the other way around. First there is a concept, a feeling, an image, and then the words come out to describe it. (At least, this is how I feel my own brain working.) For us, words are the byproduct of consciousness. For the LLM, it is completely backwards. And this is the part I keep coming back to. I do not think that direction can be replicated. People say LLMs are too expensive and too hungry for power. True. But remember the early computers? They were exactly the same, and within roughly three quarters of a century they became small enough to sit in your pocket. LLMs will also become efficient. The difference is, this time it will not take seventy five years. All of human knowledge is now sitting inside a small chat box. We just need a few smart humans who can imagine. And here is the big shift. With LLMs, everyone is a builder now. Honestly, is there any idea left that does not already have an app? Earlier, ideas were powerful because they showed the path, and execution was the hard wall. Today everyone has the information, and everyone can execute too. So what is actually left? It comes down to two things: consistency, and noise. Yes, noise. The internet today is completely flooded. Finding something good, or doing real marketing, is almost impossible. So I believe the people who win from here are the ones who are creative in their marketing and, more importantly, consistent. Not the smartest one. The most consistent one. This also makes me think about jobs. Are software engineers safe? I think yes. (Developers, I am honestly not so sure.) Because engineering is thinking, and coding is only writing. Now that LLMs are everywhere, anyone can code anything. But not everyone can think like an engineer. And let us be honest, coding was never the hard part anyway. Just think about the algorithm behind Google Maps. It gives you directions from New York to San Francisco with almost 100 percent accuracy, in a few seconds, while calculating billions of intersections and live traffic at the same time! The code is the easy part. That kind of thinking is the real thing. But one thing scares me a little. What if LLMs slowly become worse? Think about it. Everything written before 2017 was made by humans. After 2017, LLMs started filling the open web with their own content. And now that same content is being fed back to train the next LLMs. An LLM can give you perfect grammar and a rich vocabulary, but it can quietly lose the real context. Right now the share of AI content is small. But what happens when it keeps growing? Still, I am not pessimistic. AI is opening a completely new way of thinking, and with it, new opportunities that I cannot even predict yet. I feel lucky, actually. I have seen Windows 98, the Nokia 3315, the iPhone, the internet, M series MacBooks, and now ChatGPT, all in one lifetime. So I am excited. I really want to see how humans will think in the coming years. Are you?