https://en.wikipedia.org/wiki/The_Library_of_Babel
석사 시절 수업에서 한 교수님이 읽기 자료로 소개한 ‘바벨의 도서관’ (The Library of Babel) 은 내게 큰 인상을 남겼다. 육각형 방이 무한히 이어진 우주적 크기의 도서관이 있고 그곳에는 상상할 수 있는 모든 책이 존재한다 개념을 소개하고 있었다. 일종의 철학적 사고실험 같은 것이었는데 당시 나에게 너무 참신했던 것은 ‘내가 또는 인류가 새롭다고 생각하는 것이 이미 모두 어딘가에 존재하는 것일 수 있겠구나 다만 그것을 발견하지 못했을 뿐.’이라는 아이디어였다. 얼마 전 ChatGPT로 대표되는 대규모 언어 모델(LLM; Large Language Model)이 등장하면서, 요즘 Claude를 사용하다 보면 그 바벨의 도서관이라는 도서관이 디지털 형태로 이미 완성되어서 내 눈앞에 펼쳐져 있구나 하는듯한 느낌을 받는다. 바벨의 도서관에서는 인류의 모든 지식, 모든 가능한 문장과 아이디어가 이미 어딘가에 기록되어 있지만, 그것을 제한된 시간 안에 제한된 자원으로 찾는 것이 불가능하다는 매력적인 역설을 담고 있었다. 그런데 LLM은 우리의 질문에 즉각적으로 관련 정보를 “만들어서” 응답함으로써 이 문제를 해결한 셈이다. 마치 그 무한한 도서관에 엄청나게 유능한 사서가 등장해 우리가 원하는 책을 순식간에 찾아주는 것과 같은 느낌을 받는다.
바벨의 도서관과 LLM은 정반대의 접근 방식으로 같은 문제를 다룬다고 볼 수 있다. 바벨의 도서관에서는 모든 가능한 문자 조합이 무작위로 존재하기 때문에, 의미 있는 텍스트는 마치 실수 수직선 위에 정수가 존재하는 것처럼 희소하게 존재한다. 원래 바벨의 도서관의 방문자들은 대부분 언어로 조차 성립하지 않는 책들이 대부분인 서가를 헤매다가 평생을 소모할 수밖에 없다. 반면 LLM은 처음부터 의미 있는 텍스트만을 학습한다. 인간이 작성한 글, 즉 이미 언어로서 말이 되는 텍스트의 패턴을 가지고 그 패턴을 학습하여 그 패턴을 따라 새로운 텍스트를 생성하는 것이다. 이는 마치 바벨의 도서관에서 인간의 언어 상으로 의미 있는 책만을 모아놓은 특별한 섹션을—교보문고에서 베스트셀러 매대를 따로 만드는 것처럼—따로 만든 것과 같다고 할 수 있다. 보르헤스가 제시한 역설은 “모든 가능한 지식이 존재하지만 그것을 찾는 것은 불가능하다”는 것이었다. LLM은 이 역설에 대해 “이미 언어적으로 의미가 있는 패턴을 학습하면 언어로 표현될 수 있는 지식은 모두 표현할 수 있다”는 방식의 해결책을 제시하였다. 그러나 이로 인해 새로운 문제가 등장한다. 이제 우리는 “말이 되는” 텍스트는 쉽게 얻을 수 있지만, 그 텍스트가 의미가 있는 것인지 (즉, 현실 세계에 비추어 참인지 거짓인지, 유용한지 유해한 지를) 구분해야 하는 과제에 당면한다. 정보의 희소성 문제는 해결되었지만, 정보의 질과 신뢰성이라는 한 꺼풀 더 깊은 단계에서의 문제가 부각되는 것이다.
이 상황은 우주 탐사에 비유할 수 있다. 무한한 우주에는 외계 생명체가 존재할 확률은 100% 이지만, 광속 제한 등 물리적 제약으로 인해 우리가 그들을 실제로 만날 가능성은 0%다라고 하는 얘기가 있다. 이 비유를 바벨의 도서관에 가져온다면 LLM은 워프 드라이브와 같은 역할을 한다고 말할 수 있다. 그러나 중요한 차이점이 있다. 우주 탐사에서 워프 드라이브가 있다면 우리는 실제로 외계 행성에 도착할 것이다. 반면 LLM은 실제 지식의 영역으로 우리를 데려가는 것이 아니라, (내가 현재까지로 봤을 때는) 지식의 시뮬레이션을 제공하는 것 같다고 생각한다. 이는 실제 외계 행성을 방문하는 대신, 지구에서 만든 외계 행성의 가상현실을 경험하는 것과 같다고 할 수 있다. 그 시뮬레이션이 아무리 정교해도, 그것은 인간의 기록, 관측, 데이터, 상상 등을 기반으로 한 것일 뿐, 진짜 외계 생명체와의 만남이라고 하기는 어려울 것이다. 마찬가지로 LLM이 제공하는 정보는 인간이 기록한 데이터에 기반한 것으로, 그것이 실제 세계의 진리와 얼마나 일치하는지는 LLM 자체로는 검증하기 어렵다. 이것이 바로 ‘정보에 대한 접근성’과 ‘정보의 진정성’ 사이의 근본적인 긴장이다.
이 문제의 한 가지 원인은 경험의 간접성에 있는 것 같다. LLM은 현실 세계와 직접적인 상호작용 없이 텍스트 데이터를 통해 현실을 학습한다. 이제는 보편화된 멀티모달 모델들은 이미지, 오디오, 비디오 등 다양한 형태의 데이터도 함께 학습하지만, 여전히 근본적으로 데이터로 표현된 세계를 학습한다는 한계가 존재한다. 인간은 세계를 직접 경험하고, 자신의 행동이 세계에 미치는 영향을 관찰하며, 그 피드백을 통해 학습한다는 점에서 일단 한 가지가 다른 것 같다. 반면 AI는 다른 이들이 기록한 경험만을 학습하는 것이고, 스스로 세계와 상호작용하지 않는다. 만약 AI가 로봇에 탑재되어 현실 세계와 직접 상호작용한다면, 이러한 간접성의 한계를 일부 극복할 수 있을지도 모른다. 그러나 만약 그런 시대가 온다고 해도 생물학적인 로봇이 아닌 이상 근본적인 차이가 있을 것이라 생각한다. 인간의 경험은 생물학적 존재로서의 특성과 불가분 하게 연결되어 있다. 우리는 생존을 위한 욕구, 감정적 반응, 사회적 관계 등을 통해 세계를 경험한다. AI 로봇의 경험은 프로그래밍된 센서와 알고리즘을 통해 기록되는 값이며, 그 본질이 인간의 경험과 다를 지점이 남이 있을 것이라는 생각이 든다. (결국 죽음과 고통이라는 한계가 AI에 부여되지 않는 이상 그 갭이 계속 있지 않을까 생각이 드는데 이건 나중에 따로 더 생각해 봐야겠다.)
한편으로 인간도 책이나 영상을 통해 간접 경험을 하지만, 이를 해석하는 과정에서 자신의 직접 경험을 궁극의 레퍼런스로 삼게 된다. 내가 겪었던 고통, 내가 겪었던 기쁨, 내가 했던 생각 이런 지점들이 참조점이 되어서 나의 경험을 해석하게 되는 것이다. ‘아픔’을 설명한 텍스트를 읽을 때, 우리는 자신이 느꼈던 아픔의 경험에 기초하여 이를 이해한다. 여기에 추가로 인간은 간접 경험과 직접 경험을 구분하고, 그 한계를 인식하는 메타인지 능력을 가지고 있다. 즉, 간접과 직접을 나누는 한 단계 위의 사고(=메타)가 가능한 것이다. 이는 바벨의 도서관이 외부 세계와 분리된 닫힌 체계인 것과 다른 점이라 볼 수 있다. 어떤 진술이 참이 되려면 그것이 실제 세계의 사실과 일치해야 하는데, LLM과 바벨의 도서관 모두 그 진술이 도서관의 밖에 존재하는 세상과 일치하는지 여부에 대해서는 스스로 검증할 방법이 없을 것 같다. 그들 자신들의 텍스트를 현실과 대조할 수 없는 것이, 어떤 형식 체계도 자신의 일관성을 자신 안에서 증명할 수 없다는 근본적 한계와 유사한 느낌이다. (괴델 불완전성 정리 비슷한 느낌)
물론 어떤 대답에 대해서 비판적 검토 또는 비판적 질문을 던지는 것조차도 인간보다 LLM이 더 잘한다는 얘기도 하긴 하지만 (실제로 나도 LLM이 좋은 질문을 뽑아 준다고 느낄 때도 있지만—하지만 이 경우도 곰곰이 생각해 보면 그 질문들이 authentic 하지는 않고 좀 generic 하고 bland 하여 밋밋하다는 느낌을 준다), 진정한 비판적 사고와 LLM이 수행하는 패턴 인식 사이에는 근본적인 차이가 있다고 본다. 비판적 사고는 단순히 정보를 처리하는 것을 넘어, 그 정보의 가치, 맥락, 의미를 판단하는 능력이다. 그러기 위해서는 그 사고 과정을 메타적으로 인식하고, 가정과 전제를 지식 체계를 바탕으로 검토하며, 현실 세계를 바탕으로 가치 판단을 내리는 과정이 포함된다. 인간의 비판적 사고도 결국은 패턴 인식의 일종이 아닌가 하는 반론이 있을 수 있지만, 인간의 사고는 실존적 차원의 의미 탐색을 포함하며 자신의 존재와 유한성을 인식하는 가운데 사고한다는 점이 내가 보기에 현재로서는 알고리즘으로 존재하는 LLM과 다른 점이자 차별점인 것 같다. 다르게 말하면 LLM은 인간의 비판적 사고를 시뮬레이션하고 있고, 마치 바벨의 도서관에 ‘비판적 사고에 관한 책’이 비치되어 있지만 도서관이 스스로 비판적으로 사고할 수 없는 것과 같다는 얘기다.
이런 바벨의 도서관 맥락에서 프롬프트의 역할은 특별하다. LLM이 나오기 전 시절에 바벨의 도서관에서 방문자들이 무한한 책 중에서 의미 있는 것을 찾기 위해서 절망적으로 평생을 헤매던 상황을 상상하자면, 그들에게 필요했던 것은 정확히 어떤 책이 어디에 있는지 알려주는 지도 또는 안내서였을 것이다. 그것이 때로는 신적 영감이라고 얘기되기도 했을 것이다. LLM의 시대에는 프롬프트가 그와 유사한 메타가이드 역할을 하는 것 아닐까 싶다. 구글 시대에 검색어를 잘 넣는 게 중요했다면 LLM 시대의 프롬프트는 메타검색어 같은 느낌이고 바벨의 도서관을 탐색하는 네비게이션을 튜닝해 주는 드라이버 같은 툴이다. 좋은 프롬프트는 바벨의 도서관에서 무작위로 책을 고르는 것이 아니라, 특정 방, 특정 선반, 특정 책을 정확히 지정하는 것과 같아서 마치 영화 매트릭스에서 네오 앞뒤로 온갖 무기가 원하는 대로 쭉 나열이 됐던 그런 연출과 비슷하다. 더 나아가 프롬프트는 도서관에서 책을 읽는 방식까지 지정할 수 있다. 기존 바벨의 도서관이 수동적인 도서관이었다면, LLM이라는 유능한 사서가 등장하면서 도서관을 영화 매트릭스의 화이트룸처럼 바꾸어 버렸다. 프롬프트를 통해 우리는 바벨의 도서관이라는 무한한 미로에서 길을 잃기보다는, 오히려 도서관이 우리의 말에 따라서 우리 앞에 형상과 모습을 바꾸어 드러낸다고 생각할 수 있다.
이런 생각들을 쭉 해보면 LLM의 출현은 구글이 검색 기술의 혁신을 통해서 인류 지식의 본질과 접근 방식에 대해서 근본적인 변화를 가져왔던 것처럼 또 한 번의 변화를 가져오고 있다. 보르헤스가 상상했던 바벨의 도서관이 LLM을 통해 현실이 되면서, 우리가 정보에 접근하는 방식이 다시 한번 혁명적으로 바뀌고 있는데, 이 디지털 도서관의 진정한 가치는 당연히 책의 양이 아니라 (양 자체는 이제 그야말로 무한하다고 할 수 있으니) 우리가 그 책들에서 발견할 수 있는 의미에 있다. 의미라 함은 그 책들로부터 우리가 어떤 내용을 찾아내고 흡수하여 현실세계에 행동으로 반영할 것인지 결정해야 한다는 것이다. 모든 가능한 지식이 손끝에 있는 시대에, 중요한 것은 무엇을 알 수 있는가가 아니라 무엇을 알아야 하는가이다.
이것이 바로 LLM 시대에 메타인지의 중요성이 부각되는 지점이다. 메타인지란 자신의 지식과 사고 과정에 대해 인식하고 평가하는 능력이다. LLM이 무한한 정보가 아닌 무한한 지식을 담고 있는 바벨의 도서관에 사서로서 우리를 안내할 때, 우리는 단순히 지식을 받아들이는 수동적 존재가 아니라, “어떤 지식이 지금 나에게 필요한가?”, “이 지식이 신뢰할 수 있는가?”, “이 지식이 내 가치관과 세계관에 어떤 영향을 미칠까?” 등의 질문을 스스로 해야 한다. 나는 이것이 메타인지 능력이라고 생각하는데 이 메타인지 능력 또한 LLM이라는 유능한 사서의 도움으로 보강을 받을 수 있을 것이라 생각한다. 지식이 무한하게 생성될 수 있기 때문에 역설적으로 정보의 축적은 상대적으로 가치를 잃고, 그 정보와 지식이 나의 삶에 가져오는 실질적인 통찰이 뭔지, 내가 그 정보와 지식을 통해 구축하는 의미의 체계가 무엇인지, 내 삶이 그래서 어떻게 재구축될 것인지가 훨씬 중요해질 것이다.