LLM Wiki는 기존 RAG(Retrieval-Augmented Generation) 방식이 지닌 지식 축적의 한계를 극복하기 위한 새로운 지식 관리 패턴을 제안한다. RAG가 질문이 들어올 때마다 문서를 검색하여 답을 생성하는 '매번 재조립' 방식이므로 지식이 복리(compounding)로 쌓이지 않는다는 문제점을 제적한다. 반면, LLM Wiki는 LLM이 직접 지식을 정리하고 누적시키는 '한 번 정리해서 계속 쌓아가는' 방식을 통해 LLM의 역할을 '질문에 답하는 도구'에서 '지식을 구조화하고 유지하는 에이전트'로 전환한다. 이는 Vannevar Bush의 Memex 개념이 80년 만에 실현 가능해진 형태로 평가된다.

아키텍처 (Architecture)

LLM Wiki는 세 층의 아키텍처로 구성된다:

1. Raw Sources (원본 자료): 논문, 기사, 데이터 파일, 이미지 등 큐레이션된 소스 자료들로 구성된다. 이 층은 불변(immutable)하며, LLM은 읽기만 가능하고 수정할 수 없는 진실의 원천(source of truth) 역할을 한다.
2. The Wiki (위키): LLM이 생성하고 유지하는 마크다운(Markdown) 파일들의 디렉토리이다. 요약 페이지, 개체(entity) 페이지, 개념 페이지, 비교 페이지, 종합 분석 등 다양한 형식의 페이지를 포함한다. 새로운 자료가 유입되면 LLM이 관련 페이지를 업데이트하고, 교차참조(cross-reference)를 갱신하며, 모순(inconsistency)을 표시한다. 인간은 이 위키를 읽기만 하고, LLM이 작성한다.
3. The Schema (스키마): CLAUDE.md나 AGENTS.md와 같은 설정 문서들로, 위키의 구조 규칙, 컨벤션, 워크플로우를 정의한다. 예를 들어, "요약 페이지는 이런 형식으로", "새 자료 통합 시 이 순서로 처리"와 같은 지침을 담고 있으며, 인간과 LLM이 함께 발전시키는 메타(meta) 문서이다.

이 세 층의 분리는 원본 자료의 오염을 방지하고, LLM이 위키 구조를 자유롭게 재구성할 수 있도록 하며, 스키마를 통해 LLM의 행동을 제어하여 지식의 품질을 관리할 수 있도록 한다.

핵심 작업 (Core Operations)

LLM Wiki의 운영은 세 가지 핵심 작업으로 이루어진다:

4. Ingest (통합): 새로운 자료를 Raw Sources 디렉토리에 추가하고 LLM에게 처리를 지시한다. LLM은 자료를 읽고, 핵심 정보를 추출하여 요약 페이지를 작성하며, index.md를 갱신하고, 관련 개체/개념 페이지를 업데이트한 후 log.md에 기록한다. 하나의 자료가 10~15개에 달하는 위키 페이지에 영향을 미칠 수 있다. Karpathy는 한 번에 하나의 자료를 통합하며 직접 확인하는 방식을 선호하지만, 여러 자료의 일괄 처리도 가능하다.
5. Query (질의): 위키에 대해 질문을 던진다. LLM은 먼저 index.md 파일을 읽어 질문과 관련된 페이지를 식별하고, 해당 페이지들의 내용을 기반으로 답을 종합한다. 이때 중요한 특징은, 생성된 좋은 답변(예: 비교 분석, 새로운 통찰)이 단순히 채팅 히스토리에 머무르지 않고 새로운 위키 페이지로 저장되어 지식으로 축적된다는 점이다.
6. Lint (점검): 주기적으로 LLM에게 위키의 건강 상태를 점검하도록 지시한다. 이는 페이지 간의 모순, 새 자료로 인해 무효화된 오래된 주장, 연결이 끊긴 고아(orphan) 페이지, 언급되었지만 전용 페이지가 없는 중요 개념, 누락된 교차참조 등을 찾아내 수정하는 작업이다. LLM은 또한 조사할 새로운 질문이나 탐색할 자료를 제안하기도 한다.

인덱싱 및 로그 (Indexing and Logging)

위키의 효율적인 탐색을 위해 두 개의 특수 파일이 사용된다:

• index.md: 콘텐츠 중심의 카탈로그로, 모든 위키 페이지의 링크, 한 줄 요약, 메타데이터가 카테고리별로 정리되어 있다. LLM은 질문을 받으면 이 index.md를 먼저 읽어 관련 페이지를 식별한 후 접근한다. 이는 수백 페이지 규모의 위키에서 임베딩(embedding) 기반 RAG 인프라 없이도 효과적으로 작동할 수 있음을 보여준다.
• log.md: 시간순 기록 파일로, 자료 통합, 질문, 점검 활동 등이 추적된다. 일관된 접두사(예: ## [2026-04-02] ingest | Article Title)를 사용하여 grep과 같은 단순 텍스트 도구로도 파싱(parsing)하여 최근 활동을 쉽게 확인할 수 있다.

유지보수 비용의 붕괴 (Collapse of Maintenance Cost)

인간이 위키 유지보수를 포기하는 주된 이유는 교차참조 갱신, 요약 최신화, 모순 표시 등 반복적인 유지보수 작업의 부담이 가치 증가 속도보다 빠르게 커지기 때문이다. LLM은 지루함을 느끼지 않고, 이러한 유지보수 작업을 거의 비용 없이 수행할 수 있어 위키가 커질수록 가치가 기하급수적으로 증가하는 구조를 만든다. 인간의 역할은 소스 큐레이션, 분석 방향 설정, 좋은 질문 제기, 그리고 의미 파악에 집중되고, 나머지 유지보수 작업은 LLM의 몫이 된다.

LLM Wiki는 마크다운 파일, Git, 그리고 LLM 에이전트만으로 지식 축적 문제를 해결할 수 있음을 보여주며, 이는 복잡한 임베딩 데이터베이스나 벡터 검색 파이프라인 없이도 에이전트의 읽기/쓰기 능력만으로 지식 관리가 가능하다는 실험적 증거를 제공한다.