이 논문은 Andrej Karpathy가 제안한 LLM Wiki의 오픈 소스 구현을 다루며, 대규모 언어 모델(LLM)을 활용하여 원본 소스(raw sources)로부터 구조화된 지식 Wiki를 자동 생성 및 유지 관리하는 시스템을 설명합니다. 이 시스템의 핵심 목표는 지식 기반 관리의 번거로움을 LLM이 대신 처리하도록 하여 사용자가 지식을 소비하고 탐구하는 데 집중할 수 있도록 하는 것입니다.

핵심 방법론은 세 가지 주요 계층과 세 가지 워크플로우로 구성됩니다.

세 가지 계층 (Three layers):

1. Raw Sources (원천 소스): 논문, 기사, 메모, transcripts 등 변경 불가능한(immutable) 원본 데이터입니다. LLM은 이 소스들을 읽기만 하며 수정하지 않습니다. 이는 시스템의 불변하는 진실 공급원 역할을 합니다.
2. The Wiki (위키): LLM이 생성한 markdown 형식의 페이지들로 구성됩니다. 여기에는 요약, 엔티티 페이지, 그리고 문서 간 교차 참조(cross-references)가 포함됩니다. 이 계층은 LLM이 소유하며, LLM이 내용을 작성하고 사용자는 이를 읽습니다. 지식의 구조화된 표현입니다.
3. The Schema (스키마): Wiki의 구조, 따라야 할 규칙(conventions), 그리고 자료 흡수(ingest) 시 실행해야 할 워크플로우를 LLM에게 지시하는 설정 파일(config file)입니다. 이는 LLM이 Wiki를 일관성 있고 효과적으로 관리하도록 돕는 가이드라인 역할을 합니다.

세 가지 워크플로우 (How it works):

4. Ingest (자료 흡수):
   • 사용자가 raw/ 디렉터리에 새로운 소스를 추가하면 시작됩니다.
   • LLM은 해당 소스를 읽고, 요약을 작성합니다.
   • 이 과정에서 LLM은 Wiki 전반에 걸쳐 엔티티(entity) 및 개념(concept) 페이지를 업데이트합니다.
   • 가장 중요한 기능 중 하나는 새로운 정보가 기존 지식과 모순되는 경우 이를 플래그(flag)하는 것입니다.
   • 단일 소스라도 Wiki 내의 10-15개 페이지에 영향을 미쳐 복잡하고 상호 연결된 지식 업데이트를 수행할 수 있습니다.
5. Query (질의):
   • 사용자가 컴파일된 Wiki에 대해 복잡한 질문을 할 수 있습니다.
   • 이 시스템은 질문에 대한 답변을 매번 원본 청크(raw chunks)에서 재-추론하는 것이 아니라, 이미 Wiki 내에 합성된(synthesized) 지식을 활용하여 제공합니다. 이는 기존의 RAG(Retrieval-Augmented Generation) 시스템과의 주요 차별점입니다.
   • 제공된 "좋은 답변"은 새로운 페이지로 문서화되어 사용자의 탐색 결과가 Wiki의 지식 기반을 더욱 풍부하게 만드는 데 기여합니다.
6. Lint (린트):
   • Wiki의 상태를 점검하는 워크플로우입니다.
   • LLM은 불일치하는 데이터, 오래된 주장, 고아 페이지(orphan pages), 누락된 교차 참조 등을 찾아냅니다.
   • 이 워크플로우는 LLM이 추가 질문을 제안하거나, 새로운 소스를 찾아야 할 필요성을 식별하는 데 도움을 줍니다.

결과적으로, 이 시스템은 LLM이 지식 관리의 "장부 정리(bookkeeping)"와 같은 지루하고 반복적인 작업을 자동화하고, 지식을 잊지 않으며, 여러 파일에 걸쳐 동시에 업데이트를 수행할 수 있게 함으로써, 기존의 수동적인 지식 기반 유지 관리 방식에 비해 월등한 효율성과 일관성을 제공합니다. 이는 단순한 스크립트 모음이 아닌, 강력한 지식 관리 제품을 제공하는 것을 목표로 합니다.