全库搜索 Markdown 图册
Paper Analysis · 8 分钟阅读

llm-wiki

站内编号 KB-000098
clippings
板块与文章导航

LLM Wiki#

利用 LLM 构建个人知识库的模式。

这是一个概念文件,旨在复制粘贴到您自己的 LLM 代理(例如 OpenAI Codex、Claude Code、OpenCode/Pi 等)中。它的目标是传达高层次的概念,但您的代理将与您协作构建具体细节。

核心思想#

大多数人使用学习型学习模型(LLM)和文档的体验都类似于随机生成(RAG):你上传一系列文件,LLM 在查询时检索相关片段,并生成答案。这种方式虽然可行,但 LLM 每次都要从头开始重新发现知识,没有积累。如果你提出一个需要综合五个文档的复杂问题,LLM 每次都必须找到并拼凑相关的片段,没有任何知识积累。NotebookLM、ChatGPT 文件上传以及大多数 RAG 系统都是这样工作的。

这里的理念有所不同。LLM 并非仅仅在查询时从原始文档中检索信息, 而是逐步构建并维护一个持久化的维基 ——一个结构化的、相互链接的 Markdown 文件集合,它位于用户和原始数据源之间。当您添加新的数据源时,LLM 不仅会对其进行索引以便后续检索,还会读取它,提取关键信息,并将其整合到现有的维基中——更新实体页面,修订主题摘要,指出新数据与旧说法相矛盾之处,从而强化或挑战不断演进的综合分析。知识只需编译一次即可 保持最新 ,无需在每次查询时重新推导。

这就是关键区别: 维基百科是一个持续更新、不断完善的资源。 交叉引用已经存在,矛盾之处也已被标记,综合信息已经反映了你阅读过的所有内容。你添加的每一个来源、提出的每一个问题都会让维基百科的内容更加丰富。

你几乎从不(或者很少)亲自编写维基——所有内容都由 LLM(知识库管理员)编写和维护。你负责寻找资料、探索和提出正确的问题。LLM 负责所有繁琐的工作——总结、交叉引用、归档和记账,这些工作使知识库能够长期发挥作用。实际上,我一边打开 LLM 代理,一边打开 Obsidian。LLM 根据我们的对话进行编辑,我实时浏览结果——点击链接、查看图表视图、阅读更新后的页面。Obsidian 是集成开发环境(IDE);LLM 是程序员;维基就是代码库。

这可以应用于许多不同的情境。以下是一些例子:

建筑学#

它分为三层:

原始资源 ——您精心收集的源文档。包括文章、论文、图像和数据文件。这些资源是不可更改的——LLM 系统会读取它们,但绝不会对其进行修改。这就是您的真实来源。

维基 ——一个由 LLM 生成的 Markdown 文件目录。内容包括摘要、实体页面、概念页面、对比、概述和综合。LLM 完全掌控这一层。它创建页面,在新资源到来时更新页面,维护交叉引用,并确保所有内容的一致性。您阅读它,LLM 编写它。

模式 文件(例如 Claude Code 的 CLAUDE.md 或 Codex 的 AGENTS.md)告诉 LLM wiki 的结构、约定俗成的规则以及在导入资源、回答问题或维护 wiki 时应遵循的工作流程。这是关键的配置文件——它使 LLM 成为一个规范的 wiki 维护者,而不是一个普通的聊天机器人。随着时间的推移,您和 LLM 会共同完善这个模式文件,并不断探索适合您领域的有效方法。

运营#

导入。 您将新源添加到原始集合中,并指示 LLM 进行处理。流程示例:LLM 读取源,与您讨论关键要点,在 wiki 中编写摘要页面,更新索引,更新 wiki 中相关的实体和概念页面,并将条目添加到日志中。单个源可能会影响 10-15 个 wiki 页面。我个人更喜欢一次导入一个源并全程参与——我会阅读摘要,检查更新,并指导 LLM 重点关注哪些内容。当然,您也可以一次性批量导入多个源,这样可以减少监督。您可以根据自己的习惯开发工作流程,并将其记录在模式中,以便将来使用。

查询。 您在维基中提出问题。LLM 会搜索相关页面,读取它们,并综合整理出包含引用的答案。答案可以根据问题的不同而呈现不同的形式——Markdown 页面、对比表格、幻灯片(Marp)、图表(matplotlib)或画布。重要的一点是: 优秀的答案可以作为新页面归档到维基中。 您提出的对比、分析、发现的关联——这些都很有价值,不应该消失在聊天记录中。这样,您的探索就像已导入的资源一样,不断积累在知识库中。

定期 检查。 请 LLM 定期对 wiki 进行健康检查。检查内容包括:页面之间的矛盾、已被新资料取代的过时说法、没有外部链接的孤立页面、提及但缺少独立页面的重要概念、缺失的交叉引用以及可以通过网络搜索填补的数据空白。LLM 擅长提出新的研究问题和新的参考资料。这有助于 wiki 在发展过程中保持健康。

索引和日志记录#

随着维基百科的不断扩充,有两个特殊文件可以帮助 LLM(以及您)更好地浏览维基百科。它们各有不同的用途:

index.md 是一个面向内容的索引。它是一个维基百科所有内容的目录——每个页面都包含一个链接、一行摘要,以及可选的元数据,例如日期或来源数量。索引按类别(实体、概念、来源等)组织。LLM 会在每次数据摄取时更新它。当响应查询时,LLM 首先读取索引以查找相关页面,然后深入查看这些页面。这种方法在中等规模(约 100 个来源,约数百个页面)下效果出奇地好,并且避免了使用基于嵌入的 RAG 架构。

log.md 是按时间顺序排列的日志。它记录了所有事件及其发生的时间,包括内容导入、查询和代码检查等。一个实用技巧:如果每个条目都以一致的前缀开头(例如 ## [2026-04-02] ingest | Article Title ),则可以使用简单的 Unix 工具解析该日志—— grep "^## \[" log.md | tail -5 即可获取最近的 5 个条目。该日志提供了 wiki 的发展历程,并有助于 LLM 了解最近的工作内容。

可选:命令行工具#

在某些时候,您可能需要构建一些小型工具来帮助 LLM 更高效地操作 wiki。最显而易见的就是 wiki 页面搜索引擎——在小规模时,索引文件就足够了,但随着 wiki 的增长,您需要更完善的搜索功能 。qmd 是一个不错的选择:它是一个本地 Markdown 文件搜索引擎,支持混合 BM25/vector 搜索和 LLM 重新排名,所有操作都在设备端完成。它既有命令行界面 (CLI)(LLM 可以通过 shell 调用它),也有 MCP 服务器(LLM 可以将其作为原生工具使用)。您也可以自己构建一个更简单的工具——LLM 可以在需要时帮助您编写一个简单的搜索脚本。

技巧和窍门#

  • Obsidian Web Clipper 是一款浏览器扩展程序,可以将网页文章转换为 Markdown 格式。对于快速将资源添加到您的原始收藏中非常有用。
  • 将图片下载到本地。 在 Obsidian 设置 → 文件和链接中,将“附件文件夹路径”设置为一个固定目录(例如 raw/assets/ )。然后在设置 → 热键中,搜索“下载”,找到“下载当前文件的附件”并将其绑定到一个热键(例如 Ctrl+Shift+D)。剪辑文章后,按下热键,所有图片都会下载到本地磁盘。虽然此步骤是可选的,但非常实用——它允许 LLM 直接查看和引用图片,而无需依赖可能失效的 URL。请注意,LLM 无法一次性读取包含内联图片的 Markdown 文本——解决方法是让 LLM 先读取文本,然后单独查看部分或全部引用的图片以获取更多上下文信息。这种方法略显繁琐,但效果尚可。
  • Obsidian 的图形视图 是查看 wiki 结构的最佳方式——哪些内容相互连接,哪些页面是中心页面,哪些页面是孤立页面。
  • Marp 是一种基于 Markdown 的幻灯片格式。Obsidian 有相应的插件。它可用于直接从 wiki 内容生成演示文稿。
  • Dataview 是一个 Obsidian 插件,用于对页面 frontmatter 进行查询。如果您的 LLM 系统向 wiki 页面添加了 YAML frontmatter(标签、日期、来源计数),Dataview 可以生成动态表格和列表。
  • 这个维基百科其实就是一个存放 Markdown 文件的 Git 仓库。您可以免费获得版本历史记录、分支管理和协作功能。

为什么这种方法有效#

维护知识库最繁琐的部分并非阅读或思考,而是记录。更新交叉引用、保持摘要的时效性、记录新数据与旧说法的矛盾之处、确保数十个页面内容的一致性,这些都至关重要。人们放弃维基百科,是因为维护负担的增长速度超过了其价值的增长速度。而 LLM(知识库管理员)不会感到厌倦,不会忘记更新交叉引用,而且一次就能处理 15 个文件。维基百科之所以能够持续维护,是因为其维护成本几乎为零。

人的职责是筛选资料、指导分析、提出好问题,并思考这一切的意义。法学硕士的职责则是其他一切。

这个想法在精神上与范内瓦·布什的 Memex(1945)一脉相承——Memex 是一个个人化的、精心维护的知识库,文档之间存在关联。布什的设想比后来的网络更接近于此:私密的、主动维护的,文档之间的关联与文档本身同样重要。他未能解决的问题是谁来维护。LLM 项目则负责解决这个问题。

笔记#

本文档有意保持抽象。它描述的是概念,而非具体的实现方式。具体的目录结构、模式约定、页面格式、工具等等,都将取决于您的领域、您的偏好以及您选择的 LLM(生命周期管理)系统。以上所有内容都是可选且模块化的——选择有用的部分,忽略不需要的部分。例如:您的资源可能只有文本,因此您完全不需要图像处理功能。您的 wiki 可能很小,只需要索引文件,无需搜索引擎。您可能不需要幻灯片,而只需要 Markdown 页面。您可能需要完全不同的输出格式。使用本文档的正确方法是与您的 LLM 代理共享,并共同协作,创建一个符合您需求的版本。本文档的唯一作用是传达模式。您的 LLM 可以处理其余部分。