🎬 HoRain云小助手：个人主页
🔥 个人专栏: 《Linux 系列教程》《c语言教程》
⛺️生活的理想，就是为了理想的生活!
⛳️ 推荐
前些天发现了一个超棒的服务器购买网站，性价比超高，大内存超划算！忍不住分享一下给大家。点击跳转到网站。
专栏介绍
专栏名称 | 专栏介绍 |
《C语言》 | 本专栏主要撰写C干货内容和编程技巧，让大家从底层了解C，把更多的知识由抽象到简单通俗易懂。 |
《网络协议》 | 本专栏主要是注重从底层来给大家一步步剖析网络协议的奥秘，一起解密网络协议在运行中协议的基本运行机制！ |
《docker容器精解篇》 | 全面深入解析 docker 容器，从基础到进阶，涵盖原理、操作、实践案例，助您精通 docker。 |
《linux系列》 | 本专栏主要撰写Linux干货内容，从基础到进阶，知识由抽象到简单通俗易懂，帮你从新手小白到扫地僧。 |
《python 系列》 | 本专栏着重撰写Python相关的干货内容与编程技巧，助力大家从底层去认识Python，将更多复杂的知识由抽象转化为简单易懂的内容。 |
《试题库》 | 本专栏主要是发布一些考试和练习题库（涵盖软考、HCIE、HRCE、CCNA等） |
目录
⛳️ 推荐
专栏介绍
Document Loader——加载文档
实例
Text Splitter——文档切分
实例
切分参数设置指南
完整流程：加载 → 切分 → 向量化
实例
之前的文章我们手动输入文本，但在实际项目中，文档可能来自 PDF、网页、Markdown 文件等。
本节介绍如何使用 Document Loader 加载各类文档，以及如何用 Text Splitter 将文档切分成适合检索的小块。
Document Loader——加载文档
LangChain 提供了数十种文档加载器，覆盖常见文件格式：
| Loader | 来源 | 安装包 |
|---|---|---|
| TextLoader | .txt 文件 | langchain（内置） |
| PyPDFLoader | PDF 文件 | langchain-community + pypdf |
| WebBaseLoader | 网页 URL | langchain-community + beautifulsoup4 |
| CSVLoader | CSV 文件 | langchain-community |
| UnstructuredMarkdownLoader | Markdown 文件 | langchain-community + unstructured |
实例
# 加载文本文件（内置，无需额外安装）
from langchain_community.document_loaders import TextLoader
loader = TextLoader("knowledge.txt", encoding="utf-8")
docs = loader.load()
print(f"加载了 {len(docs)} 个文档")
print(f"内容预览: {docs[0].page_content[:150]}...")
# 加载网页
# pip install langchain-community beautifulsoup4
from langchain_community.document_loaders import WebBaseLoader
loader = WebBaseLoader("https://www.runoob.com/python/python-tutorial.html")
docs = loader.load()
print(f"\n网页内容: {docs[0].page_content[:150]}...")
Text Splitter——文档切分
文档通常太长，需要切分成小块（chunk）才能有效检索。切分策略直接影响 RAG 效果：
实例
from langchain_text_splitters import RecursiveCharacterTextSplitter
# 创建切分器
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500, # 每块最多 500 个字符
chunk_overlap=50, # 块之间重叠 50 个字符
separators=["\n\n", "\n", "。", "！", "？", "；", "，", " ", ""],
# 优先按段落分割，然后是句子，最后是字符
)
# 示例文档
long_text = """菜鸟教程（RUNOOB）是一个免费的编程学习平台。
平台提供了丰富的编程语言教程，包括但不限于：
- Python 教程：从基础语法到数据分析
- Java 教程：面向对象编程到 Spring 框架
- 前端教程：HTML、CSS、JavaScript 及其框架
所有教程都配有详细的代码示例和在线运行环境。
学习者可以通过边学边练的方式快速掌握编程技能。"""
# 切分文档
chunks = text_splitter.split_text(long_text)
print(f"原文长度: {len(long_text)} 字")
print(f"切分后: {len(chunks)} 块\n")
for i, chunk in enumerate(chunks):
print(f"--- 块 {i+1} ({len(chunk)} 字) ---")
print(chunk)
print()
运行结果：
原文长度: 153 字 切分后: 3 块 --- 块 1 (54 字) --- 菜鸟教程（RUNOOB）是一个免费的编程学习平台。 平台提供了丰富的编程语言教程，包括但不限于： --- 块 2 (49 字) --- - Python 教程：从基础语法到数据分析 - Java 教程：面向对象编程到 Spring 框架 --- 块 3 (50 字) --- - 前端教程：HTML、CSS、JavaScript 及其框架 所有教程都配有详细的代码示例和在线运行环境。
chunk_overlap 很重要。如果块之间没有重叠，一个完整的句子可能被切成两半，导致检索时遗漏关键信息。50-100 字符的重叠是常见的设置。
切分参数设置指南
| 场景 | chunk_size | chunk_overlap | 原因 |
|---|---|---|---|
| FAQ 问答 | 200~500 | 20~50 | 问答对较短，小块即可 |
| 技术文档 | 500~1000 | 50~100 | 技术内容需要更多上下文 |
| 长文章/论文 | 1000~2000 | 100~200 | 需要保留段落完整性 |
| 代码库 | 500~1500 | 0~50 | 函数/类作为自然边界 |
完整流程：加载 → 切分 → 向量化
实例
from langchain_text_splitters import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings
from langchain_chroma import Chroma
# from langchain_community.document_loaders import TextLoader
# 流程 1：加载
# loader = TextLoader("runoob_knowledge.txt", encoding="utf-8")
# docs = loader.load()
# 为演示直接使用示例文本
docs = [
"菜鸟教程（RUNOOB）是一个免费的编程学习网站。",
"网站提供 Python、Java、HTML 等多种编程语言的教程。",
"Python3 基础教程共 30 章，适合零基础入门学习。",
"HTML 基础教程共 25 章，包含表单、多媒体等内容。",
"菜鸟教程的所有基础教程都是免费的。",
]
# 流程 2：切分
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=100,
chunk_overlap=20,
)
chunks = text_splitter.create_documents(docs)
# 流程 3：向量化存储
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vector_store = Chroma.from_documents(
documents=chunks,
embedding=embeddings,
persist_directory="./runoob_db",
)
print(f"已建立索引：{len(chunks)} 个文档块")
# 流程 4：检索
results = vector_store.similarity_search("Python 教程有多少章？", k=2)
for doc in results:
print(f"检索结果: {doc.page_content}")
运行结果：
已建立索引：5 个文档块 检索结果: Python3 基础教程共 30 章，适合零基础入门学习。 检索结果: 菜鸟教程（RUNOOB）是一个免费的编程学习网站。
❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄
💘💘💘如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!👍 👍 👍
🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！🌙🌙🌙
)
