ChunkSpace 切片工作室 · 从预处理到知识入库
资料整理好了,
还要切成适合 AI 检索的知识。
在预处理之后,按文档结构选择和维护动态切片函数,检查片段与元数据,再批量处理并对接智能体平台知识库。
- 企业数据
- 知识切片与分发
01 / FROM PREPARED DOCUMENTS TO RETRIEVABLE KNOWLEDGE
预处理之后,
让内容进入问答的准备流程。
资料清洗解决格式与噪声,切片进一步解决内容如何被检索。平台将函数管理、切片实验与批量处理分成三个工作区:先为资料选择合适的切法,检查片段,再将确认的策略用于批量入库。
- 让切法适应文档
正文按内容组织,表格按字段关系处理,多级表头使用相应策略。
- 检查实际片段
查看切片内容及元数据,判断是否保留了问答所需的信息。
- 衔接已有知识库
把准备好的片段交给目标平台,继续用于检索与 AI 问答。
02 / CHUNKING THAT FITS YOUR DOCUMENTS
不同结构的文档,
用不同的切片函数。
把切片算法作为独立函数注册和维护。资料结构或建库要求变化时,可以新增策略、调整函数实现,再交给统一处理流程使用,让切法跟着实际资料演进。
- 正文与表格分别处理
Word 正文可按标题与大小切分;表格可独立提取为带字段含义的片段。
- 适应复杂表头
Excel 提供单行、多级及智能表头识别策略,让行数据保留字段关系。
- 自定义策略可扩展
通过统一策略接口接入新的 Python 函数,声明适用格式与处理方式。
03 / LOOK INSIDE EACH CHUNK
切得出来,
还要看内容是否切得合适。
先选代表性的文档检查切片,再决定批量采用的策略。片段是否包含完整的业务说明、文字有没有被不恰当地拆开、元数据是否符合使用需要,都比只看切片数量更有意义。
- 按结构选择函数
同一份 Word 可选择正文切分或表格提取,先明确要为哪类问题准备知识。
- 结合策略调整参数
按函数支持情况配置片段大小与重叠度;按行切分等策略有自己的粒度规则。
- 让问答验证形成反馈
入库后结合真实问题检查检索与回答,再回到函数和参数继续调整。
查看单份文档的切片参数配置
04 / PREPARE ONCE, CONNECT TO YOUR KNOWLEDGE PLATFORM
确认合适的切法,
再批量送入知识库。
从单份样本走向成批资料:按文件夹组织文档,选择切片函数及参数,批量处理后推送到目标知识库。切片在这里完成准备,智能体平台继续承接检索与问答。
- 批量沿用处理方式
对适用同一策略的资料统一处理,减少逐份选择和配置的重复工作。
- 对接目标知识库
当前界面以 Dify 为例,提供服务器连接、知识库选择与批量推送入口。
- 继续扩展平台接入
Dify、RAGFlow、Coze……可按目标平台接口适配分发方式,复用已经整理好的片段。
AI IN THE BUSINESS WORKFLOW
先把资料整理好,
再把知识切得合适。
预处理关注资料质量,切片关注检索单元。把两个环节分开建设、衔接使用,让文档处理、策略维护与知识库入库各自清楚,也为后续问答优化留下调整空间。
切法可以演进按资料结构维护动态函数
片段可以检查结合内容与元数据判断质量
成果继续复用对接已有知识库与智能体平台