发帖
雷达卡
按住下方图标，点击小程序
免费领取AI学习资料、精选提示词
做AI应用的朋友多少都踩过这样的坑，你把公司里的文档、Wiki、代码仓库一股脑塞进大模型。
结果发现AI答非所问，token费用高得吓人，更糟的是不同文档里重复的内容被反复喂给模型，账单直接翻倍。
这就是当下大多数RAG系统的真实困境，文档被粗暴切成固定大小的碎片，语义断在句子中间，重复内容像野草一样疯长。
今天给大家介绍一个性能非常强的企业级RAG开源Blockify来解决这个大难题。
开源地址：https://github.com/iternal-technologies-partners/blockify-agentic-data-optimization
简单来说，Blockify本质上是一个面向企业RAG和智能搜索的数据优化框架，可以用结构化的知识单元替代粗暴的文本切片，让AI真正读懂你的业务文档。
那Blockify到底是怎么进行高性能优化的呢，下面给大家好好唠唠。
传统切片工具不管三七二十一，按字符数硬切，经常把一句话拦腰斩断，把一个完整的概念拆得七零八落。
Blockify的摄入模块会真正读懂内容的意思，把每段文字提炼成一个IdeaBlock，也就是知识块。
每个知识块都自带问题、答案、标签、实体和关键词，像一个自给自足的小宇宙。
这好处也显而易见，模型检索的时候拿到的不再是半截话，而是一个完整的语义单元，理解起来自然顺畅得多。好比你看书的时候，拿到的是一页完整的纸，而不是被撕碎的纸条拼图。
企业里重复内容多到让人崩溃，同一套操作手册可能在各个部门各存一份，同一段产品介绍可能在几十个文档里反复出现。这些重复不仅浪费存储，更会让向量空间挤满近似副本，检索精度直线下降。
Blockify的蒸馏模块用嵌入向量加局部敏感哈希做聚类，再用大模型把相似的知识块合并去重。
根据官方数据显示，Blockify整体的精华压缩比高达40倍，信息保真度还能保持在99%以上。
检索精度翻倍，幻觉大幅减少。这是最直观的体感提升。官方benchmark显示向量检索精度提升2.29倍，平均距离从0.36降到0.16。
翻译成人话就是，模型找到的答案更准了，张冠李戴的情况少多了。
原因也不复杂，去重之后向量空间里每个方向上都是真正不同的知识点，topK检索自然能捞出更相关的内容，而不是返回十份几乎一样的产品介绍。
Token消耗直降3倍。这点对烧钱做AI应用的团队特别友好。
传统切片每个chunk平均300多个token，Blockify的知识块只要98个左右，效率提升3倍多。一年跑十亿次查询的话，光token费用就能省下不少钱。
对创业公司来说，这笔账尤其值得算一算。压缩比和token效率叠加起来，会节省一大费用。
开箱即用兼容性比较好。很多开源项目看着demo很炫，真上生产就各种坑。
Blockify这点做得挺扎实，Docker镜像、Helm chart、Prometheus监控、OpenTelemetry链路追踪、健康检查一应俱全。还提供了Claude Code的skill包，本地开发也能用得很顺。
存储后端支持SQLite、PostgreSQL、Redis和文件系统，向量库支持ChromaDB、Pinecone、Milvus、Elastic、Supabase、Cloudflare等等。
基本上主流的栈都能接上，不用为了迁就工具而改造现有架构。
如果你是正在做企业RAG应用被数据质量折磨的开发者，或者想把杂乱文档变成结构化知识库的可以试试这个开源。
企业、高校及渠道合作
请联系微信：FYLlaoshi
京公网安备 11010802022788号
