🧠 OpenRAG

OpenRAG 是一个 RAG 平台,它清理和构建企业的业务内容,将其索引在我们自己的服务器上,并通过单个授权门让外部 AI 系统以自然语言对其进行查询。

向量不发布;ACCESS 权限已开放。

这是一个产品介绍,而不是承诺列表。 以下是当前有效的部分和仍在路线图上的部分分别标记。我们不会对路线图项目承诺任何日期;随着它们完成,它们将移动到“当前有效”部分。

核心原则

OpenRAG 的整个设计都基于一句话:向量不发布,访问权限已开放。 提供给外部的不是内容的副本,而是对其提问的权利。

⚙️

向量是引擎,不是产品

向量是特定于生成它的模型的;另一个 AI 无法直接使用它。它还会将文本膨胀多次。这就是为什么从不提供向量的原因。

🔑

开放的是查询访问权限

问题传入;答案和它所依据的源段传出。完整的内容绝不会被复制、分发或下载。

🤝

权限属于企业

企业决定哪些内容可以被外部查询;参与是选择加入的。权限和同意层在路线图上。

工作原理 — 目标架构

此流程的清理、构建、索引和搜索链接今天就可以工作。自托管嵌入和重排序,以及通往外部世界的单个门,仍在路线图上;以下每个步骤都说明了哪个步骤是哪个。

1

收集来源

xloji 网站、上传的文档和抓取的网页是内容来源。(WordPress 插件和公共摄取 API 在路线图上。)

2

进行清理和构建

混乱的内容被清理、分成有意义的块,并转换为 RAG 可以使用的形式。此步骤今天就可以工作。

3

进行索引和搜索

块被转换为向量并写入 pgvector;它们通过 HNSW 索引和混合搜索(关键词 + 向量)找到。此步骤今天就可以工作;添加重排序链接在路线图上。

4

通过单个门访问

外部 AI 系统通过单个授权门以自然语言提问;答案和源段会返回,而不是向量本身。这个门还没有存在;它在路线图上。

当前有效的部分上线

以下内容今天已经在平台上运行,并且已经被 xloji.com 上的 AI 工具使用。

🧮

pgvector + HNSW 索引

内容块以向量的形式存储在数据库中,并通过余弦相似度的 HNSW 索引进行搜索。

🔎

混合搜索

关键词搜索和向量搜索同时运行;将两个结果列表合并为一个排名。这可以找到精确的术语匹配和语义上相近的段落。

🧱

多租户隔离

每个企业、网站和作者都有自己的 RAG。查询仅在其自己的租户的索引上运行;数据绝不会在租户之间混合。

🧹

文档清理和 RAG 构建

上传的文档被清理、分块并构建为 RAG。平台上的数据构建工具是此管道的用户界面。

🕸️

网页抓取

抓取网站的页面,提取其内容并将其传递到相同的清理和索引管道。

🧩

自定义 AI 工具中的公共 RAG 源

您可以创建的自定义 AI 工具可以从公共 RAG 源获取信息;该工具将其答案基于该知识库。

🗄️

文件和媒体存储

文件和媒体存储在对象存储中——不在向量存储中。RAG 记录指向原始文件。

🏠

在我们的服务器上进行嵌入和重新排序

嵌入和重新排序现在在我们的服务器上的一个独立服务中运行。文本在不离开服务器的情况下转换为向量,并通过本地重新排序器来提高准确性。

✏️

查询改写

在搜索运行之前,会整理一个模糊或不完整的问题。用户不必提出“正确”的问题;系统会使查询做好搜索准备。

🎞️

来自图像、音频和视频的文本

从图像中提取文本以及音频和视频的转录在服务器上的本地工具中运行,并将生成的文本输入到相同的清理和索引流程中。数据不会离开服务器。

路线图上的内容计划中

以下内容尚未存在。它们是计划和设计中的项目;本页不会将它们呈现为已经构建完成。

🚪

单个门:MCP / API 网关

外部 AI 系统可以以自然语言查询的单个网关。连接一次的 AI 可以通过同一扇门访问每个参与的企业。

🛡️

权限和同意层

企业通过自己的选择加入;身份验证、密钥管理、速率限制和滥用保护都存在于该层中。

📡

AI 可见性层

通过 llms.txt、/.well-known/ 和 schema.org 标记使内容可被机器发现,以及在 MCP 注册表中注册。没有神奇的自动发现;可见性是通过这种方式构建的。

🔌

WordPress 插件

一个插件,可以让 WordPress 网站将其内容发送到 OpenRAG 并获取一个 AI 系统可以查询的端点。

我们不会为这些项目提供日期。当项目完成时,它会向上移动到“当前有效的部分”列表中,并且此页面会相应更新。

🔒 数据不会离开服务器

OpenRAG 的目标是在我们自己的服务器上使用本地的、免费的工具运行 RAG 管道的每个步骤:嵌入、重排序、从图像中提取文本和音频转录。没有进入 RAG 的媒体会发送到外部服务 — 这是一个不可谈判的设计规则。

诚实的现状:其中一些步骤今天仍然由外部服务执行。将它们纳入内部是路线图上的第一项。

如何规划增长

随着内容增长,向量搜索会变得更加昂贵。OpenRAG 的设计从一开始就以三种方式限制了这种成本。

没有单个巨大的索引

每个企业都有自己的小型索引,并且查询仅在其索引上运行。即使总内容增长,单个查询扫描的区域仍然很小;搜索成本随着该企业的规模而增长,而不是随着平台的总规模而增长。

向量大小和精度可调

使用较短的向量维度和更紧凑的数字格式,相同的内容占用明显更少的空间。这些选择从一开始就构建到设计中,因此以后不需要进行昂贵的迁移。

冷层

长时间未查询的企业的索引将被移动到廉价的持久存储中,并在收到其查询时拉回。这样,只有当前活动的内容才会保留在快速内存中。该层在路线图上。

常见问题解答

OpenRAG 到底是什么?

它是一个 RAG 平台,它清理和构建企业的业务内容,将其索引到我们自己的服务器上,并通过单个授权门让外部 AI 系统以自然语言对其进行查询。它不是一个聊天工具;它是此类工具运行底层的知识层。

您会把我的向量或我的内容交给其他人吗?

不。核心原则是:向量不发布,访问权限已开放。传出的是内容的提问权,而不是内容的副本;只有支持段落会随答案返回。除此之外,企业决定哪些内容可以被外部查询。

今天实际可以使用什么?

向量数据库和索引、混合搜索、多租户隔离、文档清理和 RAG 结构化、网络爬虫、自定义 AI 工具中的公共 RAG 订阅源以及文件/媒体存储目前均可正常工作。自托管嵌入、重排序、查询改写、“外部通道”、权限层、可见性层和 WordPress 插件尚未实现。

我的数据会离开服务器吗?

我们的目标是 RAG 流程的每一步都在服务器上的本地工具中运行,并且任何媒体都不会发送到外部服务进行 RAG 处理。坦诚的现状是:其中一些步骤目前仍然由外部服务处理,而将它们整合到内部是路线图上的首要任务。

路线图中的功能什么时候可以完成?

我们不承诺具体日期。本页的目的正是如此:明确区分哪些功能目前可用,哪些功能正在计划中。当一项功能完成后,它将移至“目前可用的部分”列表。

我的内容是否会被用于或出售用于 AI 训练?

不会。目前没有这种用途。授权文本语料库的概念是路线图上最遥远、法律风险最高的项目;即使实现,也绝不会在未经企业明确同意的情况下使用任何内容。

返回 AI 门户,使用其他 AI 工具。

常见问题

OpenRAG 是什么?

OpenRAG 是 xloji.com 在其自身服务器上运行的检索增强生成 (RAG) 系统和单一入口人工智能通道。当收到问题时,它首先查找相关内容,然后基于这些内容生成答案。同时,它还充当一个中心通道,允许 xloji.com 以外的人工智能工具从一个点访问 xloji.com 的信息。

RAG 的含义是什么,OpenRAG 如何应用它?

RAG 是“检索增强生成”的缩写,意味着人工智能在生成答案之前会从相关来源搜索信息,然后基于这些信息创建回复。OpenRAG 通过在其自身服务器上结合这两个步骤(搜索和生成)来运行。因此,OpenRAG 给出的答案不是随机的,而是基于 xloji.com 的真实内容。

“单一入口人工智能通道”是什么意思?

单一入口人工智能通道意味着不同的 AI 请求和集成通过单个中心入口点进行处理,而不是通过单独的系统。OpenRAG 承担此角色:xloji.com 自身的“提问”功能以及从外部连接的人工智能工具都通过相同的 OpenRAG 基础设施提供服务。这种集中式结构允许从一个点管理与人工智能相关的流量。

OpenRAG 在自身服务器上运行有什么区别?

OpenRAG 在 xloji.com 自身服务器上运行,不依赖于第三方云服务。这意味着搜索和处理的数据仍然在 xloji.com 的控制之下。作为一个在自身服务器上运行的结构,OpenRAG 在其自身基础设施内执行搜索和答案生成操作,而无需将数据传输到外部系统。

谁会使用 OpenRAG?

OpenRAG is used by three different groups: end-users who visit xloji.com and type into the 'Ask a Question' box, systems that query xloji.com's own RAG infrastructure, and external AI tools that access information about xloji.com via OpenRAG. For the end-user, OpenRAG returns an answer based on xloji.com content to the question asked. For external tools, OpenRAG is a context-free gateway used to retrieve information from xloji.com.

xloji.com网站上的“提问”框如何与OpenRAG协同工作?

在xloji.com的“提问”框中输入的问题将由OpenRAG处理。OpenRAG首先在xloji.com自己的数据中搜索与问题相关的内容,然后基于找到的内容生成答案。这样,向用户提供的答案将得到xloji.com的真实内容的支撑。

外部人工智能工具如何通过OpenRAG获取信息?

OpenRAG serves as a single-gate passage enabling AI tools outside of xloji.com to access information about xloji.com. These tools can connect via OpenRAG and receive self-contained, understandable answers from xloji.com's content. Therefore, the information provided via OpenRAG is designed to be meaningful on its own, without requiring a separate context.

OpenRAG的局限性是什么?

OpenRAG提供的答案受其所提供的内容限制;对于系统中不存在或未添加的信息,OpenRAG无法给出确定的答案。OpenRAG旨在限制在现有内容范围内,而不是编造不存在的信息。因此,应记住从OpenRAG获得的答案仅限于xloji.com当时所拥有的内容。

OpenRAG是一个聊天机器人吗?

OpenRAG 并非传统意义上的独立聊天机器人,而是 xloji.com 的“提问”功能以及外部工具访问信息的 RAG 和网关基础设施。OpenRAG 的核心工作是找到与问题相关的内容,并基于这些内容生成答案。因此,OpenRAG 更像是一个支持答案的基础层,而不是直接与用户聊天的界面。

OpenRAG 为 xloji.com 的目的是什么?

OpenRAG 的目标是确保最终用户和外部人工智能工具都能通过可靠且受控的基础设施访问 xloji.com 的信息。在自己的服务器上运行,可以确保这种访问不依赖于第三方系统。由于其单一入口网关结构,OpenRAG 将不同的访问点整合到一个中央系统中。

关于 OpenRAG 的详细信息

OpenRAG 是 xloji.com 在其自身服务器上运行的 RAG(检索增强生成)系统,同时也是一个人工智能请求的统一入口 AI 网关。其名称中的“Open”表示该系统提供开放且可访问的结构,“RAG”表示其在生成答案时,先查找相关数据,然后基于这些数据生成答案的工作方式。在 xloji.com 的“提问”框中输入的问题,首先由 OpenRAG 在相关内容中搜索,然后基于找到的内容生成答案。相同的基础设施也允许 xloji.com 以外的人工智能工具通过 OpenRAG 访问 xloji.com 的信息,并在其自身的答案中使用这些信息。这种结构使得 xloji.com 可以通过单个中心化基础设施提供服务,而不是为不同的产品分别构建人工智能解决方案。

RAG 方法的基本逻辑是,人工智能系统不依赖于仅预先训练的通用知识,而是首先从一个来源提取与问题相关的最新和准确内容,然后基于这些内容给出答案。OpenRAG 在其自身服务器上结合执行这两个步骤,即检索(retrieval)和生成(generation)步骤。这种方法旨在减少人工智能模型有时会生成不存在信息的倾向;因为答案不是来自模型的自身记忆,而是来自实际找到的内容。因此,OpenRAG 给出的答案不是基于随机或过时的信息,而是基于 xloji.com 自身的内容。这样,OpenRAG 生成的答案的来源可以始终追踪到 xloji.com 的自身数据。服务器属于 xloji.com 意味着搜索和处理的数据在 xloji.com 的控制之下,而无需依赖第三方云服务。

OpenRAG 的“单点 AI 网关”方面,意味着不同的 AI 请求和集成通过单个中心化入口进行路由,而不是通过单独的系统。这样,xloji.com 自身的“提问”功能以及通过 OpenRAG 连接的外部工具,都使用相同的基础设施和相同的基本逻辑。作为中心化网关,OpenRAG 确保所有人工智能相关的流量都通过单个点进行,这提高了答案的一致性以及对在自身服务器上运行的系统的数据控制。这种单点方法也意味着维护和更新可以在一个地方进行,而不是在分散的系统中进行。OpenRAG 不仅仅是一个问答工具,而是 xloji.com 整合所有人工智能访问点的基础设施层。

OpenRAG 被三个不同的用户群体直接或间接地使用:访问 xloji.com 并输入“提问”框的最终用户,查询 xloji.com 自身 RAG 基础设施的系统,以及通过 OpenRAG 访问 xloji.com 信息的外部人工智能工具。这三个用户群体都从相同的 OpenRAG 基础设施获取答案,并从相同的内容池中获取信息;因此,无论从哪里询问 xloji.com,都可以获得一致的信息来源。OpenRAG 给出的答案仅限于提供给它的内容;也就是说,对于系统中不存在或未添加到其服务器上的信息,不应期望从 OpenRAG 获得明确的答案。这种限制也构成了 OpenRAG 可靠性的基础:它旨在生成基于现有内容的有限答案,而不是编造不存在的信息。

OpenRAG — 通过单个授权门为人工智能打开您的内容 | xloji.com