🧠 OpenRAG
OpenRAG là một nền tảng RAG làm sạch và cấu trúc nội dung của doanh nghiệp, lập chỉ mục trên máy chủ của chúng tôi và cho phép truy vấn bằng ngôn ngữ tự nhiên bởi các hệ thống AI bên ngoài thông qua một cánh cổng được cấp phép duy nhất.
Vector không được xuất bản; QUYỀN TRUY CẬP được mở ra.
Đây là phần giới thiệu sản phẩm, không phải là danh sách các cam kết. Bên dưới, các phần hoạt động ngày hôm nay và các phần vẫn nằm trong lộ trình được đánh dấu riêng biệt. Không có ngày nào được hứa hẹn cho các mục trong lộ trình; khi chúng hoàn thành, chúng sẽ chuyển vào phần "đang hoạt động ngày hôm nay".
Nguyên tắc cốt lõi
Toàn bộ thiết kế của OpenRAG dựa trên một câu duy nhất: vector không được xuất bản, quyền truy cập được mở ra. Điều được cung cấp ra bên ngoài không phải là bản sao của nội dung, mà là quyền đặt câu hỏi về nó.
Vector là một công cụ, không phải là một sản phẩm
Vector đặc thù cho mô hình tạo ra nó; một AI khác không thể sử dụng nó như hiện có. Nó cũng làm tăng kích thước văn bản lên nhiều lần. Đó là lý do tại sao vector không bao giờ được cung cấp.
Quyền truy cập truy vấn là điều được mở ra
Một câu hỏi được gửi đến; một câu trả lời và các đoạn nguồn mà nó dựa trên sẽ được gửi trả lại. Toàn bộ nội dung không bao giờ được sao chép, phân phối hoặc tải xuống.
Quyền sở hữu thuộc về doanh nghiệp
Doanh nghiệp quyết định nội dung nào sẽ được truy vấn bên ngoài; việc tham gia là tự nguyện. Lớp quyền và đồng ý nằm trong lộ trình.
Cách thức hoạt động — kiến trúc mục tiêu
Các liên kết làm sạch, cấu trúc, lập chỉ mục và tìm kiếm của quy trình này hoạt động ngày hôm nay. Việc nhúng tự lưu trữ với xếp hạng lại và cánh cổng duy nhất ra thế giới bên ngoài vẫn nằm trong lộ trình; mỗi bước bên dưới cho biết bước nào là bước nào.
Nguồn được thu thập
Các trang web xloji, tài liệu tải lên và các trang web được thu thập là nguồn nội dung. (Một plugin WordPress và API thu thập công khai nằm trong lộ trình.)
Nó được làm sạch và cấu trúc
Nội dung lộn xộn được làm sạch, chia thành các đoạn có ý nghĩa và đưa vào một dạng mà RAG có thể sử dụng. Bước này hoạt động ngày hôm nay.
Nó được lập chỉ mục và tìm kiếm
Các đoạn được chuyển đổi thành vector và ghi vào pgvector; chúng được tìm thấy thông qua chỉ mục HNSW và tìm kiếm kết hợp (từ khóa + vector). Bước này hoạt động ngày hôm nay; việc thêm liên kết xếp hạng lại nằm trong lộ trình.
Nó được tiếp cận thông qua một cánh cổng duy nhất
Các hệ thống AI bên ngoài hỏi bằng ngôn ngữ tự nhiên thông qua một cánh cổng được cấp phép duy nhất; câu trả lời và các đoạn nguồn được trả lại, không phải bản thân các vector. Cánh cổng này chưa tồn tại; nó nằm trong lộ trình.
Các phần hoạt động ngày hôm nayTrực tiếp
Những điều sau đây đang chạy trên nền tảng ngày hôm nay và đã được sử dụng bởi các công cụ AI trên xloji.com.
pgvector + chỉ mục HNSW
Các đoạn nội dung được lưu trữ dưới dạng vector trong cơ sở dữ liệu và được tìm kiếm bằng chỉ mục HNSW trên độ tương đồng cosine.
Tìm kiếm kết hợp
Tìm kiếm từ khóa và tìm kiếm vector chạy cùng nhau; hai danh sách kết quả được hợp nhất thành một thứ hạng duy nhất. Điều này tìm thấy cả các kết quả khớp chính xác và các đoạn ngữ nghĩa gần đúng.
Cách ly đa người thuê
Mỗi doanh nghiệp, trang web và tác giả có RAG riêng. Một truy vấn chỉ chạy trên chỉ mục của người thuê của nó; dữ liệu không bao giờ trộn lẫn giữa các người thuê.
Làm sạch tài liệu và cấu trúc RAG
Tài liệu tải lên được làm sạch, chia thành các đoạn và cấu trúc cho RAG. Công cụ Cấu trúc Dữ liệu trên nền tảng là giao diện người dùng của quy trình này.
Thu thập dữ liệu web
Các trang của một trang web được thu thập dữ liệu, nội dung của chúng được trích xuất và chuyển qua quy trình làm sạch và lập chỉ mục tương tự.
Nguồn cấp dữ liệu RAG công khai trong các công cụ AI tùy chỉnh
Một công cụ AI tùy chỉnh mà bạn tạo có thể được cung cấp từ một nguồn RAG công khai; công cụ sẽ căn cứ câu trả lời của nó trên cơ sở kiến thức đó.
Lưu trữ tệp và phương tiện
Tệp và phương tiện được lưu trữ trong bộ nhớ đối tượng — không phải trong kho vector. Bản ghi RAG trỏ ngược lại tệp gốc.
Nhúng và sắp xếp lại trên máy chủ của chúng tôi
Việc nhúng và sắp xếp lại giờ đây chạy trên máy chủ riêng của chúng tôi trong một dịch vụ riêng biệt. Văn bản được chuyển đổi thành vectơ mà không rời khỏi máy chủ và các kết quả ứng viên sẽ đi qua bộ sắp xếp lại cục bộ để cải thiện độ chính xác.
Viết lại truy vấn
Một câu hỏi mơ hồ hoặc không đầy đủ sẽ được làm rõ trước khi tìm kiếm chạy. Người dùng không cần phải đặt câu hỏi "đúng"; hệ thống sẽ làm cho truy vấn sẵn sàng tìm kiếm.
Văn bản từ hình ảnh, âm thanh và video
Trích xuất văn bản từ hình ảnh và phiên âm âm thanh và video chạy với các công cụ cục bộ trên máy chủ, và văn bản kết quả sẽ đi vào quy trình làm sạch và lập chỉ mục giống như nhau. Dữ liệu không rời khỏi máy chủ.
Những gì nằm trong lộ trìnhĐã lên kế hoạch
Những điều sau đây chưa tồn tại. Chúng là các mục được lên kế hoạch và thiết kế; trang này không trình bày chúng như thể chúng đã được xây dựng.
Cánh cổng duy nhất: MCP / API gateway
Một cổng duy nhất mà các hệ thống AI bên ngoài có thể truy vấn bằng ngôn ngữ tự nhiên. Một AI kết nối một lần sẽ tiếp cận mọi doanh nghiệp tham gia thông qua cùng một cổng.
Lớp quyền và đồng ý
Các doanh nghiệp tham gia theo lựa chọn của riêng họ; xác thực, quản lý khóa, giới hạn tốc độ và bảo vệ chống lạm dụng đều nằm trong lớp này.
Lớp hiển thị AI
Làm cho nội dung có thể khám phá được bằng máy thông qua llms.txt, /.well-known/ và đánh dấu schema.org, cộng với đăng ký trong các đăng ký MCP. Không có khám phá tự động kỳ diệu nào; khả năng hiển thị được xây dựng theo cách này.
Plugin WordPress
Một plugin cho phép một trang web WordPress gửi nội dung của nó đến OpenRAG và nhận lại một điểm cuối mà các hệ thống AI có thể truy vấn.
Chúng tôi không đưa ra ngày cho các mục này. Khi một mục hoàn thành, nó sẽ chuyển lên danh sách "các phần hoạt động ngày hôm nay" và trang này sẽ được cập nhật cho phù hợp.
🔒 Dữ liệu không rời khỏi máy chủ
Mục tiêu của OpenRAG là chạy mọi bước của quy trình RAG trên máy chủ của chúng tôi với các công cụ miễn phí cục bộ: nhúng, xếp hạng lại, trích xuất văn bản từ hình ảnh và phiên âm âm thanh. Không có phương tiện nào nhập vào RAG được gửi đến một dịch vụ bên ngoài — đây là một quy tắc thiết kế không thể thương lượng.
Tình trạng trung thực: một số bước này vẫn được thực hiện bởi các dịch vụ bên ngoài ngày hôm nay. Việc chuyển chúng vào nội bộ là mục đầu tiên trong lộ trình.
Cách thức mở rộng quy mô được lên kế hoạch
Tìm kiếm vector trở nên đắt đỏ hơn khi nội dung phát triển. Thiết kế của OpenRAG giới hạn chi phí đó ngay từ đầu theo ba cách.
Không có chỉ mục khổng lồ duy nhất
Mỗi doanh nghiệp có chỉ mục nhỏ riêng và một truy vấn chỉ chạy trên chỉ mục đó. Ngay cả khi tổng nội dung phát triển, khu vực mà một truy vấn quét vẫn nhỏ; chi phí tìm kiếm tỷ lệ với kích thước của một doanh nghiệp đó, không phải với tổng kích thước của nền tảng.
Kích thước và độ chính xác của vector có thể điều chỉnh
Sử dụng các chiều vector ngắn hơn và các định dạng số nhỏ gọn hơn, cùng một nội dung chiếm ít không gian hơn đáng kể. Những lựa chọn này được tích hợp vào thiết kế ngay từ đầu để không cần di chuyển tốn kém sau này.
Tầng lạnh
Chỉ mục của một doanh nghiệp không được truy vấn trong một thời gian dài sẽ được chuyển sang bộ nhớ bền bỉ rẻ tiền và kéo lại khi có một truy vấn đến. Bằng cách đó, chỉ nội dung đang hoạt động mới ở trong bộ nhớ nhanh.
Câu hỏi thường gặp
OpenRAG là gì?
Nó là một nền tảng RAG làm sạch và cấu trúc nội dung của doanh nghiệp, lập chỉ mục trên máy chủ của chúng tôi và cho phép truy vấn bằng ngôn ngữ tự nhiên bởi các hệ thống AI bên ngoài thông qua một cánh cổng được cấp phép duy nhất. Nó không phải là một công cụ trò chuyện; nó là lớp kiến thức chạy bên dưới các công cụ đó.
Bạn có cung cấp vector hoặc nội dung của tôi cho người khác không?
Không. Nguyên tắc cốt lõi là: vector không được xuất bản, quyền truy cập được mở ra. Điều được gửi ra bên ngoài không phải là bản sao của nội dung mà là quyền đặt câu hỏi về nó; chỉ các đoạn hỗ trợ được trả lại cùng với câu trả lời. Trên hết, doanh nghiệp quyết định nội dung nào sẽ được truy vấn bên ngoài.
Điều gì thực sự có thể được sử dụng ngày hôm nay?
Cơ sở dữ liệu vector và chỉ mục, tìm kiếm kết hợp, phân tách đa người thuê, làm sạch tài liệu và cấu trúc RAG, thu thập dữ liệu web, nguồn cấp RAG công khai trong các công cụ AI tùy chỉnh và lưu trữ tệp/media đều hoạt động ngày hôm nay. Mô hình nhúng tự lưu trữ, sắp xếp lại, viết lại truy vấn, cửa ngoài, lớp cấp quyền, lớp hiển thị và plugin WordPress hiện chưa tồn tại.
Dữ liệu của tôi có rời khỏi máy chủ không?
Mục tiêu là mọi bước trong quy trình RAG sẽ chạy với các công cụ cục bộ trên máy chủ, không có dữ liệu nào được gửi đến dịch vụ bên ngoài. Tình hình thực tế: một số bước này vẫn được xử lý bởi các dịch vụ bên ngoài ngày nay và việc đưa chúng vào nội bộ là ưu tiên hàng đầu trong lộ trình.
Khi nào các tính năng trong lộ trình sẽ sẵn sàng?
Chúng tôi không đưa ra thời hạn. Mục đích của trang này chính là để hiển thị riêng biệt những gì hoạt động ngày hôm nay và những gì đang được lên kế hoạch. Khi một mục được hoàn thành, nó sẽ chuyển vào danh sách "những phần hoạt động ngày hôm nay".
Nội dung của tôi có được sử dụng hoặc bán cho mục đích đào tạo AI không?
Không. Hiện tại không có việc sử dụng nào như vậy. Ý tưởng về một kho văn bản được cấp phép là mục khó khăn nhất về mặt pháp lý trong lộ trình; ngay cả khi nó xảy ra, không có nội dung nào được sử dụng cho nó nếu không có sự đồng ý rõ ràng của doanh nghiệp.
Quay lại cổng AI để sử dụng các công cụ AI khác.
Các câu hỏi thường gặp
OpenRAG là gì?
OpenRAG là một hệ thống RAG (Retrieval-Augmented Generation) chạy trên máy chủ của xloji.com và là cổng AI duy nhất. Khi nhận được một câu hỏi, nó sẽ tìm kiếm nội dung liên quan trước, sau đó tạo ra câu trả lời dựa trên nội dung đó. Đồng thời, nó đóng vai trò là một cổng trung tâm cho phép các công cụ AI bên ngoài truy cập thông tin thuộc về xloji.com từ một điểm duy nhất.
RAG có ý nghĩa gì và OpenRAG thực hiện nó như thế nào?
RAG là viết tắt của 'Retrieval-Augmented Generation', nghĩa là tạo sinh tăng cường truy xuất; một AI tìm kiếm thông tin từ các nguồn liên quan trước khi tạo ra câu trả lời, sau đó tạo ra câu trả lời dựa trên thông tin đó. OpenRAG thực hiện hai bước này, bước tìm kiếm và bước tạo sinh, bằng cách kết hợp chúng trên máy chủ của chính nó. Do đó, câu trả lời mà OpenRAG đưa ra không phải là ngẫu nhiên mà dựa trên nội dung thực tế thuộc về xloji.com.
'Cổng AI duy nhất' có nghĩa là gì?
'Cổng AI duy nhất' có nghĩa là các yêu cầu và tích hợp AI khác nhau được chuyển qua một điểm truy cập trung tâm duy nhất thay vì các hệ thống riêng biệt. OpenRAG đảm nhận vai trò này: cả tính năng 'Hỏi' của chính xloji.com và các công cụ AI được kết nối từ bên ngoài đều sử dụng cùng một cơ sở hạ tầng OpenRAG. Cấu trúc trung tâm này cho phép quản lý lưu lượng truy cập liên quan đến AI từ một điểm duy nhất.
Việc OpenRAG chạy trên máy chủ riêng có sự khác biệt gì?
OpenRAG chạy trên máy chủ của xloji.com mà không phụ thuộc vào dịch vụ đám mây của bên thứ ba. Điều này có nghĩa là dữ liệu được tìm kiếm và xử lý vẫn nằm trong quyền kiểm soát của xloji.com. Với tư cách là một cấu trúc chạy trên máy chủ riêng, OpenRAG thực hiện các hoạt động tìm kiếm và tạo câu trả lời trong cơ sở hạ tầng của chính nó mà không truyền dữ liệu sang các hệ thống bên ngoài.
Ai sẽ sử dụng OpenRAG?
OpenRAG được sử dụng bởi ba nhóm khác nhau: người dùng cuối truy cập xloji.com và nhập câu hỏi vào hộp 'Hỏi', các hệ thống truy vấn cơ sở hạ tầng RAG của xloji.com và các công cụ AI bên ngoài truy cập thông tin của xloji.com thông qua OpenRAG. Đối với người dùng cuối, OpenRAG trả về một câu trả lời dựa trên nội dung của xloji.com. Đối với các công cụ bên ngoài, OpenRAG là một cổng không ngữ cảnh được sử dụng để lấy thông tin từ xloji.com.
Hộp 'Hỏi' trên xloji.com hoạt động với OpenRAG như thế nào?
Một câu hỏi được nhập vào hộp 'Hỏi' trên xloji.com được xử lý bởi OpenRAG. OpenRAG trước tiên tìm kiếm nội dung liên quan đến câu hỏi trong dữ liệu của chính xloji.com, sau đó tạo một câu trả lời dựa trên nội dung tìm thấy. Nhờ đó, câu trả lời được cung cấp cho người dùng được hỗ trợ bởi nội dung thực tế của xloji.com.
Các công cụ AI bên ngoài lấy thông tin qua OpenRAG như thế nào?
OpenRAG đóng vai trò là một cổng duy nhất cho phép các công cụ AI bên ngoài truy cập thông tin của xloji.com. Các công cụ này có thể kết nối thông qua OpenRAG để nhận các câu trả lời độc lập, dễ hiểu từ nội dung của xloji.com. Do đó, thông tin được cung cấp thông qua OpenRAG được thiết kế để có ý nghĩa một mình mà không cần ngữ cảnh bổ sung.
Giới hạn của OpenRAG là gì?
Câu trả lời của OpenRAG bị giới hạn bởi nội dung được cung cấp cho nó; OpenRAG không thể tạo ra một câu trả lời chắc chắn về thông tin không có trong hệ thống hoặc chưa được thêm vào. OpenRAG được thiết kế để giới hạn trong nội dung hiện có thay vì bịa đặt thông tin không có. Do đó, cần nhớ rằng câu trả lời nhận được từ OpenRAG bị giới hạn bởi nội dung mà xloji.com hiện có.
OpenRAG có phải là một chatbot không?
OpenRAG không phải là một chatbot độc lập theo nghĩa cổ điển; nó là cơ sở hạ tầng RAG và cổng thông tin hoạt động đằng sau tính năng 'Hỏi đáp' của xloji.com và khả năng truy cập thông tin của các công cụ bên ngoài. Nhiệm vụ chính của OpenRAG là tìm nội dung phù hợp với một câu hỏi và tạo ra một câu trả lời dựa trên nội dung đó. Với vai trò này, OpenRAG hoạt động như một lớp cơ sở hạ tầng đằng sau các câu trả lời hơn là một giao diện trò chuyện trực tiếp với người dùng.
Mục đích của OpenRAG đối với xloji.com là gì?
Mục đích của OpenRAG là cho phép cả người dùng cuối và các công cụ AI bên ngoài truy cập thông tin thuộc về xloji.com thông qua một cơ sở hạ tầng đáng tin cậy và được kiểm soát. Việc nó chạy trên máy chủ riêng đảm bảo rằng quyền truy cập này diễn ra mà không phụ thuộc vào các hệ thống bên thứ ba. Nhờ cấu trúc cổng thông tin duy nhất, OpenRAG hợp nhất các điểm truy cập khác nhau thành một hệ thống trung tâm duy nhất.
Thông tin chi tiết về OpenRAG
OpenRAG là một hệ thống RAG (Retrieval-Augmented Generation) chạy trên máy chủ của xloji.com, đồng thời là một cổng AI tập trung để xử lý các yêu cầu liên quan đến trí tuệ nhân tạo. Thành phần 'Open' trong tên gọi cho thấy hệ thống cung cấp một cấu trúc mở và dễ tiếp cận, còn 'RAG' chỉ ra phương thức hoạt động là tìm kiếm dữ liệu liên quan trước khi tạo ra câu trả lời dựa trên dữ liệu đó. Một câu hỏi được nhập vào ô 'Hỏi' trên xloji.com sẽ được OpenRAG tìm kiếm trong nội dung liên quan, sau đó một câu trả lời sẽ được tạo ra dựa trên nội dung tìm thấy. Cơ sở hạ tầng tương tự cũng cho phép các công cụ AI bên ngoài truy cập thông tin của xloji.com thông qua OpenRAG và sử dụng thông tin này trong câu trả lời của họ. Cấu trúc này cho phép xloji.com cung cấp dịch vụ thông qua một cơ sở hạ tầng tập trung duy nhất thay vì xây dựng các giải pháp AI riêng biệt cho từng sản phẩm khác nhau.
Lý luận cơ bản của phương pháp RAG là một hệ thống AI không chỉ dựa vào kiến thức chung đã được huấn luyện trước đó mà còn lấy nội dung cập nhật và chính xác liên quan đến câu hỏi từ một nguồn nhất định, sau đó đưa ra câu trả lời dựa trên nội dung đó. OpenRAG kết hợp hai bước này, tức là tìm kiếm (retrieval) và tạo (generation), bằng cách chạy chúng trên máy chủ của chính nó. Phương pháp này nhằm mục đích giảm xu hướng tạo ra thông tin không có thật của các mô hình AI; bởi vì câu trả lời được suy ra từ nội dung thực tế tìm thấy chứ không phải từ bộ nhớ của chính mô hình. Nhờ đó, câu trả lời của OpenRAG dựa trên nội dung của chính xloji.com chứ không phải thông tin ngẫu nhiên hoặc lỗi thời. Nguồn gốc của một câu trả lời do OpenRAG tạo ra vẫn có thể được theo dõi như là dữ liệu của chính xloji.com. Việc máy chủ thuộc về xloji.com có nghĩa là dữ liệu được tìm kiếm và xử lý được giữ trong quyền kiểm soát của xloji.com mà không phụ thuộc vào dịch vụ đám mây của bên thứ ba.
Khía cạnh 'cổng AI một cửa' của OpenRAG có nghĩa là các yêu cầu và tích hợp AI khác nhau được định tuyến thông qua một điểm truy cập tập trung duy nhất thay vì các hệ thống riêng biệt. Nhờ đó, cả tính năng 'Hỏi' của chính xloji.com và các công cụ bên ngoài kết nối thông qua OpenRAG đều sử dụng cùng một cơ sở hạ tầng và cùng một logic cơ bản. Là một cấu trúc cổng tập trung, OpenRAG cho phép lưu lượng truy cập liên quan đến AI đi qua một điểm duy nhất; điều này tăng cường tính nhất quán của câu trả lời và quyền kiểm soát dữ liệu vì nó là một hệ thống chạy trên máy chủ của chính nó. Phương pháp tiếp cận một điểm này cũng cho phép bảo trì và cập nhật được thực hiện ở một nơi duy nhất thay vì các hệ thống phân tán. Theo nghĩa này, OpenRAG không chỉ là một công cụ hỏi-đáp mà còn là một lớp cơ sở hạ tầng kết hợp tất cả các điểm truy cập liên quan đến AI của xloji.com.
OpenRAG được sử dụng trực tiếp hoặc gián tiếp bởi ba nhóm người dùng khác nhau: người dùng cuối truy cập xloji.com và nhập câu hỏi vào ô 'Hỏi', các hệ thống truy vấn cơ sở hạ tầng RAG của xloji.com và các công cụ AI bên ngoài truy cập thông tin của xloji.com thông qua OpenRAG. Cả ba nhóm người dùng này đều nhận được câu trả lời được cung cấp từ cùng một cơ sở hạ tầng OpenRAG và cùng một kho nội dung; do đó, một nguồn thông tin nhất quán sẽ được truy cập bất kể câu hỏi về xloji.com được đặt ra từ đâu. Câu trả lời do OpenRAG cung cấp bị giới hạn bởi nội dung được cung cấp cho nó; tức là không nên mong đợi một câu trả lời chắc chắn từ OpenRAG về thông tin không có trong hệ thống hoặc chưa được thêm vào máy chủ của nó. Giới hạn này cũng là nền tảng của độ tin cậy của OpenRAG: thay vì bịa đặt thông tin không có, nó hướng đến việc tạo ra các câu trả lời giới hạn trong nội dung hiện có và dựa trên nội dung đó.