🧠 OpenRAG
OpenRAG is a RAG platform that cleans and structures a business's content, indexes it on our own server, and makes it queryable in natural language by external AI systems through a single permissioned door.
Vectors are not published; ACCESS is opened.
This is a product introduction, not a list of promises. Below, the parts that work today and the parts still on the roadmap are marked separately. No dates are promised for roadmap items; as they are completed they move into the "working today" section.
The core principle
OpenRAG's entire design rests on a single sentence: vectors are not published, access is opened. What is given to the outside is not a copy of the content, but the right to ask questions of it.
A vector is an engine, not a product
A vector is specific to the model that produced it; another AI cannot consume it as-is. It also inflates the text many times over. That is why vectors are never handed out.
What is opened is query access
A question comes in; an answer and the source passages it rests on go back out. The full content is never copied, distributed or downloaded.
Permission belongs to the business
The business decides which content becomes externally queryable; participation is opt-in. The permission and consent layer is on the roadmap.
How it works — target architecture
The cleaning, structuring, indexing and search links of this flow work today. Self-hosted embedding with reranking, and the single door to the outside world, are still on the roadmap; each step below states which is which.
Sources are collected
xloji sites, uploaded documents and crawled web pages are the content sources. (A WordPress plugin and a public ingestion API are on the roadmap.)
It is cleaned and structured
Messy content is cleaned, split into meaningful chunks and brought into a form RAG can use. This step works today.
It is indexed and searched
Chunks are turned into vectors and written to pgvector; they are found via an HNSW index and hybrid search (keyword + vector). This step works today; adding the reranking link is on the roadmap.
It is reached through a single door
External AI systems ask in natural language through a single permissioned door; answers and source passages come back, not the vectors themselves. This door does not exist yet; it is on the roadmap.
Parts that work todayLive
The following are running on the platform today and are already used by the AI tools on xloji.com.
pgvector + HNSW index
Content chunks are stored as vectors in the database and searched with an HNSW index over cosine similarity.
Hybrid search
Keyword search and vector search run together; the two result lists are fused into a single ranking. This finds both exact term matches and semantically close passages.
Multi-tenant isolation
Every business, site and author has its own RAG. A query runs only against its own tenant's index; data never mixes across tenants.
Document cleaning and RAG structuring
Uploaded documents are cleaned, chunked and structured for RAG. The Data Structuring tool on the platform is the user-facing face of this pipeline.
Web crawling
A site's pages are crawled, their content is extracted and passed through the same cleaning and indexing pipeline.
Public RAG feed in custom AI tools
A custom AI tool you create can be fed from a public RAG source; the tool grounds its answers in that knowledge base.
File and media storage
Files and media live in object storage — not in the vector store. The RAG record points back to the original file.
Өзіміздің серверлерде ендіру және қайта реттеу
Ендіру және қайта реттеу операциялары енді жеке қызметте өзіміздің серверлерде жүзеге асырылады. Мәтін серверден шықпай векторларға түрлендіріледі және нәтижелерді жақсарту үшін жергілікті қайта реттеушіден өтеді.
Сұранысты қайта жазу
Нақты емес немесе толық емес сұрақ іздеу жүргізілмес бұрын түзетеді. Пайдаланушылар "дұрыс" сұрауды қоюға міндетті емес; жүйе сұранысты іздеуге дайын күйге келтіреді.
Суреттер, аудио және бейнеден мәтін
Суреттерден мәтін шығару және аудио мен бейнені транскрипциялау сервердегі жергілікті құралдармен жүзеге асырылады, ал нәтижедегі мәтін тазалау және индексациялау конвейеріне түседі. Деректер серверден шықпайды.
What is on the roadmapPlanned
The following do not exist yet. They are planned and designed items; this page does not present them as if they were already built.
The single door: MCP / API gateway
A single gateway that external AI systems can query in natural language. An AI that connects once reaches every participating business through the same door.
Рұқсат және келісім қабаты
Businesses join by their own choice; authentication, key management, rate limiting and abuse protection all live in this layer.
Жасанды интеллектті көру қабаты
Making content machine-discoverable via llms.txt, /.well-known/ and schema.org markup, plus registration in MCP registries. There is no magical auto-discovery; visibility is built this way.
WordPress plugin
A plugin that lets a WordPress site send its content to OpenRAG and get back an endpoint that AI systems can query.
We do not give dates for these items. When an item is finished it moves up into the "parts that work today" list, and this page is updated accordingly.
🔒 Data does not leave the server
OpenRAG's goal is to run every step of the RAG pipeline on our own server with local, free tools: embedding, reranking, text extraction from images and audio transcription. No media entering RAG is sent to an external service — this is a non-negotiable design rule.
The honest status: some of these steps are still performed by external services today. Moving them in-house is the first item on the roadmap.
How growth is planned
Vector search gets more expensive as content grows. OpenRAG's design limits that cost from the start in three ways.
There is no single giant index
Each business has its own small index and a query runs only against that index. Even as total content grows, the area a single query scans stays small; search cost scales with that one business's size, not with the platform's total.
Vector size and precision are adjustable
Using shorter vector dimensions and more compact number formats, the same content takes up markedly less space. These choices are built into the design from the start so that no expensive migration is needed later.
Cold tier
The index of a business that has not been queried for a long time is moved to cheap persistent storage and pulled back when a query arrives for it. That way only currently active content stays in fast memory. This tier is on the roadmap.
Frequently Asked Questions
What exactly is OpenRAG?
It is a RAG platform that cleans and structures a business's content, indexes it on our own server, and makes it queryable in natural language by external AI systems through a single permissioned door. It is not a chat tool; it is the knowledge layer that runs underneath such tools.
Do you hand my vectors or my content to anyone else?
No. The core principle is: vectors are not published, access is opened. What goes outside is not a copy of the content but the right to ask it questions; only the supporting passages come back with the answer. On top of that, the business decides which content becomes externally queryable.
What can actually be used today?
Векторлық дерекқор және индекс, гибридтік іздеу, көп тұтынушы оқшаулануы, құжаттарды тазалау және RAG құрылымы, веб-шолу, әдеттегі AI құралдарындағы қоғамдық RAG ағыны және файл/медиа сақтағышы бүгін жұмыс істейді. Өзіңіз орналастырылған енбедер, қайта реттеу, сұрауды қайта жазу, сыртқы есік, рұқсат қабаты, көріну қабаты және WordPress плагині әлі жоқ.
Менің деректерім серверден кетеді ме?
Мақсат – RAG құбырының әр қадамы сервердегі жергілікті құралдармен орындалуы, ешбір медиа RAG-қа сыртқы қызметке жіберілмейді. Шын мәніндегі жағдай: осы қадамдардың кейбіреулері бүгін де сыртқы қызметтермен өңделеді, оларды ішкі қызметтерге көшіру жол картасының бірінші тармағы болып табылады.
Жол картасындағы мүмкіндіктер қашан дайын болады?
Біз мерзімдерді уәделемейміз. Осы беттің мақсаты осы: бүгін жұмыс істейтін және жоспарланған нәрселерді бөлек көрсету. Элемент аяқталғанда, ол "бүгін жұмыс істейтін бөліктер" тізіміне көшеді.
Менің контентім AI оқуы үшін қолданылады ма немесе сатылады ма?
Жоқ. Мұндай қолданыс бүгін жоқ. Рұқсат етілген мәтіндік корпус идеясы – жол картасындағы ең алыс, құқықтық тұрғыдан ауыр тармақ; тіпті осы орын алса, кез келген контент бизнес рұқсатысыз қолданылмайды.
AI порталына басқа AI құралдары үшін оралыңыз.
Жиі қойылатын сұрақтар
OpenRAG дегеніміз не?
OpenRAG — xloji.com-ның өз серверінде жұмыс істейтін RAG (Retrieval-Augmented Generation) жүйесі және жалғыз есік AI қақпасы. Сұрақ келген кезде ол ең алдымен қатысты мазмұнды табады, содан кейін осы мазмұнға негізделген жауапты жасайды. Сонымен қатар, xloji.com-ға тиесілі ақпаратқа бір орталықтан қол жеткізуді қамтамасыз ететін орталық қақпа ретінде де қызмет етеді.
RAG нені білдіреді және OpenRAG оны қалай қолданады?
RAG — 'Retrieval-Augmented Generation', яғни ақпаратты іздеу арқылы толықтырылған генерация деген мағынаны білдіреді; жасанды интеллект жауапты жасамас бұрын тиісті дереккөздерден ақпарат іздейді, содан кейін осы ақпаратқа негізделген жауапты құрайды. OpenRAG осы екі қадамды, іздеу және жасау қадамдарын өз серверінде біріктіріп жұмыс істейді. Осылайша OpenRAG берген жауаптар кездейсоқ емес, xloji.com-ға тиесілі нақты мазмұнға негізделген.
'Жалғыз есік AI қақпасы' дегеніміз не?
Жалғыз есік AI қақпасы — әртүрлі жасанды интеллект сұраулары мен интеграциялар жеке жүйелердің орнына бір орталық кіру нүктесі арқылы өтуі деген мағынаны білдіреді. OpenRAG осы рөлді өз мойнына алады: xloji.com-ның өзінің 'Сұрақ қою' мүмкіндігі де, сырттан қосылған жасанды интеллект құралдары да бірдей OpenRAG инфрақұрылымы арқылы қызмет алады. Осы орталық құрылым жасанды интеллектке қатысты трафикті бір орталықтан басқаруға мүмкіндік береді.
OpenRAG-тың өз серверінде жұмыс істеуі қандай айырмашылықты тудырады?
OpenRAG үшінші тараптың бұлтты қызметіне тәуелді болмай, xloji.com-ның өз серверінде жұмыс істейді. Бұл ізделген және өңделген деректер xloji.com-ның өзінің бақылауында қалады дегенді білдіреді. Өз серверінде жұмыс істейтін құрылым ретінде OpenRAG сыртқы жүйелерге деректерді жібермей өзінің инфрақұрылымы ішінде іздеу және жауап жасау операцияларын жүзеге асырады.
OpenRAG-ты кімдер пайдаланады?
OpenRAG үш түрлі топ пайдаланады: xloji.com сайтына кіріп, 'Сұрақ қою' өрісіне жазатын соңғы пайдаланушылар, xloji.com-ның өзінің RAG инфрақұрылымын сұрайтын жүйелер және OpenRAG арқылы xloji.com-ға қатысты ақпаратқа қол жеткізетін сыртқы жасанды интеллект құралдары. Соңғы пайдаланушы үшін OpenRAG, қойған сұрағына xloji.com мазмұнына негізделген жауап береді. Сыртқы құралдар үшін OpenRAG, xloji.com-нан ақпарат алу үшін қолданылатын контекстсіз есік болып табылады.
xloji.com сайтындағы 'Сұрақ қою' өрісі OpenRAG-пен қалай жұмыс істейді?
xloji.com сайтындағы 'Сұрақ қою' өрісіне жазылған сұрақ OpenRAG арқылы өңделеді. OpenRAG бірінші кезекте сұраққа қатысты мазмұнды xloji.com-ның өзінің деректерінде іздейді, содан кейін тапқан осы мазмұнға негізделген жауап жасайды. Осылайша, пайдаланушыға берілген жауап xloji.com-ға тиесілі нақты мазмұнмен қолдау көрсетіледі.
Сыртқы жасанды интеллект құралдары OpenRAG арқылы қалай ақпарат алады?
OpenRAG, xloji.com сыртындағы жасанды интеллект құралдарының xloji.com-ға қатысты ақпаратқа қол жеткізуі үшін бір ғана есік қызметін атқарады. Бұл құралдар OpenRAG арқылы қосылып, xloji.com мазмұнынан контекстсіз, өздігінен түсінікті жауаптар ала алады. Сондықтан OpenRAG арқылы берілген ақпарат, жеке контекстті қажет етпейтіндей етіп жасалған.
OpenRAG-тың шектеулері қандай?
OpenRAG-тың берген жауаптары оған ұсынылған мазмұнмен шектеледі; жүйеде жоқ немесе қосылмаған ақпарат туралы OpenRAG нақты жауап бере алмайды. OpenRAG, жоқ ақпаратты ойдан шығарудың орнына, қолындағы мазмұнмен шектелуді мақсат ететін құрылым. Сондықтан OpenRAG-тан алынған жауаптың, xloji.com-ның сол уақыттағы мазмұнымен шектелетінін естен шығармау керек.
OpenRAG чат-бот болып табылады ма?
OpenRAG классикалық мағынада дербес чат-бот емес; ол xloji.com-ның «Сұрақ қою» мүмкіндігінің және сыртқы құралдардың ақпаратқа қол жеткізуінің артында жұмыс істейтін RAG және шлюз инфрақұрылымы болып табылады. OpenRAG-тың негізгі жұмысы — сұраққа сәйкес келетін мазмұнды табу және осы мазмұн негізінде жауап беру болып табылады. Осылайша, OpenRAG тікелей пайдаланушымен әңгімелесетін интерфейстен гөрі, жауаптардың артындағы инфрақұрылымдық қабат ретінде жұмыс істейді.
OpenRAG-тың xloji.com үшін мақсаты қандай?
OpenRAG-тың мақсаты — xloji.com-ға қатысты ақпаратқа соңғы пайдаланушылардың да, сыртқы жасанды интеллект құралдарының да сенімді және өз бақылауындағы инфрақұрылым арқылы қол жеткізуін қамтамасыз ету болып табылады. Өз серверінде жұмыс істеуі, осы қол жеткізудің үшінші тарап жүйелеріне тәуелді болмайтынын қамтамасыз етеді. Бір қақпалы шлюз құрылымының арқасында OpenRAG әртүрлі қол жеткізу нүктелерін бірыңғай орталық жүйеде біріктіреді.
OpenRAG туралы толық ақпарат
OpenRAG — xloji.com-ның өзінің серверінде жұмыс істейтін RAG (Retrieval-Augmented Generation) жүйесі және сонымен қатар жасанды интеллектке қатысты сұрауларды бір арнадан өткізетін AI қақпасы. Атындағы 'Open' сөзі жүйенің сыртқа ашық және қолжетімді құрылым ұсынатынын, ал 'RAG' сөзі жауап жасайтын кезде алдымен қатысты деректерді тауып, содан кейін осы деректерге сүйене отырып жауап жасайтын жұмыс әдісін көрсетеді. xloji.com-дағы 'Сұрақ қою' өрісіне жазылған сұрақ алдымен OpenRAG арқылы қатысты мазмұнда ізделеді, содан кейін табылған осы мазмұнға сүйене отырып жауап жасалады. Осы құрылым xloji.com-нан тыс жасанды интеллект құралдарының OpenRAG арқылы xloji.com-ға тиесілі ақпаратқа қол жеткізіп, осы ақпаратты өз жауаптарында пайдалануына да мүмкіндік береді. Бұл құрылым xloji.com-ның әртүрлі өнімдері үшін жеке-жеке жасанды интеллект шешімдерін орнатудың орнына, бір орталық инфрақұрылым арқылы қызмет көрсетуін мүмкін етеді.
RAG тәсілінің негізгі логикасы — жасанды интеллект жүйесі тек бұрын оқытылған жалпы білімге сенудің орнына, сұраққа қатысты жаңартылған және дұрыс мазмұнды алдымен көзден алып, содан кейін осы мазмұнға сүйене отырып жауап беру болып табылады. OpenRAG бұл екі қадамды, яғни табу (retrieval) және жасау (generation) қадамдарын өз серверінде біріктіріп жұмыстырады. Бұл тәсіл жасанды интеллект модельдерінің кейде жоқ ақпаратты жасауға бейімділігін азайтуға бағытталған; себебі жауап модельдің өзінің жадынан емес, шын мәнінде табылған мазмұннан туындайды. Осылайша OpenRAG берген жауаптар кездейсоқ немесе ескірген ақпаратқа емес, xloji.com-ның өзінің мазмұнына негізделген. Сондықтан OpenRAG жасаған жауаптың көзі xloji.com-ның өзінің деректері ретінде қадағалануы мүмкін. Сервердің xloji.com-ға тиесілі болуы ізделген және өңделген деректер үшінші тараптың бұлтты қызметіне тәуелді болмай, xloji.com-ның өзінің бақылауында сақталуын білдіреді.
OpenRAG-тың 'бір есік AI қақпасы' жағы — әртүрлі жасанды интеллект сұраулары мен интеграциялары жеке жүйелердің орнына бір орталық кіріс нүктесінен бағытталуын білдіреді. Осылайша xloji.com-ның өзінің 'Сұрақ қою' мүмкіндігі де, OpenRAG арқылы қосылған сыртқы құралдар да бір инфрақұрылымды және бірдей негізгі логиканы пайдаланады. Орталық қақпа құрылымы ретінде OpenRAG жасанды интеллектке қатысты трафиктің бір нүктеден өтуін қамтамасыз етеді; бұл жауаптардың дәйектілігін де, өз серверінде жұмыс істейтін жүйе ретінде деректерге бақылауды да арттырады. Бұл бір нүктелі тәсіл сонымен қатар күтім мен жаңартулардың шашыраңқы жүйелердің орнына бір жерде жасалуын қамтамасыз етеді. OpenRAG осы жағынан тек сұрақ-жауап құралы ғана емес, xloji.com-ның жасанды интеллектке қатысты барлық кіріс нүктелерін біріктіретін инфрақұрылымдық қабат болып табылады.
OpenRAG-ты үш түрлі пайдаланушы тобы тікелей немесе жанама түрде пайдаланады: xloji.com-ды зиярат етіп 'Сұрақ қою' өрісіне жазатын соңғы пайдаланушылар, xloji.com-ның өзінің RAG инфрақұрылымын сұрап алатын жүйелер және OpenRAG арқылы xloji.com-ға тиесілі ақпаратқа қол жеткізетін сыртқы жасанды интеллект құралдары. Бұл үш пайдаланушы тобы да бір OpenRAG инфрақұрылымынан, бір мазмұн қоймасынан тамақтанатын жауаптар алады; сондықтан xloji.com туралы қайдан сұралса да дәйекті ақпарат көзіне жетеді. OpenRAG берген жауаптар оған ұсынылған мазмұнмен шектеледі; яғни жүйеде жоқ немесе оның серверіне қосылмаған ақпарат туралы OpenRAG-тан нақты жауап күтуге болмайды. Бұл шектеу сонымен қатар OpenRAG-тың сенімділігінің негізін құрайды: жоқ ақпаратты ойдан шығарудың орнына, қолындағы мазмұнмен шектеліп, осы мазмұнға сүйенген жауаптар жасауды мақсат етеді.