🧠 OpenRAG
OpenRAG یک پلتفرم RAG است که محتوای یک کسبوکار را پاکسازی و ساختاربندی میکند، آن را روی سرور خودمان فهرست میکند و امکان پرسش از آن را به زبان طبیعی برای سیستمهای هوش مصنوعی خارجی از طریق یک درگاه مجاز واحد فراهم میسازد.
بردارها منتشر نمیشوند؛ دسترسی باز میشود.
این یک معرفی محصول است، نه فهرستی از وعدهها. در زیر، قسمتهایی که امروز کار میکنند و قسمتهایی که هنوز در نقشه راه قرار دارند، به طور جداگانه مشخص شدهاند. هیچ تاریخی برای موارد نقشه راه وعده داده نمیشود؛ با تکمیل شدن، به بخش "کارکرد امروز" منتقل میشوند.
اصل اساسی
طراحی OpenRAG به طور کامل بر یک جمله استوار است: بردارها منتشر نمیشوند، دسترسی باز میشود. آنچه به بیرون داده میشود کپی محتوا نیست، بلکه حق پرسیدن سوال از آن است.
بردار یک موتور است، نه یک محصول
بردار مختص مدلی است که آن را تولید کرده است؛ یک هوش مصنوعی دیگر نمیتواند آن را به طور مستقیم مصرف کند. همچنین متن را چندین برابر افزایش میدهد. به همین دلیل است که بردارها هرگز ارائه نمیشوند.
آنچه باز میشود، دسترسی به پرسش است
یک سوال وارد میشود؛ یک پاسخ و قطعات منبعی که بر آن استوار است، بازگردانده میشوند. محتوای کامل هرگز کپی، توزیع یا دانلود نمیشود.
مجوز متعلق به کسبوکار است
کسبوکار تصمیم میگیرد کدام محتوا به صورت خارجی قابل پرسش شود؛ مشارکت اختیاری است. لایه مجوز و رضایت در نقشه راه قرار دارد.
نحوه کارکرد — معماری هدف
پیوندهای پاکسازی، ساختاربندی، فهرستبندی و جستجو در این جریان امروز کار میکنند. تعبیهسازی خود میزبانی شده با رتبهبندی مجدد و درگاه واحد به دنیای بیرون، هنوز در نقشه راه قرار دارند؛ هر مرحله در زیر مشخص میکند که کدام یک کدام است.
منابع جمعآوری میشوند
سایتهای xloji، اسناد آپلود شده و صفحات وب خزیده شده منابع محتوا هستند. (یک افزونه وردپرس و یک API جذب عمومی در نقشه راه قرار دارند.)
پاکسازی و ساختاربندی میشود
محتوای نامرتب پاکسازی میشود، به قطعات معنادار تقسیم میشود و به قالبی تبدیل میشود که RAG بتواند از آن استفاده کند. این مرحله امروز کار میکند.
فهرستبندی و جستجو میشود
قطعات به بردار تبدیل میشوند و در pgvector نوشته میشوند؛ از طریق یک شاخص HNSW و جستجوی ترکیبی (کلیدواژه + بردار) یافت میشوند. این مرحله امروز کار میکند؛ افزودن پیوند رتبهبندی مجدد در نقشه راه قرار دارد.
از طریق یک درگاه واحد قابل دسترسی است
سیستمهای هوش مصنوعی خارجی به زبان طبیعی از طریق یک درگاه مجاز واحد سوال میپرسند؛ پاسخها و قطعات منبع باز میگردند، نه خود بردارها. این درگاه هنوز وجود ندارد؛ در نقشه راه قرار دارد.
قسمتهایی که امروز کار میکنندزنده
موارد زیر امروز روی پلتفرم در حال اجرا هستند و در حال حاضر توسط ابزارهای هوش مصنوعی در xloji.com استفاده میشوند.
pgvector + شاخص HNSW
قطعات محتوا به صورت بردار در پایگاه داده ذخیره میشوند و با استفاده از یک شاخص HNSW بر اساس شباهت کسینوسی جستجو میشوند.
جستجوی ترکیبی
جستجوی کلیدواژه و جستجوی بردار به طور همزمان اجرا میشوند؛ دو لیست نتیجه در یک رتبهبندی واحد ادغام میشوند. این کار هم مطابقتهای دقیق اصطلاحات و هم قطعات معنایی نزدیک را پیدا میکند.
جداسازی چند مستاجره
هر کسبوکار، سایت و نویسنده RAG خود را دارد. یک پرسش فقط در برابر شاخص مستاجر خود اجرا میشود؛ دادهها هرگز در بین مستاجران مخلوط نمیشوند.
پاکسازی سند و ساختاربندی RAG
اسناد آپلود شده پاکسازی، قطعهبندی و برای RAG ساختاربندی میشوند. ابزار ساختاربندی داده در پلتفرم، رویه کاربرپسند این خط لوله است.
خزیدن وب
صفحات یک سایت خزیده میشوند، محتوای آنها استخراج میشود و از طریق همان خط لوله پاکسازی و فهرستبندی عبور میکند.
فید RAG عمومی در ابزارهای هوش مصنوعی سفارشی
یک ابزار هوش مصنوعی سفارشی که ایجاد میکنید میتواند از یک منبع RAG عمومی تغذیه شود؛ این ابزار پاسخهای خود را بر اساس آن پایگاه دانش بنا میکند.
ذخیرهسازی فایل و رسانه
فایلها و رسانهها در فضای ذخیرهسازی ابری زندگی میکنند - نه در فروشگاه بردار. رکورد RAG به فایل اصلی اشاره میکند.
درونگذاری و رتبهبندی مجدد در سرورهای خودمان
درونگذاری و رتبهبندی مجدد اکنون در سرورهای خودمان در یک سرویس جداگانه انجام میشود. متن بدون خروج از سرور به بردار تبدیل میشود و نتایج کاندیدا از یک رتبهبند محلی عبور میکنند تا دقت بهبود یابد.
بازنویسی پرسش
یک پرسش مبهم یا ناقص قبل از اجرای جستجو مرتب میشود. کاربران مجبور نیستند پرسش "درست" را مطرح کنند؛ سیستم پرسش را برای جستجو آماده میکند.
متن از تصاویر، صدا و ویدیو
استخراج متن از تصاویر و تبدیل گفتار به متن صدا و ویدیو با استفاده از ابزارهای محلی روی سرور انجام میشود و متن حاصل وارد خط لوله یکسان پاکسازی و فهرستبندی میشود. دادهها سرور را ترک نمیکنند.
آنچه در نقشه راه قرار داردبرنامهریزی شده
موارد زیر هنوز وجود ندارند. این موارد برنامهریزی شده و طراحی شدهاند؛ این صفحه آنها را به عنوان موارد ساخته شده ارائه نمیکند.
درگاه واحد: MCP / دروازه API
یک دروازه واحد که سیستمهای هوش مصنوعی خارجی میتوانند به زبان طبیعی از آن پرسش کنند. یک هوش مصنوعی که یک بار متصل میشود از طریق همان درگاه به هر کسبوکار شرکتکننده دسترسی پیدا میکند.
لایه مجوز و رضایت
کسبوکارها به انتخاب خود ملحق میشوند؛ احراز هویت، مدیریت کلید، محدودیت نرخ و محافظت در برابر سوء استفاده همگی در این لایه قرار دارند.
لایه دید هوش مصنوعی
قابل کشف کردن محتوا توسط LLM از طریق llms.txt، /.well-known/ و نشانهگذاری schema.org، به علاوه ثبت نام در رجیستریهای MCP. هیچ کشف خودکار جادویی وجود ندارد؛ دید به این روش ساخته میشود.
افزونه وردپرس
یک افزونه که به یک سایت وردپرس اجازه میدهد محتوای خود را به OpenRAG ارسال کند و یک نقطه پایانی دریافت کند که سیستمهای هوش مصنوعی میتوانند از آن پرسش کنند.
ما برای این موارد تاریخ نمیدهیم. هنگامی که یک مورد تکمیل میشود، به لیست "قسمتهایی که امروز کار میکنند" منتقل میشود و این صفحه به طور متناسب بهروز میشود.
🔒 دادهها سرور را ترک نمیکنند
هدف OpenRAG اجرای هر مرحله از خط لوله RAG روی سرور خودمان با ابزارهای رایگان محلی است: تعبیهسازی، رتبهبندی مجدد، استخراج متن از تصاویر و رونویسی صدا. هیچ رسانهای که وارد RAG میشود به یک سرویس خارجی ارسال نمیشود - این یک قانون طراحی غیرقابل مذاکره است.
وضعیت صادقانه: برخی از این مراحل هنوز توسط سرویسهای خارجی انجام میشوند. انتقال آنها به داخل خانه اولین مورد در نقشه راه است.
نحوه برنامهریزی رشد
جستجوی بردار با رشد محتوا پرهزینهتر میشود. طراحی OpenRAG از ابتدا این هزینه را به سه روش محدود میکند.
هیچ شاخص غول پیکر واحدی وجود ندارد
هر کسبوکار شاخص کوچک خود را دارد و یک پرسش فقط در برابر آن شاخص اجرا میشود. حتی با رشد کل محتوا، ناحیه ای که یک پرسش اسکن میکند کوچک باقی میماند؛ هزینه جستجو با اندازه آن کسبوکار، نه با کل پلتفرم، مقیاس میشود.
اندازه و دقت بردار قابل تنظیم است
با استفاده از ابعاد بردار کوتاهتر و قالبهای عددی فشردهتر، همان محتوا فضای کمتری را اشغال میکند. این انتخابها از ابتدا در طراحی گنجانده شدهاند تا نیازی به مهاجرت پرهزینه در آینده نباشد.
لایه سرد
شاخص کسبوکاری که برای مدت طولانی پرسش نشده است، به فضای ذخیرهسازی ارزان قیمت پایدار منتقل میشود و هنگام رسیدن یک پرسش برای آن، دوباره بازیابی میشود. به این ترتیب، فقط محتوای فعال در حافظه سریع باقی میماند. این لایه در نقشه راه قرار دارد.
سوالات متداول
OpenRAG دقیقاً چیست؟
این یک پلتفرم RAG است که محتوای یک کسبوکار را پاکسازی و ساختاربندی میکند، آن را روی سرور خودمان فهرست میکند و امکان پرسش از آن را به زبان طبیعی برای سیستمهای هوش مصنوعی خارجی از طریق یک درگاه مجاز واحد فراهم میسازد. این یک ابزار چت نیست؛ این لایه دانشی است که در زیر چنین ابزارهایی اجرا میشود.
آیا شما بردارها یا محتوای من را در اختیار شخص دیگری قرار میدهید؟
خیر. اصل اساسی این است: بردارها منتشر نمیشوند، دسترسی باز میشود. آنچه به بیرون میرود کپی محتوا نیست، بلکه حق پرسیدن سوال از آن است؛ فقط قطعات پشتیبانی کننده با پاسخ بازگردانده میشوند. علاوه بر این، کسبوکار تصمیم میگیرد کدام محتوا به صورت خارجی قابل پرسش شود.
چه چیزی در حال حاضر قابل استفاده است؟
پایگاه داده و نمایه برداری، جستجوی ترکیبی، جداسازی چند مستأجره، پاکسازی اسناد و ساختاربندی RAG، خزیدن وب، فید عمومی RAG در ابزارهای هوش مصنوعی سفارشی و ذخیرهسازی فایل/رسانه همگی در حال حاضر کار میکنند. تعبیهسازی خود میزبانی شده، رتبهبندی مجدد، بازنویسی پرس و جو، درگاه خارجی، لایه مجوز، لایه دید و افزونه وردپرس هنوز وجود ندارند.
آیا دادههای من سرور را ترک میکنند؟
هدف این است که هر مرحله از خط لوله RAG با استفاده از ابزارهای محلی روی سرور اجرا شود، به طوری که هیچ رسانهای وارد RAG نشود که به یک سرویس خارجی ارسال شود. وضعیت صادقانه: برخی از این مراحل هنوز توسط سرویسهای خارجی مدیریت میشوند و انتقال آنها به داخل اولین مورد در نقشه راه است.
چه زمانی ویژگیهای نقشه راه آماده میشوند؟
ما هیچ تاریخی را قول نمیدهیم. هدف دقیقاً از این صفحه نشان دادن جداگانه مواردی است که امروز کار میکنند و مواردی که برنامهریزی شدهاند. هنگامی که یک مورد تکمیل شد، به لیست «بخشی که امروز کار میکند» منتقل میشود.
آیا محتوای من برای آموزش هوش مصنوعی استفاده یا فروخته میشود؟
خیر. امروز چنین استفادهای وجود ندارد. ایده یک پیکره متن دارای مجوز، دورترین و از نظر قانونی سنگینترین مورد در نقشه راه است. حتی اگر اتفاق بیفتد، هیچ محتوایی بدون رضایت صریح کسبوکار برای آن استفاده نخواهد شد.
به پورتال هوش مصنوعی بازگردید تا از سایر ابزارهای هوش مصنوعی استفاده کنید.
پرسشهای متداول
OpenRAG چیست؟
OpenRAG یک سیستم RAG (Retrieval-Augmented Generation) و دروازه هوش مصنوعی تک نقطهای است که بر روی سرور خود xloji.com اجرا میشود. وقتی سؤالی مطرح میشود، ابتدا محتوای مرتبط را پیدا میکند، سپس بر اساس این محتوا یک پاسخ تولید میکند. همچنین به عنوان یک دروازه مرکزی عمل میکند که به ابزارهای هوش مصنوعی خارج از xloji.com اجازه میدهد تا از یک نقطه واحد به اطلاعات متعلق به xloji.com دسترسی داشته باشند.
RAG به چه معناست و OpenRAG چگونه آن را اجرا میکند؟
RAG مخفف 'Retrieval-Augmented Generation' یا تولید تقویتشده با بازیابی است؛ به این معنی که یک هوش مصنوعی قبل از تولید پاسخ، اطلاعات را از منابع مرتبط جستجو میکند، سپس بر اساس این اطلاعات پاسخ میدهد. OpenRAG این دو مرحله، یعنی مراحل جستجو و تولید را، با هم ترکیب کرده و بر روی سرور خود اجرا میکند. بنابراین پاسخهای ارائه شده توسط OpenRAG تصادفی نیستند، بلکه بر اساس محتوای واقعی متعلق به xloji.com هستند.
منظور از 'دروازه هوش مصنوعی تک نقطهای' چیست؟
دروازه هوش مصنوعی تک نقطهای به این معنی است که درخواستها و یکپارچهسازیهای مختلف هوش مصنوعی از طریق یک نقطه ورودی مرکزی واحد به جای سیستمهای جداگانه انجام میشوند. OpenRAG این نقش را بر عهده میگیرد: هم ویژگی 'پرسش و پاسخ' خود xloji.com و هم ابزارهای هوش مصنوعی متصل شده از خارج، از طریق زیرساخت یکسان OpenRAG خدمات دریافت میکنند. این ساختار متمرکز امکان مدیریت ترافیک مربوط به هوش مصنوعی را از یک نقطه واحد فراهم میکند.
عملکرد OpenRAG بر روی سرور خود چه تفاوتی ایجاد میکند؟
OpenRAG بر روی سرور خود xloji.com اجرا میشود و به سرویس ابری شخص ثالث وابسته نیست. این بدان معناست که دادههای جستجو و پردازش شده تحت کنترل xloji.com باقی میمانند. به عنوان یک ساختار که بر روی سرور خود اجرا میشود، OpenRAG عملیات جستجو و تولید پاسخ را در زیرساخت خود بدون انتقال داده به سیستمهای خارجی انجام میدهد.
چه کسانی از OpenRAG استفاده میکنند؟
OpenRAG توسط سه گروه مختلف استفاده میشود: کاربران نهایی که از xloji.com بازدید میکنند و سوال خود را در کادر 'پرسش' مینویسند، سیستمهایی که زیرساخت RAG خود xloji.com را بررسی میکنند و ابزارهای هوش مصنوعی خارجی که از طریق OpenRAG به اطلاعات متعلق به xloji.com دسترسی دارند. برای کاربر نهایی، OpenRAG پاسخی بر اساس محتوای xloji.com به سوال او برمیگرداند. برای ابزارهای خارجی، OpenRAG دریچهای بدون زمینه برای دریافت اطلاعات از xloji.com است.
کادر 'پرسش' در xloji.com چگونه با OpenRAG کار میکند؟
سوال وارد شده در کادر 'پرسش' در xloji.com توسط OpenRAG پردازش میشود. OpenRAG ابتدا محتوای مرتبط با سوال را در دادههای خود xloji.com جستجو میکند، سپس بر اساس این محتوای یافت شده، پاسخی ایجاد میکند. به این ترتیب، پاسخ ارائه شده به کاربر با محتوای واقعی متعلق به xloji.com پشتیبانی میشود.
ابزارهای هوش مصنوعی خارجی چگونه از طریق OpenRAG اطلاعات دریافت میکنند؟
OpenRAG به عنوان یک دروازه واحد برای دسترسی ابزارهای هوش مصنوعی خارج از xloji.com به اطلاعات متعلق به xloji.com عمل میکند. این ابزارها میتوانند از طریق OpenRAG متصل شوند و پاسخهای قابل فهم و مستقل از xloji.com را از محتوای آن دریافت کنند. به همین دلیل، اطلاعات ارائه شده از طریق OpenRAG به گونهای طراحی شدهاند که بدون نیاز به زمینه جداگانه، به تنهایی معنیدار باشند.
محدودیتهای OpenRAG چیست؟
پاسخهای ارائه شده توسط OpenRAG محدود به محتوای ارائه شده به آن است؛ OpenRAG نمیتواند پاسخ قطعی در مورد اطلاعاتی که در سیستم وجود ندارد یا اضافه نشدهاند، ارائه دهد. OpenRAG ساختاری است که هدف آن محدود ماندن به محتوای موجود به جای ساختن اطلاعات غیرواقعی است. بنابراین، باید به خاطر داشت که پاسخی که از OpenRAG دریافت میشود، محدود به محتوای فعلی xloji.com است.
آیا OpenRAG یک ربات چت است؟
OpenRAG یک ربات چت مستقل به معنای کلاسیک نیست؛ بلکه زیرساخت RAG و دروازهای است که در پشت ویژگی «پرسش و پاسخ» وبسایت xloji.com و دسترسی ابزارهای خارجی به اطلاعات قرار دارد. کار اصلی OpenRAG یافتن محتوای مربوط به یک سؤال و تولید پاسخ بر اساس آن محتوا است. به این ترتیب، OpenRAG بیشتر به عنوان لایه زیرساختی پشت پاسخها عمل میکند تا یک رابط کاربری که مستقیماً با کاربر چت کند.
هدف OpenRAG برای xloji.com چیست؟
هدف OpenRAG این است که دسترسی به اطلاعات متعلق به xloji.com را هم برای کاربران نهایی و هم برای ابزارهای هوش مصنوعی خارجی از طریق یک زیرساخت قابل اعتماد و تحت کنترل فراهم کند. اجرای آن در سرور خود، امکان دسترسی را بدون وابستگی به سیستمهای شخص ثالث فراهم میکند. ساختار دروازه تکنقطهای OpenRAG، نقاط دسترسی مختلف را در یک سیستم مرکزی واحد ادغام میکند.
اطلاعات تفصیلی دربارهی OpenRAG
OpenRAG، سیستم RAG (Retrieval-Augmented Generation) است که در سرورهای xloji.com اجرا میشود و همچنین یک دروازه هوش مصنوعی است که درخواستهای مربوط به هوش مصنوعی را از یک نقطه واحد عبور میدهد. عبارت 'Open' در نام آن نشاندهنده ساختار باز و قابل دسترس سیستم است، در حالی که عبارت 'RAG' به روش کار آن اشاره دارد که ابتدا دادههای مرتبط را پیدا کرده و سپس بر اساس این دادهها پاسخ تولید میکند. سوالی که در کادر 'پرسش' در xloji.com نوشته میشود، ابتدا توسط OpenRAG در محتوای مرتبط جستجو میشود و سپس پاسخی بر اساس این محتوا تولید میشود. همان زیرساخت، به ابزارهای هوش مصنوعی خارج از xloji.com اجازه میدهد تا از طریق OpenRAG به اطلاعات متعلق به xloji.com دسترسی پیدا کرده و از این اطلاعات در پاسخهای خود استفاده کنند. این ساختار، xloji.com را قادر میسازد تا به جای ایجاد راهحلهای هوش مصنوعی جداگانه برای محصولات مختلف، از طریق یک زیرساخت مرکزی واحد خدمات ارائه دهد.
منطق اساسی رویکرد RAG این است که یک سیستم هوش مصنوعی به جای تکیه صرف بر دانش عمومی که قبلاً آموزش دیده است، ابتدا محتوای مرتبط، بهروز و دقیق را از یک منبع استخراج کرده و سپس بر اساس این محتوا پاسخ دهد. OpenRAG این دو مرحله، یعنی یافتن (retrieval) و تولید (generation) را با ترکیب در سرورهای خود اجرا میکند. این رویکرد با هدف کاهش تمایل مدلهای هوش مصنوعی به تولید اطلاعات نادرست است؛ زیرا پاسخ از حافظه خود مدل نیست، بلکه از محتوای یافت شده مشتق شده است. به این ترتیب، پاسخهای ارائه شده توسط OpenRAG بر اساس اطلاعات تصادفی یا قدیمی نیست، بلکه بر اساس محتوای خود xloji.com است. بنابراین، منبع پاسخی که توسط OpenRAG تولید میشود، همیشه به عنوان دادههای خود xloji.com قابل ردیابی است. این که سرور متعلق به xloji.com باشد، به این معنی است که دادههای جستجو و پردازش شده، بدون وابستگی به یک سرویس ابری شخص ثالث، تحت کنترل xloji.com باقی میمانند.
جنبه 'دروازه هوش مصنوعی تکدرگاهی' OpenRAG به این معنی است که درخواستها و یکپارچهسازیهای مختلف هوش مصنوعی به جای سیستمهای جداگانه، از طریق یک نقطه ورودی مرکزی هدایت میشوند. به این ترتیب، هم ویژگی 'پرسش' خود xloji.com و هم ابزارهای خارجی متصل از طریق OpenRAG، از یک زیرساخت و منطق اساسی یکسان استفاده میکنند. OpenRAG به عنوان یک دروازه مرکزی، اطمینان حاصل میکند که ترافیک مربوط به هوش مصنوعی از یک نقطه واحد عبور میکند؛ این امر هم سازگاری پاسخها و هم کنترل بر دادهها را به عنوان یک سیستم که در سرورهای خود اجرا میشود، افزایش میدهد. این رویکرد تکنقطهای همچنین امکان میدهد تا نگهداری و بهروزرسانیها به جای سیستمهای پراکنده، در یک مکان انجام شوند. OpenRAG در این زمینه نه تنها یک ابزار پرسش و پاسخ، بلکه یک لایه زیرساختی است که تمام نقاط دسترسی xloji.com به هوش مصنوعی را متحد میکند.
OpenRAG به طور مستقیم یا غیرمستقیم توسط سه گروه کاربری مختلف استفاده میشود: کاربران نهایی که از xloji.com بازدید کرده و سوال خود را در کادر 'پرسش' مینویسند، سیستمهایی که از زیرساخت RAG خود xloji.com پرس و جو میکنند و ابزارهای هوش مصنوعی خارجی که از طریق OpenRAG به اطلاعات متعلق به xloji.com دسترسی پیدا میکنند. هر سه گروه کاربری پاسخهایی را دریافت میکنند که از زیرساخت OpenRAG یکسان و از یک مخزن محتوای یکسان تغذیه میشوند؛ بنابراین، صرف نظر از این که سوال در مورد xloji.com از کجا پرسیده شود، به یک منبع اطلاعاتی سازگار دسترسی پیدا میکنند. پاسخهای ارائه شده توسط OpenRAG محدود به محتوایی است که به آن ارائه شده است؛ یعنی نباید انتظار پاسخ قطعی از OpenRAG در مورد اطلاعاتی که در سیستم وجود ندارد یا به سرورهای آن اضافه نشده است. این محدودیت، در عین حال، اساس قابلیت اطمینان OpenRAG را تشکیل میدهد: هدف آن تولید پاسخهایی است که محدود به محتوای موجود بوده و بر اساس آن بنا شدهاند، به جای اختراع اطلاعاتی که وجود ندارد.