🧠 OpenRAG
OpenRAG — это RAG-платформа, которая очищает и структурирует контент компании, индексирует его на нашем собственном сервере и делает его доступным для запросов на естественном языке внешними ИИ-системами через единую контролируемую дверь.
Векторы не публикуются; ДОСТУП открывается.
Это представление продукта, а не список обещаний. Ниже части, которые работают сегодня, и части, которые еще находятся в плане, отмечены отдельно. Сроки выполнения элементов плана не гарантируются; по мере их завершения они переносятся в раздел "работает сегодня".
Основной принцип
Весь дизайн OpenRAG основан на одном предложении: векторы не публикуются, доступ открывается. Внешнему миру предоставляется не копия контента, а право задавать ему вопросы.
Вектор — это движок, а не продукт
Вектор специфичен для модели, которая его создала; другой ИИ не может использовать его как есть. Он также многократно увеличивает объем текста. Именно поэтому векторы никогда не передаются.
Открывается доступ к запросам
Приходит вопрос; ответ и исходные фрагменты, на которых он основан, возвращаются обратно. Полный контент никогда не копируется, не распространяется и не загружается.
Разрешение принадлежит компании
Компания решает, какой контент станет доступным для внешних запросов; участие осуществляется по желанию. Слой разрешений и согласия находится в плане.
Как это работает — целевая архитектура
Этапы очистки, структурирования, индексирования и поиска в этом потоке работают сегодня. Самостоятельное размещение встраивания с переранжированием и единая дверь во внешний мир все еще находятся в плане; каждый шаг ниже указывает, что из этого работает, а что нет.
Собираются источники
Сайты xloji, загруженные документы и просканированные веб-страницы являются источниками контента. (Плагин для WordPress и публичный API приема находятся в плане.)
Он очищается и структурируется
Беспорядочный контент очищается, разбивается на значимые фрагменты и приводится в форму, пригодную для RAG. Этот шаг работает сегодня.
Он индексируется и ищется
Фрагменты преобразуются в векторы и записываются в pgvector; они находятся через HNSW-индекс и гибридный поиск (ключевое слово + вектор). Этот шаг работает сегодня; добавление этапа переранжирования находится в плане.
До него можно добраться через единую дверь
Внешние ИИ-системы запрашивают информацию на естественном языке через единую контролируемую дверь; ответы и исходные фрагменты возвращаются, а не сами векторы. Эта дверь еще не существует; она находится в плане.
Что работает сегодняРаботает
Следующие компоненты работают на платформе сегодня и уже используются инструментами ИИ на xloji.com.
pgvector + HNSW-индекс
Фрагменты контента хранятся в виде векторов в базе данных и ищутся с помощью HNSW-индекса по косинусному сходству.
Гибридный поиск
Поиск по ключевым словам и поиск по векторам работают вместе; два списка результатов объединяются в единый рейтинг. Это позволяет находить как точные совпадения терминов, так и семантически близкие фрагменты.
Изоляция многопользовательской среды
Для каждой компании, сайта и автора есть свой собственный RAG. Запрос выполняется только по индексу своего арендатора; данные никогда не смешиваются между арендаторами.
Очистка документов и структурирование RAG
Загруженные документы очищаются, разбиваются на фрагменты и структурируются для RAG. Инструмент структурирования данных на платформе является пользовательским интерфейсом этого конвейера.
Веб-сканирование
Страницы сайта сканируются, их контент извлекается и передается по тому же конвейеру очистки и индексирования.
Публичная лента RAG в пользовательских инструментах ИИ
Пользовательский инструмент ИИ, который вы создаете, может получать данные из публичного источника RAG; инструмент основывает свои ответы на этой базе знаний.
Хранилище файлов и медиа
Файлы и медиа хранятся в объектном хранилище — не в хранилище векторов. Запись RAG указывает обратно на исходный файл.
Встраивание и переранжирование на наших собственных серверах
Встраивание и переранжирование теперь выполняются на наших собственных серверах в отдельном сервисе. Текст преобразуется в векторы, не покидая сервер, а кандидаты проходят через локальный переранжировщик для повышения точности.
Перефразировка запроса
Неоднозначный или неполный вопрос уточняется перед выполнением поиска. Пользователям не нужно формулировать "правильный" вопрос; система подготавливает запрос к поиску.
Текст из изображений, аудио и видео
Извлечение текста из изображений и транскрипция аудио и видео выполняются с помощью локальных инструментов на сервере, а полученный текст поступает в тот же конвейер очистки и индексирования. Данные не покидают сервер.
Что в планахЗапланировано
Следующие компоненты еще не существуют. Это запланированные и разработанные элементы; эта страница не представляет их как уже построенные.
Единая дверь: MCP / API-шлюз
Единый шлюз, через который внешние ИИ-системы могут запрашивать информацию на естественном языке. ИИ, который подключается один раз, получает доступ ко всем участвующим компаниям через одну и ту же дверь.
Слой разрешений и согласия
Компании присоединяются по собственному выбору; аутентификация, управление ключами, ограничение скорости и защита от злоупотреблений — все это находится в этом слое.
Слой видимости ИИ
Предоставление контенту возможности быть обнаруженным машинами с помощью llms.txt, /.well-known/ и разметки schema.org, а также регистрации в реестрах MCP. Автоматического обнаружения не происходит; видимость строится таким образом.
Плагин для WordPress
Плагин, который позволяет сайту WordPress отправлять свой контент в OpenRAG и получать конечную точку, которую могут запрашивать ИИ-системы.
Мы не даем сроков выполнения этих задач. Когда задача будет завершена, она переместится в список "что работает сегодня", и эта страница будет обновлена соответствующим образом.
🔒 Данные не покидают сервер
Цель OpenRAG — выполнять каждый этап конвейера RAG на нашем собственном сервере с использованием локальных бесплатных инструментов: встраивания, переранжирования, извлечения текста из изображений и транскрипции аудио. Никакие медиафайлы, поступающие в RAG, не отправляются во внешние сервисы — это не подлежащее обсуждению правило проектирования.
Честный статус: некоторые из этих этапов сегодня выполняются внешними сервисами. Перенос их внутрь — первый пункт в плане.
Как планируется рост
Поиск по векторам становится дороже по мере роста контента. Дизайн OpenRAG с самого начала ограничивает эти затраты тремя способами.
Нет единого гигантского индекса
У каждой компании есть свой собственный небольшой индекс, и запрос выполняется только по этому индексу. Даже по мере роста общего объема контента область, которую сканирует один запрос, остается небольшой; стоимость поиска масштабируется с размером этого бизнеса, а не с общим размером платформы.
Размер и точность вектора можно регулировать
Используя более короткие векторы и более компактные числовые форматы, один и тот же контент занимает значительно меньше места. Эти параметры встроены в дизайн с самого начала, чтобы не требовалась дорогостоящая миграция позже.
Холодный уровень
Индекс компании, к которому не обращались в течение длительного времени, перемещается в дешевое постоянное хранилище и извлекается при поступлении запроса к нему. Таким образом, в быстрой памяти остается только текущий активный контент. Этот уровень находится в плане.
Часто задаваемые вопросы
Что такое OpenRAG?
Это RAG-платформа, которая очищает и структурирует контент компании, индексирует его на нашем собственном сервере и делает его доступным для запросов на естественном языке внешними ИИ-системами через единую контролируемую дверь. Это не чат-бот; это слой знаний, который работает под такими инструментами.
Вы передаете мои векторы или мой контент кому-либо еще?
Нет. Основной принцип: векторы не публикуются, доступ открывается. Внешнему миру предоставляется не копия контента, а право задавать ему вопросы; возвращаются только поддерживающие фрагменты. Кроме того, компания решает, какой контент станет доступным для внешних запросов.
Что можно использовать уже сегодня?
Векторная база данных и индекс, гибридный поиск, многопользовательская изоляция, очистка документов и структурирование RAG, веб-краулинг, публичная лента RAG в пользовательских AI-инструментах и хранилище файлов/медиа работают уже сейчас. Автономно размещенные встраивания, переранжирование, переписывание запросов, внешний шлюз, уровень разрешений, уровень видимости и плагин для WordPress пока не реализованы.
Покидают ли мои данные сервер?
Наша цель — чтобы каждый этап конвейера RAG выполнялся локальными инструментами на сервере, и ни один носитель не отправлялся во внешние сервисы. Честно говоря, некоторые из этих этапов все еще обрабатываются внешними сервисами, и перенос их внутрь — приоритетная задача в плане развития.
Когда будут готовы функции из дорожной карты?
Мы не даем никаких обещаний относительно сроков. Именно для этого и существует эта страница: чтобы четко показать, что работает сегодня, а что планируется. Как только пункт будет завершен, он переносится в список "работающих функций".
Используется ли мой контент или продается ли он для обучения AI?
Нет. В настоящее время такого использования нет. Идея о разрешенном текстовом корпусе — самый отдаленный и юридически сложный пункт в плане развития; даже если он будет реализован, никакой контент не будет использоваться без явного согласия компании.
Вернитесь к AI порталу для доступа к другим AI-инструментам.
Часто задаваемые вопросы
Что такое OpenRAG?
OpenRAG — это система RAG (Retrieval-Augmented Generation), работающая на собственном сервере xloji.com, и единый AI-шлюз. Когда поступает вопрос, она сначала находит соответствующий контент, а затем генерирует ответ на основе этого контента. Она также служит центральным шлюзом, позволяющим AI-инструментам, находящимся за пределами xloji.com, получать доступ к информации, принадлежащей xloji.com, из одной точки.
Что означает RAG и как OpenRAG это реализует?
RAG означает 'Retrieval-Augmented Generation', то есть генерация с расширением извлечением; это когда AI ищет информацию из соответствующих источников перед генерацией ответа, а затем создает ответ на основе этой информации. OpenRAG выполняет эти два шага, шаги поиска и генерации, объединяя их на своем собственном сервере. Таким образом, ответы, которые дает OpenRAG, не случайны, а основаны на реальном контенте, принадлежащем xloji.com.
Что означает 'единый AI-шлюз'?
Единый AI-шлюз означает, что различные AI-запросы и интеграции проходят через единую центральную точку входа, а не через отдельные системы. OpenRAG берет на себя эту роль: как собственная функция 'Задать вопрос' xloji.com, так и AI-инструменты, подключаемые извне, получают услуги через одну и ту же инфраструктуру OpenRAG. Эта централизованная структура обеспечивает управление AI-трафиком из одной точки.
В чем разница, если OpenRAG работает на собственном сервере?
OpenRAG работает на собственном сервере xloji.com, не завися от стороннего облачного сервиса. Это означает, что данные, которые ищутся и обрабатываются, остаются под контролем xloji.com. Как структура, работающая на собственном сервере, OpenRAG выполняет поиск и генерацию ответов в своей собственной инфраструктуре, не передавая данные во внешние системы.
Кто использует OpenRAG?
OpenRAG используется тремя различными группами: конечные пользователи, которые посещают xloji.com и пишут в поле «Задать вопрос», системы, которые запрашивают собственную RAG-инфраструктуру xloji.com, и внешние инструменты искусственного интеллекта, которые получают доступ к информации, принадлежащей xloji.com, через OpenRAG. Для конечного пользователя OpenRAG возвращает ответ на заданный вопрос, основанный на контенте xloji.com. Для внешних инструментов OpenRAG является контекстно-независимыми воротами для получения информации с xloji.com.
Как работает поле «Задать вопрос» на xloji.com с OpenRAG?
Вопрос, введенный в поле «Задать вопрос» на xloji.com, обрабатывается OpenRAG. OpenRAG сначала ищет контент, связанный с вопросом, в собственных данных xloji.com, а затем генерирует ответ на основе найденного контента. Таким образом, ответ, предоставленный пользователю, подкреплен реальным контентом xloji.com.
Как внешние инструменты искусственного интеллекта получают информацию через OpenRAG?
OpenRAG служит единственным шлюзом для доступа внешних инструментов искусственного интеллекта к информации, принадлежащей xloji.com. Эти инструменты могут подключаться через OpenRAG и получать контекстно-независимые, самодостаточные ответы из контента xloji.com. Поэтому информация, предоставляемая через OpenRAG, разработана таким образом, чтобы быть понятной сама по себе, без необходимости дополнительного контекста.
Каковы ограничения OpenRAG?
Ответы, предоставляемые OpenRAG, ограничены предоставленным ему контентом; OpenRAG не может предоставить точный ответ на информацию, которой нет в системе или которая не была добавлена. OpenRAG разработан таким образом, чтобы ограничиваться имеющимся контентом, а не придумывать несуществующую информацию. Поэтому следует помнить, что ответ, полученный от OpenRAG, ограничен контентом, которым xloji.com владеет в данный момент.
Является ли OpenRAG чат-ботом?
OpenRAG не является в классическом понимании независимым чат-ботом; это RAG и инфраструктура шлюза, лежащая в основе функции «Задать вопрос» на xloji.com и доступа внешних инструментов к информации. Основная задача OpenRAG — находить контент, соответствующий вопросу, и генерировать ответ на основе этого контента. В этом виде OpenRAG работает скорее как инфраструктурный слой, лежащий в основе ответов, чем как интерфейс, напрямую взаимодействующий с пользователем.
Какова цель OpenRAG для xloji.com?
Цель OpenRAG — обеспечить как конечным пользователям, так и внешним инструментам искусственного интеллекта надежный и контролируемый доступ к информации, принадлежащей xloji.com, через единую инфраструктуру. Работа на собственном сервере обеспечивает этот доступ без зависимости от сторонних систем. Благодаря структуре единого шлюза OpenRAG объединяет различные точки доступа в единую централизованную систему.
Подробная информация о OpenRAG
OpenRAG — это система RAG (Retrieval-Augmented Generation), работающая на собственном сервере xloji.com, а также AI-шлюз, который направляет запросы, связанные с искусственным интеллектом, через единую точку. Слово «Open» в названии указывает на то, что система предлагает открытую и доступную структуру, а «RAG» — на то, что она работает, сначала находя соответствующую информацию для генерации ответа, а затем создавая ответ на основе этих данных. Вопрос, введенный в поле «Задать вопрос» на xloji.com, сначала ищется OpenRAG в соответствующем контенте, а затем генерируется ответ на основе найденного контента. Эта же инфраструктура позволяет AI-инструментам, находящимся за пределами xloji.com, получать доступ к информации, принадлежащей xloji.com, через OpenRAG и использовать эту информацию в своих ответах. Эта структура позволяет xloji.com предоставлять услуги через единую централизованную инфраструктуру, вместо создания отдельных AI-решений для различных продуктов.
Основная логика подхода RAG заключается в том, что AI-система не полагается исключительно на общие знания, полученные в процессе предварительного обучения, а сначала извлекает актуальную и точную информацию из источника, связанную с вопросом, а затем генерирует ответ на основе этой информации. OpenRAG объединяет эти два шага — поиск (retrieval) и генерацию (generation) — и выполняет их на своем сервере. Этот подход направлен на снижение тенденции AI-моделей иногда генерировать несуществующую информацию, поскольку ответ выводится не из собственной памяти модели, а из фактически найденного контента. Таким образом, ответы, предоставляемые OpenRAG, основаны не на случайной или устаревшей информации, а на собственном контенте xloji.com. Таким образом, источник ответа, сгенерированного OpenRAG, остается отслеживаемым как данные, принадлежащие xloji.com. Тот факт, что сервер принадлежит xloji.com, означает, что данные, которые ищутся и обрабатываются, остаются под контролем xloji.com без зависимости от стороннего облачного сервиса.
Сторона OpenRAG как «AI-шлюз с единой точкой входа» означает, что различные AI-запросы и интеграции направляются через единую централизованную точку входа, а не через отдельные системы. Таким образом, как собственная функция «Задать вопрос» xloji.com, так и внешние инструменты, подключенные через OpenRAG, используют одну и ту же инфраструктуру и одну и ту же основную логику. Как централизованный шлюз, OpenRAG обеспечивает прохождение всего трафика, связанного с искусственным интеллектом, через единую точку, что повышает как согласованность ответов, так и контроль над данными, поскольку система работает на собственном сервере. Этот подход с единой точкой входа также позволяет выполнять обслуживание и обновления в одном месте, а не в разрозненных системах. В этом отношении OpenRAG — это не просто инструмент вопросов и ответов, а инфраструктурный слой, объединяющий все точки доступа xloji.com, связанные с искусственным интеллектом.
OpenRAG используется тремя различными группами пользователей напрямую или косвенно: конечные пользователи, посещающие xloji.com и вводящие вопросы в поле «Задать вопрос», системы, запрашивающие собственную RAG-инфраструктуру xloji.com, и внешние AI-инструменты, получающие доступ к информации, принадлежащей xloji.com, через OpenRAG. Все три группы пользователей получают ответы из одной и той же инфраструктуры OpenRAG, получающие информацию из одного и того же пула контента; поэтому, независимо от того, где задается вопрос об xloji.com, можно получить доступ к согласованному источнику информации. Ответы, предоставляемые OpenRAG, ограничены предоставленным ему контентом; то есть от OpenRAG не следует ожидать точного ответа на информацию, которой нет в системе или которая не была добавлена на ее сервер. Это ограничение также является основой надежности OpenRAG: вместо того, чтобы выдумывать несуществующую информацию, он стремится генерировать ответы, ограниченные имеющимся контентом и основанные на нем.