Этот проект — прототип системы Retrieval-Augmented Generation (RAG), разработанный для работы с нормативной документацией (СНиП, СП, постановления и т. п.). Основная цель — максимально точное извлечение и формирование ответов на вопросы пользователей, связанных с техническими нормами, коэффициентами и параметрами, которые чаще всего указаны в таблицах и структурированных разделах документов.
- Используются загрузчики для форматов
.docx. - Текст разбивается на чанки с учётом слов (word-aware splitting), чтобы сохранить целостность смысловых единиц.
- Таблицы выделяются отдельно и маркируются типом
table, так как именно в них чаще всего находятся нормативные коэффициенты.
- BM25: используется для классического поиска по ключевым словам.
- FAISS: применяется для семантического поиска на основе эмбеддингов.
- RRF (Reciprocal Rank Fusion): объединяет результаты BM25 и FAISS, обеспечивая баланс между точным совпадением слов и семантической близостью.
Для повышения точности были добавлены эвристики:
- Если в запросе встречаются ключевые слова вроде «снег», «снеговой», «коэффициент», «k_h», то чанки из таблиц получают повышающий вес.
- Это увеличивает вероятность того, что в топ попадут строки с нормативными значениями.
- Используется модель CrossEncoder для повторного ранжирования кандидатов.
- Это позволяет отобрать действительно релевантные чанки, а не просто поверхностно подходящие по ключевым словам.
- На вход модели передаётся вопрос и топ-N релевантных чанков.
- Модель формирует краткий ответ + список использованных источников.
- Если информации недостаточно, система возвращает честное «Недостаточно информации».
-
Выбор моделей:
- Для эмбеддингов —
intfloat/multilingual-e5-large-instruct, так как модель мультиязычная и показывает хорошие результаты на технических текстах. - Для генерации ответа —
Qwen2.5-3B-Instruct, так как она достаточно компактна для запуска в Colab, но при этом выдаёт осмысленные ответы на русском языке.
- Для эмбеддингов —
-
Оптимизация точности:
- Добавлен «table bias», чтобы нормативные таблицы попадали в контекст.
- Встроен fallback-механизм: если модель ответила «Недостаточно информации», система делает повторный запрос с расширенным контекстом.
-
Логгирование:
- Логирование сделано лаконичным: видно, сколько документов загружено, сколько чанков создано, какая модель используется, и на каком устройстве.
- Базовый прототип: загрузка документов, разбиение на чанки, поиск по BM25 и FAISS.
- Добавление RRF: чтобы объединить точные совпадения и семантику.
- Интеграция reranker’а: улучшение качества топ-N результатов.
- Подключение LLM: генерация ответа на основе выбранных чанков.
- Введение эвристик: bias на таблицы и ключевые документы (например, «Постановление 87» или «СП 91»).
- Retry-механизм: дополнительный проход, если первый ответ неполный.
project/
│── rag_prototype_wordaware.py # основной код пайплайна
│── requirements.txt # зависимости
│── README.md # документация
│── docs/ # папка с нормативными документами
!git clone https://github.com/username/shasha_rag.git
%cd shasha_rag
!pip install -r requirements.txt
# Запуск пайплайна
!python rag_prototype_wordaware.py \
--data_dir ./docs \
--backend hf \
--model Qwen/Qwen2.5-3B-Instruct \
--device cuda \
--reranker_device cpu \
--top_k_ctx 6 \
--chunk_chars 1400 \
--max_new_tokens 128 \
--log_level INFO- Система корректно находит таблицы с нормативными значениями.
- Ответы сопровождаются ссылками на источник.
- При отсутствии информации возвращается честный ответ о недостаточности данных.
- Word-aware чанкинг: в отличие от многих прототипов, разбиение делается не только по символам, но и с учётом целостности слов и предложений.
- Table handling: строки таблиц выделяются в отдельные чанки с добавлением заголовков, что даёт высокую точность при вопросах про коэффициенты и значения.
- RRF вместо простого объединения: используется Reciprocal Rank Fusion, что делает поиск более стабильным.
- Table/doc bias: внедрена эвристика приоритетов для нормативных таблиц и ключевых документов.
- Retry-механизм: повторный проход с расширением контекста при неуверенности модели.
- Компактный LLM: выбрана модель
Qwen2.5-3B-Instruct— компромисс между качеством и доступностью для запуска даже в Colab. - Реранкер BGE: внедрение кросс-энкодера
BAAI/bge-reranker-v2-m3для повышения качества топ-результатов.
✍️ Таким образом, проект демонстрирует полный цикл построения RAG-системы — от индексации нормативных документов до генерации точных и проверяемых ответов, с улучшениями по сравнению с базовыми эталонными реализациями.