Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

15 Commits

Folders and files

Repository files navigation

RAG Prototype Wordaware

📌 Описание проекта

Этот проект — прототип системы Retrieval-Augmented Generation (RAG), разработанный для работы с нормативной документацией (СНиП, СП, постановления и т. п.). Основная цель — максимально точное извлечение и формирование ответов на вопросы пользователей, связанных с техническими нормами, коэффициентами и параметрами, которые чаще всего указаны в таблицах и структурированных разделах документов.

🔑 Основные компоненты

1. Загрузка и разбиение документов

  • Используются загрузчики для форматов .docx.
  • Текст разбивается на чанки с учётом слов (word-aware splitting), чтобы сохранить целостность смысловых единиц.
  • Таблицы выделяются отдельно и маркируются типом table, так как именно в них чаще всего находятся нормативные коэффициенты.

2. Индексирование

  • BM25: используется для классического поиска по ключевым словам.
  • FAISS: применяется для семантического поиска на основе эмбеддингов.
  • RRF (Reciprocal Rank Fusion): объединяет результаты BM25 и FAISS, обеспечивая баланс между точным совпадением слов и семантической близостью.

3. Table-bias (эвристическая поправка)

Для повышения точности были добавлены эвристики:

  • Если в запросе встречаются ключевые слова вроде «снег», «снеговой», «коэффициент», «k_h», то чанки из таблиц получают повышающий вес.
  • Это увеличивает вероятность того, что в топ попадут строки с нормативными значениями.

4. Reranker

  • Используется модель CrossEncoder для повторного ранжирования кандидатов.
  • Это позволяет отобрать действительно релевантные чанки, а не просто поверхностно подходящие по ключевым словам.

5. LLM-генерация ответа

  • На вход модели передаётся вопрос и топ-N релевантных чанков.
  • Модель формирует краткий ответ + список использованных источников.
  • Если информации недостаточно, система возвращает честное «Недостаточно информации».

🚀 Особенности разработки

  1. Выбор моделей:

    • Для эмбеддингов — intfloat/multilingual-e5-large-instruct, так как модель мультиязычная и показывает хорошие результаты на технических текстах.
    • Для генерации ответа — Qwen2.5-3B-Instruct, так как она достаточно компактна для запуска в Colab, но при этом выдаёт осмысленные ответы на русском языке.
  2. Оптимизация точности:

    • Добавлен «table bias», чтобы нормативные таблицы попадали в контекст.
    • Встроен fallback-механизм: если модель ответила «Недостаточно информации», система делает повторный запрос с расширенным контекстом.
  3. Логгирование:

    • Логирование сделано лаконичным: видно, сколько документов загружено, сколько чанков создано, какая модель используется, и на каком устройстве.

📊 Ход разработки

  1. Базовый прототип: загрузка документов, разбиение на чанки, поиск по BM25 и FAISS.
  2. Добавление RRF: чтобы объединить точные совпадения и семантику.
  3. Интеграция reranker’а: улучшение качества топ-N результатов.
  4. Подключение LLM: генерация ответа на основе выбранных чанков.
  5. Введение эвристик: bias на таблицы и ключевые документы (например, «Постановление 87» или «СП 91»).
  6. Retry-механизм: дополнительный проход, если первый ответ неполный.

📂 Структура проекта

project/
│── rag_prototype_wordaware.py   # основной код пайплайна
│── requirements.txt             # зависимости
│── README.md                    # документация
│── docs/                        # папка с нормативными документами

⚙️ Запуск в Google Colab

!git clone https://github.com/username/shasha_rag.git
%cd shasha_rag
!pip install -r requirements.txt

# Запуск пайплайна
!python rag_prototype_wordaware.py \
  --data_dir ./docs \
  --backend hf \
  --model Qwen/Qwen2.5-3B-Instruct \
  --device cuda \
  --reranker_device cpu \
  --top_k_ctx 6 \
  --chunk_chars 1400 \
  --max_new_tokens 128 \
  --log_level INFO

✅ Результаты

  • Система корректно находит таблицы с нормативными значениями.
  • Ответы сопровождаются ссылками на источник.
  • При отсутствии информации возвращается честный ответ о недостаточности данных.

🔍 Отличия от эталона

  1. Word-aware чанкинг: в отличие от многих прототипов, разбиение делается не только по символам, но и с учётом целостности слов и предложений.
  2. Table handling: строки таблиц выделяются в отдельные чанки с добавлением заголовков, что даёт высокую точность при вопросах про коэффициенты и значения.
  3. RRF вместо простого объединения: используется Reciprocal Rank Fusion, что делает поиск более стабильным.
  4. Table/doc bias: внедрена эвристика приоритетов для нормативных таблиц и ключевых документов.
  5. Retry-механизм: повторный проход с расширением контекста при неуверенности модели.
  6. Компактный LLM: выбрана модель Qwen2.5-3B-Instruct — компромисс между качеством и доступностью для запуска даже в Colab.
  7. Реранкер BGE: внедрение кросс-энкодера BAAI/bge-reranker-v2-m3 для повышения качества топ-результатов.

✍️ Таким образом, проект демонстрирует полный цикл построения RAG-системы — от индексации нормативных документов до генерации точных и проверяемых ответов, с улучшениями по сравнению с базовыми эталонными реализациями.

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages