rag

Описание

Была реализована RAG система с историей сообщений, которая отвечает на вопросы по Terraria Wiki.

• Dataset: parkourer10/terraria-wiki
• Embeddings: paraphrase-multilingual-MiniLM-L12-v2

Результат

Настроен мониторинг в Langfuse, протестированны некоторые запросы к модели, можно сравнить время выполнения операций. Мне больше понравилась Qwen3 по качеству ответа. llama3.1 не корректно переформулировала запрос к векторной базе данных, возможно требуется переписать промпт на этом этапе. Для качественного ответа процесс можно настраивать и настраивать

P.S. Не имею GPU, ключа для OpenAI тоже нет, так что использовал Ollama для моделей. Поэтому время выполнения операция большое. Ollama не возвращает количество сгенерированных токенов, поэтому количество токенов и стоимость в метриках не учитывается

P.P.S. Сначала RAG был реализован реализован на Chroma, а при настройки Langfuse, он требовал clickhouse. Одну из них, по иде, можно убрать

Стек

• Python 3.11
• Ollama
• Сhroma - векторная БД для хранения Dataset с Terraria Wiki
• Langchain
• Langfuse - требует для работы Postgres, Minio, Clickhouse, Redis

Запуск

Вариант 1. Dev Container

• Запустить Dev Container
• Скопировать .env.example в .env (переменные уже настроены)
• Установить pip install -r requirement.txt
• Выполнить команду task up для запуска сервиса
• Дождаться пока Ollama скачает модели (Модели указываются в env OLLAMA_MODELS и качаются автоматически, после запуска контейнера)
• Запустить скрипт src/main.py
• При желании, можно изменить список загружаемых моделей в env (необходим перезапуск контейнера Ollama)
• При желании, можно изменить используемую модель (В самом файле main.py из списка OLLAMA_MODELS)
• При желании, можно изменить список вопросов к модели (В файле main.py)

Вариант 2. Ручной запуск

• Скопировать .env.example в .env
• Изменить значение переменных в .env OLLAMA_HOST, CHROMA_URL и LANGFUSE_HOST на localhost
• Установить pip install -r requirement.txt
• Выполнить команду docker compose up -d для запуска сервиса
• Дождаться пока Ollama скачает модели (Модели указываются в env OLLAMA_MODELS и качаются автоматически, после запуска контейнера)
• Запустить скрипт src/main.py
• При желании, можно изменить список загружаемых моделей в env (необходим перезапуск контейнера Ollama)
• При желании, можно изменить используемую модель (В самом файле main.py из списка OLLAMA_MODELS)
• При желании, можно изменить список вопросов к модели (В файле main.py)