RAG-FiT概述简介

RAG-FiT（曾用名RAG Foundry）是英特尔实验室推出的开源框架，用在微调（fine-tuning）增强大型语言大模型（LLMs）在检索增强生成（RAG）任务中的表现。RAG-FiT基于模块化设计，支持数据创建、训练、推理和评估四大功能模块。RAG-FiT能帮助用户快速创建适合RAG任务的数据集，用参数高效微调（PEFT）技术对模型进行优化，用多种RAG特定的评估指标衡量模型性能。RAG-FiT框架有高度的灵活性和扩展性，支持从数据选择、过滤到检索、提示生成等全方位的RAG用例，适用于问答系统、文本生成等多种应用场景。

RAG-FiT的功能特色

数据创建与处理：

数据加载：支持从Hugging Face Hub或本地源加载数据集。

数据预处理：包括数据过滤、归一化、聚合、信息检索、模板化提示生成等。

数据保存：处理后的数据以一致的格式保存，方便后续训练和推理。

灵活的处理流程：支持全局操作（如数据聚合、过滤）和局部操作（如单个样本的检索和文本处理）。

训练：

参数高效微调（PEFT）：用LoRA等技术对模型进行高效微调。

训练配置：支持自定义学习率、优化器、批量大小等训练参数。

模型推送：训练后的模型支持推送到Hugging Face Hub。

推理：

生成预测：在处理后的数据集上生成预测结果。

批量推理：支持对多个输入数据进行批量处理，提高效率。

评估：

多维度评估：支持多种评估指标，如EM、F1、ROUGE、BERTScore等。

自定义评估：用户能轻松实现自定义评估指标。

全局与局部评估：支持对每个样本进行局部评估，及对整个数据集进行全局评估。

RAG-FiT的技术原理

检索增强：

检索机制：基于检索工具从外部知识库中获取与输入问题相关的上下文信息。工具包括基于向量的检索系统（如Haystack、Qdrant）和其他检索框架。

上下文注入：将检索到的上下文信息注入到LLMs的输入中，帮助模型更好地理解问题背景，从而生成更准确、更有依据的答案。

模块化设计：

数据处理模块：负责数据的加载、预处理和保存。支持多种数据源和灵活的处理流程。

训练模块：用PEFT技术对模型进行微调，支持LoRA等高效训练方法。训练后的模型能保存或推送到Hugging Face Hub。

推理模块：在处理后的数据集上生成预测结果，支持批量推理。

评估模块：提供多种评估指标，支持对生成结果的多维度评估。

配置驱动的工作流：

Hydra配置工具：使用Hydra配置工具实现层次化配置，支持用命令行覆盖配置值，方便远程作业运行。

配置文件：每个模块都有默认配置文件，用户能基于配置文件或命令行参数自定义工作流。

实验与评估：

实验环境：提供一个端到端的实验环境，支持快速原型开发和多种RAG技术的实验。

多维度评估：评估模块评估生成结果的准确性，还能评估检索结果的相关性和生成内容的忠实度（Faithfulness）和相关性（Relevancy）。

RAG-FiT项目介绍

项目官网：https://intellabs.github.io/RAG-FiT/

GitHub仓库：https://github.com/IntelLabs/RAG-FiT

arXiv技术论文：https://arxiv.org/pdf/2408.02545

RAG-FiT能做什么？

问答系统：基于检索外部知识库增强语言大模型，为用户提供更准确、更相关的答案，适用于医学、法律等专业领域。

文本生成：结合最新背景信息生成高质量文本，如新闻报道、创意写作，提升内容的时效性和准确性。

知识图谱增强：检索知识图谱中的实体和关系，生成与图谱一致的文本，提高知识表示的准确性和可解释性。

多语言生成：跨语言检索知识库，生成多语言文本，满足多语言环境下的内容生成需求。

文档摘要：检索文档关键信息生成摘要，提高摘要的准确性和信息覆盖率，适用于科研、商业等领域。