QAsystem

大致架构

开发流程

一、准备数据

1、QA数据

数据格式：

2. Q-->keyword数据

数据格式：

3. keyword matching keyword 数据

数据格式

二、训练keyword extract model

1. 使用BERT 预训练模型

主要方法：

• BERT-KPE
• BERT-Keyword-Extractor
• BERT-keyphrase-extraction

三、构建 vectorDB

数据格式

构建流程

1. keyword to vector

将关键词向量化

2. vcetor store in DB

将向量存入数据库中，并得到该向量的唯一标识（索引）

3. vector index mapping "reference"

将向量索引和数据“reference”映射 key - value key : vector index value : reference

四、训练keyword matching keyword model

1. text2vec

2. SimCSE

五、LLM finetune

1. LORA

数据格式：

Q:
A:

2....