本指南介绍 DataMate 各个功能模块的使用方法。
DataMate 提供完整的大模型数据处理解决方案，涵盖数据采集、管理、清洗、标注、合成、评估等全流程。
1. 数据采集 → 2. 数据管理 → 3. 数据清洗 → 4. 数据标注
↓
5. 数据评估 → 6. 导出训练数据
1. 上传文档 → 2. 向量化索引 → 3. 知识库管理
↓
4. Agent 对话（知识库问答）
1. 准备原始数据 → 2. 创建指令模板 → 3. 数据合成
↓
4. 质量评估 → 5. 导出增强数据
数据归集模块帮助您从多种数据源（数据库、文件系统、API 等）归集数据到 DataMate 平台。
数据归集模块基于 DataX 实现，支持：
| 数据源类型 | Reader | Writer | 说明 |
|---|---|---|---|
| 通用关系型数据库 | ✅ | ✅ | 支持 MySQL、PostgreSQL、OpenGauss、SQL Server、达梦、DB2 |
| MySQL | ✅ | ✅ | 关系型数据库 |
| PostgreSQL | ✅ | ✅ | 关系型数据库 |
| OpenGauss | ✅ | ✅ | 关系型数据库 |
| SQL Server | ✅ | ✅ | 微软数据库 |
| 达梦 | ✅ | ✅ | 国产数据库 |
| DB2 | ✅ | ✅ | IBM 数据库 |
| StarRocks | ✅ | ✅ | 分析型数据库 |
| NAS | ✅ | ✅ | 网络存储 |
| S3 | ✅ | ✅ | 对象存储 |
| GlusterFS | ✅ | ✅ | 分布式文件系统 |
| API 归集 | ✅ | ✅ | API 接口数据 |
| JSON 文件 | ✅ | ✅ | JSON 格式文件 |
| CSV 文件 | ✅ | ✅ | CSV 格式文件 |
| TXT 文件 | ✅ | ✅ | 文本文件 |
| FTP | ✅ | ✅ | FTP 服务器 |
| HDFS | ✅ | ✅ | Hadoop 分布式文件系统 |
在左侧导航栏选择 数据归集。
点击右上角 创建任务 按钮。
填写以下基本信息：
选择任务的同步方式：
选择 定时同步 时，需要配置执行策略：
选择数据源类型：从下拉列表中选择数据源类型（如 MySQL、CSV 等）
配置数据源参数：根据选择的数据源模板，填写相应的连接参数（表单形式）
MySQL 示例：
jdbc:mysql://localhost:3306/mydbrootpasswordusers系统不支持配置字段映射，只能从配置的 SQL 中提取部分字段。
点击 创建 按钮创建任务。
在数据采集页面，可以看到所有采集任务及其状态：
| 任务名称 | 数据源 | 状态 | 最后执行时间 | 操作 |
|---|---|---|---|---|
| 用户数据归集 | MySQL | 运行中 | 2024-01-15 10:30 | 查看执行记录 |
| 日志文件归集 | CSV | 已完成 | 2024-01-14 18:00 | 查看执行记录 |
点击任务名称或 查看详情 按钮，可以看到：
在任务详情页面，点击 执行记录 标签，选择某次执行记录，查看详细日志：
2024-01-15 10:30:00 INFO 任务开始执行
2024-01-15 10:30:01 INFO 连接数据源成功
2024-01-15 10:30:02 INFO 开始读取数据
2024-01-15 10:30:10 INFO 读取数据完成，共 10000 条
2024-01-15 10:30:11 INFO 开始写入目标数据集
2024-01-15 10:30:15 INFO 写入数据完成
2024-01-15 10:30:15 INFO 任务执行成功
任务列表中每个任务的操作包括：
点击任务名称可以查看任务详情，包括：
A: 按以下步骤排查：
A: 对于大表数据采集：
A: 配置增量采集条件：
在数据源配置中，可以设置查询条件（如 SQL WHERE 子句），例如：
WHERE update_time > '${lastTime}'
系统会在每次执行时记录最后一次执行时间，下次执行时自动使用该时间进行增量采集。
A: 优化采集速度：
A: 使用类型转换：
{
"column": [
{
"name": "id",
"type": "long"
},
{
"name": "price",
"type": "decimal",
"format": "#.##"
}
]
}
详细的 API 文档请参考：
数据管理模块提供统一的数据集管理能力，支持多种数据类型的存储、查询和操作。
数据管理是 DataMate 的核心模块，提供：
| 类型 | 说明 | 支持格式 |
|---|---|---|
| 图像 | 图像数据 | JPG, PNG, GIF, BMP, WebP |
| 文本 | 文本数据 | TXT, MD, JSON, CSV |
| 音频 | 音频数据 | MP3, WAV, FLAC, AAC |
| 视频 | 视频数据 | MP4, AVI, MOV, MKV |
| 多模态 | 多模态数据 | 混合格式 |
在左侧导航栏选择 数据管理。
点击右上角 创建数据集 按钮。
user_images_dataset点击 创建 按钮完成创建。
对于大文件（>100MB），系统自动使用分片上传：
支持批量选择多个文件上传：
在数据管理页面，点击数据集名称进入详情。
目录结构示例：
user_images_dataset/
├── train/
│ ├── cat/
│ └── dog/
├── test/
│ ├── cat/
│ └── dog/
└── validation/
├── cat/
└── dog/
在数据集详情页面，可以看到所有文件列表：
| 文件名 | 大小 | 包含文件数 | 上传时间 | 标签 | 标签更新时间 | 操作 |
|---|---|---|---|---|---|---|
| image1.jpg | 2.3 MB | 1 | 2024-01-15 | 训练集 | 2024-01-16 | 下载 重命名 删除 |
| image2.png | 1.8 MB | 1 | 2024-01-15 | 验证集 | 2024-01-16 | 下载 重命名 删除 |
点击 预览 按钮，可以在浏览器中预览文件：
目前不支持批量下载和打包下载。
目前不支持批量删除。
在数据集详情页面，可以看到：
点击数据集的 编辑 按钮，可以修改：
点击数据集的 删除 按钮，可以删除整个数据集。
注意：删除数据集会同时删除其中的所有文件，此操作不可恢复。
在数据集列表页，点击标签可以筛选具有该标签的数据集。
推荐的目录组织方式：
project_dataset/
├── raw/ # 原始数据
├── processed/ # 处理后的数据
├── train/ # 训练数据
├── validation/ # 验证数据
└── test/ # 测试数据
user_images_2024train, test, processed建议使用以下标签分类：
project-a, project-braw, processed, validatedimage, text, audiotraining, testing, evaluation目前系统不支持自动备份功能，如需备份数据，可以通过以下方式手动下载单个文件：
A: 大文件上传建议：
A: 三种方式导入已有数据：
A: 目前数据集共享方式：
A: 数据集大小限制：
建议定期清理不需要的文件以释放空间。
A: 在数据集详情页面可以查看：
详细的 API 文档请参考：
数据清洗模块提供强大的数据处理能力，帮助您清洗、转换和优化数据质量。
数据清洗模块提供：
| 算子 | 功能 | 适用数据类型 |
|---|---|---|
| 去重 | 删除重复数据 | 所有类型 |
| 空值处理 | 删除或填充空值 | 所有类型 |
| 异常值检测 | 检测和处理异常值 | 数值型 |
| 格式校验 | 校验数据格式 | 所有类型 |
| 算子 | 功能 |
|---|---|
| 去除特殊字符 | 去除文本中的特殊符号 |
| 大小写转换 | 统一大小写格式 |
| 去除停用词 | 去除常见停用词 |
| 文本分词 | 中文分词处理 |
| HTML 标签清理 | 清理 HTML 标签 |
| 算子 | 功能 |
|---|---|
| 格式转换 | 转换图像格式 |
| 尺寸调整 | 统一图像尺寸 |
| 质量检测 | 检测图像质量 |
| 去重 | 基于内容去重 |
| 算子 | 功能 |
|---|---|
| 类型转换 | 转换数据类型 |
| 归一化 | 数值归一化处理 |
| 编码转换 | 字符编码转换 |
| 日期格式化 | 统一日期格式 |
在左侧导航栏选择 数据处理。
点击右上角 创建任务 按钮。
user_data_cleansing在清洗流程配置页面：
示例流程：
输入数据 → 去重 → 空值处理 → 格式校验 → 输出数据
点击 创建 按钮创建任务。如果选择立即执行，任务将自动开始运行。
在数据清洗页面，可以看到所有清洗任务：
| 任务名称 | 源数据集 | 输出数据集 | 状态 | 进度 | 操作 |
|---|---|---|---|---|---|
| 文本清洗 | raw_text | clean_text | 运行中 | 50% | 查看详情 |
| 图像去重 | images | unique_images | 已完成 | 100% | 查看详情 |
点击任务名称进入详情页面，可以看到：
在任务详情页面，点击 查看结果 可以：
功能：删除重复的数据记录
参数：
示例：
输入：
{"id": 1, "name": "Alice"}
{"id": 1, "name": "Alice"}
{"id": 2, "name": "Bob"}
输出（保留第一条）：
{"id": 1, "name": "Alice"}
{"id": 2, "name": "Bob"}
功能：处理空值（NULL/空字符串）
参数：
示例：
输入：
{"id": 1, "name": "Alice", "age": null}
{"id": 2, "name": null, "age": 25}
输出（填充默认值 "Unknown"）：
{"id": 1, "name": "Alice", "age": "Unknown"}
{"id": 2, "name": "Unknown", "age": 25}
功能：清洗文本数据
参数：
示例：
输入："Hello!!! This is a Test..."
输出（去除特殊字符、转小写）：
"hello this is a test"
功能：转换图像格式
参数：
功能：数值型数据归一化
参数：
示例：
输入（Min-Max 归一化到 [0, 1]）：
{"age": 20, "salary": 5000}
{"age": 40, "salary": 10000}
输出：
{"age": 0.0, "salary": 0.0}
{"age": 1.0, "salary": 1.0}
除了内置算子，DataMate 还支持自定义算子开发。详见：
在清洗流程中，可以添加条件分支：
输入数据 → [条件判断]
├── 满足条件 → 处理流程 A
└── 不满足条件 → 处理流程 B
条件类型：
对于需要重复处理的场景，可以使用循环算子：
在清洗完成后，可以添加数据验证算子：
A: 按以下步骤排查：
A: 大数据量清洗建议：
A: 优化清洗速度：
A: 建议的清洗流程：
详细的 API 文档请参考：
数据标注模块集成 Label Studio，提供专业级的数据标注能力。
数据标注模块提供：
| 类型 | 说明 | 适用场景 |
|---|---|---|
| 图像分类 | 对整个图像分类 | 场景识别、质量判断 |
| 目标检测 | 标注目标位置和类别 | 物体识别、缺陷检测 |
| 语义分割 | 像素级分类 | 医学影像、自动驾驶 |
| 实例分割 | 区分同类目标 | 细粒度识别 |
| 关键点标注 | 标注关键点位置 | 姿态估计、人脸识别 |
| 类型 | 说明 | 适用场景 |
|---|---|---|
| 文本分类 | 对文本分类 | 情感分析、主题分类 |
| 命名实体识别 | 标注实体边界 | 信息抽取、知识图谱 |
| 文本摘要 | 生成摘要 | 文档理解 |
| 机器翻译 | 翻译文本 | 多语言处理 |
| 问答标注 | 标注问答对 | 对话系统 |
| 类型 | 说明 | 适用场景 |
|---|---|---|
| 音频分类 | 对音频分类 | 音频事件检测 |
| 语音识别 (ASR) | 转写语音文本 | 语音助手 |
| 说话人分离 | 识别说话人 | 会议记录 |
make install-label-studio
在左侧导航栏选择 数据标注。
点击右上角 创建任务 按钮。
image_classification_task选择或创建标注模板：
图像分类模板示例：
<View>
<Image name="image" value="$image"/>
<Choices name="choice" toName="image">
<Choice value="cat"/>
<Choice value="dog"/>
<Choice value="bird"/>
</Choices>
</View>
目标检测模板示例：
<View>
<Image name="image" value="$image"/>
<RectangleLabels name="label" toName="image">
<Label value="cat" background="blue"/>
<Label value="dog" background="red"/>
</RectangleLabels>
</View>
点击 创建 按钮完成创建。
在任务列表页，点击任务名称进入标注界面。
在标注界面可以看到：
[
{
"id": 1,
"image": "image1.jpg",
"label": "cat",
"annotator": "user1",
"created_at": "2024-01-15T10:30:00"
}
]
id,image,label,annotator,created_at
1,image1.jpg,cat,user1,2024-01-15 10:30:00
2,image2.jpg,dog,user1,2024-01-15 10:31:00
将标注结果导出到新的数据集，用于后续处理。
在模板中定义标签及其属性：
<Choices name="choice" toName="image">
<Choice value="cat" alias="feline"/>
<Choice value="dog" alias="canine"/>
<Choice value="other"/>
</Choices>
为标签添加额外属性：
<RectangleLabels name="label" toName="image">
<Label value="person" background="blue">
<Attribute name="gender" type="radio">
<Value value="male"/>
<Value value="female"/>
</Attribute>
<Attribute name="age" type="number"/>
</Label>
</RectangleLabels>
检查不同标注员的一致性：
创建详细的标注指南：
| 角色 | 权限 |
|---|---|
| 管理员 | 全部权限 |
| 审核员 | 审核、修改标注 |
| 标注员 | 仅标注 |
使用模型进行预标注：
优势：
制定清晰的标注指南：
建立质量控制流程：
提高标注效率：
A: 改进建议：
A: 提高效率：
A: 处理方法：
A: 导出格式：
数据合成模块利用大模型能力，自动生成高质量的训练数据，降低数据采集成本。
数据合成模块提供：
在左侧导航栏选择 数据合成 → 合成任务。
基本信息：
qa_generation_template提示词配置：
示例提示词：
你是一个专业的数据生成助手。请根据以下要求生成数据：
任务：生成问答对
主题：{topic}
数量：{count}
难度：{difficulty}
要求：
1. 问题要清晰明确
2. 答案要准确完整
3. 涵盖不同难度级别
输出格式：JSON
[
{
"question": "...",
"answer": "..."
}
]
参数配置：
点击 保存 按钮保存模板。
medical_qa_synthesis从现有数据集中选择合成所需的数据：
选择已创建的指令模板，或创建新模板：
合成配置包含以下四个部分：
1. 设置合成总数
设置整个任务生成的数据总量上限：
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 合成总数上限 | 整个任务生成的最大问答对数量 | 5000 | 1-100,000 |
此设置可选，适用于大规模合成任务的总量控制。
2. 配置文本切片策略
对输入的文本文件进行切片处理，支持多种切片方式：
| 参数 | 说明 | 默认值 |
|---|---|---|
| 切片方式 | 选择切片策略 | 默认分块 |
| 切片大小 | 每个切片的字符数 | 3000 |
| 重叠大小 | 相邻切片之间的重叠字符数 | 100 |
切片方式选项：
3. 配置问题合成参数
设置问题生成的相关参数：
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 问题生成数量 | 每个切片生成的问题数量 | 1 | 1-20 |
| 温度 | 控制问题生成的随机性和多样性 | 0.7 | 0-2 |
| 使用模型 | 选择用于生成问题的 CHAT 模型 | - | 从模型列表选择 |
参数说明：
4. 配置答案合成参数
设置答案生成的相关参数：
| 参数 | 说明 | 默认值 | 取值范围 |
|---|---|---|---|
| 温度 | 控制答案生成的稳定性 | 0.7 | 0-2 |
| 使用模型 | 选择用于生成答案的 CHAT 模型 | - | 从模型列表选择 |
参数说明：
合成类型： 系统支持两种合成类型：
点击 开始任务 按钮，任务将自动开始执行。
比例合成任务用于按指定比例合成多类别平衡数据。
| 参数 | 说明 | 是否必填 |
|---|---|---|
| 任务名称 | 任务的唯一标识名称 | 是 |
| 目标总数量 | 整个配比任务的目标总数量 | 是 |
| 任务描述 | 描述配比任务的目的和要求 | 否 |
示例：
balanced_dataset_synthesis从现有数据集中选择需要参与配比的数据集：
数据集选择功能：
选择数据集后，系统会自动加载每个数据集的标签分布信息。
为每个选中的数据集配置具体的合成规则：
配比配置项：
| 参数 | 说明 | 取值范围 |
|---|---|---|
| 标签 | 从数据集的标签分布中选择标签 | 根据数据集标签 |
| 标签值 | 选中标签下的具体值 | 根据标签值列表 |
| 标签更新时间 | 选择标签更新日期范围（可选） | 日期选择器 |
| 数量 | 该配置项生成的数据数量 | 0 到目标总数量 |
功能说明：
示例配置：
| 数据集 | 标签 | 标签值 | 标签更新时间 | 数量 |
|---|---|---|---|---|
| 训练数据集 | 类别 | 训练 | - | 6000 |
| 训练数据集 | 类别 | 验证 | - | 2000 |
| 测试数据集 | 类别 | 测试 | 2024-01-01 至 2024-12-31 | 2000 |
点击 开始任务 按钮，系统将按照配比配置创建并执行任务。
在数据合成页面，可以看到所有合成任务：
| 任务名称 | 模板 | 状态 | 进度 | 生成数量 | 操作 |
|---|---|---|---|---|---|
| 医疗问答合成 | qa_template | 运行中 | 50% | 50/100 | 查看详情 |
| 情感数据合成 | sentiment_template | 已完成 | 100% | 1000/1000 | 查看详情 |
点击任务名称进入详情页面，可以看到：
在任务详情页面，点击 查看数据 可以：
在提示词中使用变量，实现动态配置：
变量语法：{variable_name}
示例：
请生成关于 {topic} 的 {count} 个 {difficulty} 级别的 {type}。
内置变量：
{current_date}：当前日期{current_time}：当前时间{random_id}：随机 IDDataMate 支持多种大模型：
| 模型 | 类型 | 说明 |
|---|---|---|
| GPT-4 | OpenAI | 高质量生成 |
| GPT-3.5-Turbo | OpenAI | 快速生成 |
| Claude 3 | Anthropic | 长文本生成 |
| 文心一言 | 百度 | 中文优化 |
| 通义千问 | 阿里 | 中文优化 |
| 本地模型 | 部署本地模型 | 私有化部署 |
启用数据质量评估：
对于大规模数据生成：
好的提示词应该：
示例提示词：
你是一个专业的教育内容创作助手。
任务：生成教育问答对
学科：{subject}
年级：{grade}
数量：{count}
要求：
1. 问题要符合该年级的知识水平
2. 答案要准确、详细、易懂
3. 每个答案包含解析过程
4. 不得生成敏感或不当内容
输出格式（JSON）：
[
{
"id": 1,
"question": "问题内容",
"answer": "答案内容",
"explanation": "解析内容",
"difficulty": "easy/medium/hard",
"knowledge_points": ["知识点1", "知识点2"]
}
]
请开始生成：
根据需求调整模型参数：
| 参数 | 高质量 | 快速生成 | 创意生成 |
|---|---|---|---|
| 温度 | 0.3-0.5 | 0.1-0.3 | 0.7-1.0 |
| 最大 tokens | 根据需求 | 较短 | 较长 |
| Top P | 0.9-0.95 | 0.9 | 0.95-1.0 |
生成后进行数据验证：
A: 优化建议：
A: 加速建议：
A: 增加多样性：
A: 去重方法：
A: 成本控制：
详细的 API 文档请参考：
数据评估模块提供多维度数据质量评估能力，帮助您了解和提升数据质量。
数据评估模块提供：
| 指标 | 说明 | 计算方式 |
|---|---|---|
| 空值率 | 空值占比 | 空值数 / 总数 |
| 缺失字段率 | 必填字段缺失率 | 缺失字段数 / 总字段数 |
| 记录完整率 | 完整记录占比 | 完整记录数 / 总记录数 |
| 指标 | 说明 | 计算方式 |
|---|---|---|
| 格式正确率 | 格式正确的占比 | 格式正确数 / 总数 |
| 值域符合率 | 值在合理范围内的占比 | 符合值域数 / 总数 |
| 一致性符合率 | 数据一致的比例 | 一致记录数 / 总记录数 |
| 指标 | 说明 | 计算方式 |
|---|---|---|
| 重复率 | 重复记录占比 | 重复记录数 / 总记录数 |
| 唯一率 | 唯一记录占比 | 唯一记录数 / 总记录数 |
| 指标 | 说明 | 计算方式 |
|---|---|---|
| 数据新鲜度 | 数据更新频率 | 最后更新时间 |
| 过期数据率 | 过期数据占比 | 过期记录数 / 总记录数 |
在左侧导航栏选择 数据评估。
点击右上角 创建任务 按钮。
data_quality_evaluation选择要评估的维度：
为每个维度配置具体规则：
完整性规则：
必填字段：name, email, phone
空值阈值：5%（超过5%则警告）
准确性规则：
email 格式：正则表达式验证
age 范围：0-120
phone 格式：手机号格式
唯一性规则：
唯一字段：id, email
重复阈值：3%（超过3%则警告）
点击 创建 按钮完成创建。
任务创建后自动执行，或点击 立即执行。
评估报告提供总体质量评分：
总体质量评分：85 分 (优秀)
完整性：90 分 ⭐⭐⭐⭐⭐
准确性：82 分 ⭐⭐⭐⭐
唯一性：95 分 ⭐⭐⭐⭐⭐
时效性：75 分 ⭐⭐⭐⭐
每个维度的详细指标：
完整性：
准确性：
唯一性：
时效性：
列出发现的数据质量问题：
| 序号 | 问题 | 类型 | 严重程度 | 影响范围 | 建议 |
|---|---|---|---|---|---|
| 1 | phone 格式不正确 | 准确性 | 中 | 11.3% | 检查并清洗 |
| 2 | 部分数据过期 | 时效性 | 高 | 12.5% | 更新数据 |
| 3 | 少量记录有空值 | 完整性 | 低 | 3.2% | 填充或删除 |
查看数据质量变化趋势：
质量评分趋势
90 │ ╭─╮
85 │ ╭─╮╭─╯ ╭─╮
80 │╭─╯╭─╯ ╭─╯
75 │╭─╯╭─╯ ╭─╯
70 │╭─╯╭─╯ ╭─╯
└─────────────
1月 2月 3月 4月
Excel 报告包含多个工作表：
除了内置规则，还可以自定义评估规则：
字段：phone
规则：^1[3-9]\d{9}$
说明：中国大陆手机号
字段：age
最小值：0
最大值：120
说明：年龄在合理范围内
使用 Python 脚本自定义评估逻辑：
def evaluate(record):
# 自定义评估逻辑
if record.get('score', 0) < 0 or record.get('score', 0) > 100:
return False, "分数必须在 0-100 之间"
return True, "OK"
对比不同数据集或不同版本的数据质量：
对比维度：
设置质量阈值，超过阈值自动告警：
告警规则:
总体评分低于 80: 发送邮件
空值率超过 10%: 发送短信
重复率超过 5%: 发送邮件
建议定期执行数据质量评估：
为每个数据集建立质量基线：
根据评估结果持续改进：
A: 排查步骤：
A: 改进建议：
A: 改进建议：
详细的 API 文档请参考：
知识库管理模块帮助您构建企业知识库，实现高效的向量检索和 RAG 应用。
知识库管理模块提供：
| 格式 | 说明 | 推荐场景 |
|---|---|---|
| TXT | 纯文本 | 通用文本 |
| PDF 文档 | 文档、报告 | |
| Markdown | Markdown 文件 | 技术文档 |
| JSON | JSON 数据 | 结构化数据 |
| CSV | CSV 表格 | 表格数据 |
| DOCX | Word 文档 | Office 文档 |
在左侧导航栏选择 知识生成。
点击右上角 创建知识库 按钮。
company_docs_kb嵌入模型：选择嵌入模型
向量维度：根据模型自动设置
索引类型：IVF_FLAT / HNSW / IVF_PQ
切分方式：
块大小：每个文本块的大小（字符数）
重叠大小：相邻块的重叠大小
点击 创建 按钮完成创建。
点击知识库名称进入详情页面。
系统会自动：
在文档列表中可以看到处理状态：
| 文件名 | 大小 | 状态 | 文本块数 | 向量化进度 | 操作 |
|---|---|---|---|---|---|
| doc1.pdf | 2.3 MB | 已完成 | 150 | 100% | 查看详情 |
| doc2.txt | 156 KB | 处理中 | - | 50% | 查看详情 |
| doc3.md | 45 KB | 等待中 | - | 0% | 查看详情 |
在知识库详情页面，点击 向量检索 标签。
在搜索框输入查询内容，例如：
如何使用 DataMate 进行数据清洗？
系统返回最相关的文本块及其相似度分数：
| 排名 | 文本块 | 相似度 | 来源文档 | 操作 |
|---|---|---|---|---|
| 1 | DataMate 的数据清洗模块… | 0.92 | user_guide.pdf | 查看 |
| 2 | 配置清洗任务… | 0.87 | tutorial.md | 查看 |
| 3 | 清洗算子列表… | 0.81 | reference.txt | 查看 |
点击 高级检索，可以：
在知识库详情页面，点击 RAG 问答 标签。
在对话框输入问题，例如：
用户：DataMate 支持哪些数据清洗算子？
助手：DataMate 支持丰富的数据清洗算子，包括：
1. 数据质量算子：去重、空值处理、异常值检测...
2. 文本清洗算子：去除特殊字符、大小写转换...
3. 图像清洗算子：格式转换、质量检测...
[来源：user_guide.pdf, tutorial.md]
助手会：
按固定字符数切分：
按段落边界切分：
基于语义相似度切分：
示例：
模型服务地址：http://localhost:8000/embeddings
请求格式：
{
"texts": ["文本1", "文本2"],
"model": "bge-m3"
}
{
"provider": "openai",
"model": "text-embedding-ada-002",
"api_key": "your-api-key"
}
当文档变更时，可以：
支持导出：
查看知识库统计信息：
可以根据不同主题创建多个知识库：
product_kb：产品文档technical_kb：技术文档hr_kb：人力资源文档在多个知识库中同时检索：
上传文档前的准备工作：
根据文档类型选择：
| 文档类型 | 推荐策略 | 块大小 |
|---|---|---|
| 技术文档 | 段落切分 | - |
| 长报告 | 语义切分 | - |
| 短文本 | 字符切分 | 500 |
| 代码 | 字符切分 | 300 |
根据需求调整：
| 场景 | 向量维度 | 索引类型 |
|---|---|---|
| 高精度 | 1536 | HNSW |
| 快速检索 | 768 | IVF_FLAT |
| 大规模 | 512 | IVF_PQ |
设计有效的 RAG 提示词：
你是一个专业的客服助手。请基于以下知识库内容回答用户问题。
知识库内容：
{context}
用户问题：
{question}
回答要求：
1. 只基于知识库内容回答
2. 如果知识库中没有相关信息，明确告知
3. 回答要准确、详细
4. 标注信息来源
请回答：
A: 检查以下项目：
A: 优化建议：
A: 改进建议：
A: 大文档处理建议：
A: 知识库更新方式：
详细的 API 文档请参考：
算子市场提供丰富的数据处理算子，支持自定义算子开发。
算子市场模块提供：
| 算子 | 功能 | 输入 | 输出 |
|---|---|---|---|
| 去重算子 | 删除重复数据 | 数据集 | 去重数据 |
| 空值处理 | 处理空值 | 数据集 | 填充数据 |
| 格式转换 | 转换数据格式 | 原格式 | 新格式 |
| 类型转换 | 转换数据类型 | 原类型 | 新类型 |
| 算子 | 功能 |
|---|---|
| 文本分词 | 中文分词 |
| 去除停用词 | 删除常见停用词 |
| 文本清洗 | 清洗特殊字符 |
| 情感分析 | 分析文本情感 |
| 算子 | 功能 |
|---|---|
| 格式转换 | 转换图像格式 |
| 尺寸调整 | 调整图像大小 |
| 质量检测 | 检测图像质量 |
| 特征提取 | 提取图像特征 |
| 算子 | 功能 |
|---|---|
| 文本增强 | 同义词替换、回译 |
| 图像增强 | 旋转、裁剪、颜色调整 |
| 数据合成 | 基于模型的数据合成 |
在左侧导航栏选择 算子市场。
在算子市场页面，可以看到所有可用算子：
| 算子名称 | 类别 | 功能描述 | 评分 | 安装数 | 操作 |
|---|---|---|---|---|---|
| 文本清洗算子 | 文本处理 | 清洗文本特殊字符 | ⭐⭐⭐⭐⭐ | 1.2K | 查看 安装 |
| 图像去重算子 | 图像处理 | 基于内容去重 | ⭐⭐⭐⭐ | 856 | 查看 安装 |
| 数据合成算子 | 数据增强 | 使用 LLM 合成数据 | ⭐⭐⭐⭐⭐ | 2.3K | 查看 安装 |
点击算子名称或 查看 按钮，可以看到：
内置算子默认已安装，可以直接使用。
安装算子后，可以在以下场景使用：
my_text_cleaner1.0.0Python 算子示例：
from typing import Dict, Any
class MyTextCleaner:
"""自定义文本清洗算子"""
def __init__(self, config: Dict[str, Any]):
"""
初始化算子
Args:
config: 算子配置
- remove_special_chars: 是否去除特殊字符
- to_lowercase: 是否转为小写
"""
self.remove_special_chars = config.get('remove_special_chars', True)
self.to_lowercase = config.get('to_lowercase', True)
def process(self, data: Any) -> Any:
"""
处理数据
Args:
data: 输入数据
Returns:
处理后的数据
"""
if isinstance(data, str):
result = data
if self.to_lowercase:
result = result.lower()
if self.remove_special_chars:
# 去除特殊字符
import re
result = re.sub(r'[^\w\s]', '', result)
return result
return data
def get_config_schema(self) -> Dict[str, Any]:
"""
获取配置模式
Returns:
配置模式定义
"""
return {
"type": "object",
"properties": {
"remove_special_chars": {
"type": "boolean",
"title": "去除特殊字符",
"default": True
},
"to_lowercase": {
"type": "boolean",
"title": "转为小写",
"default": True
}
}
}
my_text_cleaner/
├── __init__.py
├── operator.py # 算子代码
├── config.json # 配置文件
├── README.md # 说明文档
└── requirements.txt # 依赖列表
如果新版本有问题，可以回退到旧版本。
为算子编写单元测试：
import unittest
class TestMyTextCleaner(unittest.TestCase):
def setUp(self):
config = {
'remove_special_chars': True,
'to_lowercase': True
}
self.cleaner = MyTextCleaner(config)
def test_lowercase(self):
input_text = "Hello World"
output = self.cleaner.process(input_text)
self.assertEqual(output, "hello world")
def test_remove_special_chars(self):
input_text = "Hello!!! World..."
output = self.cleaner.process(input_text)
self.assertEqual(output, "hello world")
在算详情页，点击 测试 按钮：
| 级别 | 说明 |
|---|---|
| 私有 | 仅创建者可见和使用 |
| 团队 | 团队成员可见和使用 |
| 公开 | 所有用户可见和使用 |
好的算子设计：
完善的文档应该包含：
充分的测试：
A: 排查步骤：
A: 优化建议：
A: 分享方式：
流水线编排模块提供拖拽式可视化界面，帮助您设计和管理复杂的数据处理流程。
流水线编排模块提供：
| 节点 | 功能 | 配置 |
|---|---|---|
| 输入数据集 | 从数据集读取数据 | 选择数据集 |
| 输出数据集 | 写入数据到数据集 | 选择数据集 |
| 数据采集 | 执行数据采集任务 | 选择采集任务 |
| 数据清洗 | 执行数据清洗任务 | 选择清洗任务 |
| 数据标注 | 执行数据标注任务 | 选择标注任务 |
| 数据合成 | 执行数据合成任务 | 选择合成任务 |
| 数据评估 | 执行数据评估任务 | 选择评估任务 |
| 节点 | 功能 | 配置 |
|---|---|---|
| 条件分支 | 根据条件执行不同分支 | 条件表达式 |
| 循环 | 重复执行节点 | 循环次数/条件 |
| 并行 | 并行执行多个分支 | 分支数量 |
| 等待 | 等待指定时间 | 等待时长 |
| 跳转 | 跳转到指定节点 | 目标节点 |
| 节点 | 功能 | 配置 |
|---|---|---|
| 清洗算子 | 执行单个清洗算子 | 算子类型、参数 |
| 合成算子 | 执行数据合成 | 指令模板、参数 |
| 自定义算子 | 执行自定义算子 | 算子文件、参数 |
| 节点 | 功能 | 配置 |
|---|---|---|
| HTTP 请求 | 发送 HTTP 请求 | URL、方法、参数 |
| API 调用 | 调用 DataMate API | API 端点、参数 |
| 消息队列 | 发送/接收消息 | 队列配置 |
| Webhook | 触发 Webhook | Webhook URL |
在左侧导航栏选择 流水线编排。
点击右上角 创建流水线 按钮。
data_processing_pipeline点击 创建 后，自动进入流程设计器。
示例流程：
输入数据集 → 数据清洗 → 条件分支
├── 满足条件 → 数据标注 → 输出数据集
└── 不满足条件 → 数据合成 → 输出数据集
点击节点，在右侧配置面板填写参数：
输入数据集节点：
raw_data数据清洗节点：
条件分支节点：
{quality_score} > 0.8点击右上角 保存 按钮保存流程。
在流水线列表页，点击流水线名称进入详情。
点击 立即执行 按钮。
在执行监控页面可以看到：
示例执行状态：
[✓] 输入数据集 - 已完成 (1000 条记录)
[✓] 数据清洗 - 已完成 (950 条记录)
[→] 条件分支 - 运行中
[→] 分支 1 (满足条件) - 等待中
[→] 分支 2 (不满足条件) - 运行中
[✓] 数据合成 - 已完成 (500 条记录)
[→] 输出数据集 - 运行中
在流水线编排页面，可以看到所有流水线：
| 流水线名称 | 状态 | 最后执行时间 | 执行次数 | 操作 |
|---|---|---|---|---|
| 数据处理流程 | 已启用 | 2024-01-15 | 15 | 执行 编辑 |
| 模型训练流程 | 已禁用 | 2024-01-14 | 8 | 执行 编辑 |
点击 编辑 按钮可以修改流程设计。
点击 启用/禁用 按钮切换流水线状态。
点击 删除 按钮删除流水线（需确认）。
流程中可以使用参数，实现动态配置：
在流水线配置中定义参数：
{
"parameters": [
{
"name": "input_dataset",
"type": "dataset",
"required": true,
"description": "输入数据集"
},
{
"name": "threshold",
"type": "number",
"default": 0.8,
"description": "质量阈值"
}
]
}
在节点配置中使用参数：
条件表达式：{quality_score} > ${threshold}
配置定时执行流水线：
0 0 2 * * ?（每天凌晨 2 点）配置事件触发：
为每个节点配置失败策略：
配置全局错误处理：
在流水线编辑页，点击 保存版本：
在流水线详情页，点击 版本历史：
| 版本 | 创建时间 | 创建者 | 说明 | 操作 |
|---|---|---|---|---|
| v1.0.0 | 2024-01-15 | admin | 初始版本 | 查看 恢复 |
| v1.1.0 | 2024-01-16 | admin | 添加数据清洗 | 查看 恢复 |
点击版本的 恢复 按钮，将流程恢复到该版本。
推荐的设计原则：
优化流程性能：
完善的错误处理：
有效的监控调试：
A: 排查步骤：
A: 优化建议：
A: 处理复杂逻辑：
A: 支持流程嵌套：
A: 调试方法：
Agent 对话模块集成大语言模型，提供智能问答和知识库检索能力。
Agent 对话模块提供：
在左侧导航栏选择 Agent 对话，或直接访问：
在对话框中输入问题，例如：
用户：DataMate 支持哪些数据格式？
助手：DataMate 支持多种数据格式：
图像：JPG、PNG、GIF、BMP、WebP
文本：TXT、MD、JSON、CSV
音频：MP3、WAV、FLAC、AAC
视频：MP4、AVI、MOV、MKV
这些格式可以在数据管理模块中上传和管理。
用户：如何创建数据清洗任务？
助手：根据知识库文档，创建数据清洗任务步骤如下：
1. 进入数据处理页面
2. 点击创建任务按钮
3. 配置基本信息（任务名称、源数据集、输出数据集）
4. 配置清洗流程（拖拽算子到画布）
5. 配置执行参数
6. 创建并执行任务
详细的配置说明请参考用户指南。
[来源：user_guide.md, data_cleansing.md]
使用大模型进行通用对话，不使用知识库：
基于知识库内容回答问题：
结合通用对话和知识库问答：
使用快捷指令快速执行操作：
| 指令 | 功能 | 示例 |
|---|---|---|
/dataset | 查询数据集 | /dataset list |
/task | 查询任务 | /task status |
/help | 显示帮助 | /help |
/clear | 清空对话 | /clear |
点击历史对话可以继续之前的对话。
导出对话记录：
创建提示词模板用于特定场景：
你是一个专业的技术支持助手。请基于 DataMate 知识库回答用户问题。
要求：
1. 只基于知识库内容回答
2. 如果知识库中没有相关信息，明确告知用户
3. 回答要准确、详细
4. 提供操作步骤时，要清晰明了
5. 标注信息来源
用户问题：{question}
知识库内容：
{context}
请回答：
你是一个数据分析专家。请分析以下数据并提供洞察。
数据：
{data}
分析要求：
1. 数据概览
2. 关键发现
3. 趋势分析
4. 建议和结论
请提供分析报告：
获得更好的回答：
好的提问示例：
❌ 怎么用 DataMate？
✅ 如何在 DataMate 中创建一个数据清洗任务，清洗包含空值和重复值的 CSV 文件？
充分利用知识库：
管理对话历史：
A: 改进建议：
A: 可能原因：
A: 切换步骤：
A: 存储位置：