用户指南 on DataMate

数据归集

Mon, 01 Jan 0001 00:00:00 +0000

数据归集模块帮助您从多种数据源（数据库、文件系统、API 等）归集数据到 DataMate 平台。

功能概述

数据归集模块基于 DataX 实现，支持：

多种数据源：MySQL、PostgreSQL、Oracle、SQL Server 等关系型数据库
异构同步：不同数据源之间的数据同步
批量归集：大规模数据的批量归集和同步
定时任务：支持定时执行归集任务
任务监控：实时监控归集任务执行状态

支持的数据源

数据源类型	Reader	Writer	说明
通用关系型数据库	✅	✅	支持 MySQL、PostgreSQL、OpenGauss、SQL Server、达梦、DB2
MySQL	✅	✅	关系型数据库
PostgreSQL	✅	✅	关系型数据库
OpenGauss	✅	✅	关系型数据库
SQL Server	✅	✅	微软数据库
达梦	✅	✅	国产数据库
DB2	✅	✅	IBM 数据库
StarRocks	✅	✅	分析型数据库
NAS	✅	✅	网络存储
S3	✅	✅	对象存储
GlusterFS	✅	✅	分布式文件系统
API 归集	✅	✅	API 接口数据
JSON 文件	✅	✅	JSON 格式文件
CSV 文件	✅	✅	CSV 格式文件
TXT 文件	✅	✅	文本文件
FTP	✅	✅	FTP 服务器
HDFS	✅	✅	Hadoop 分布式文件系统

快速开始

1. 创建采集任务

步骤 1：进入数据归集页面

在左侧导航栏选择 数据归集。

数据管理

Mon, 01 Jan 0001 00:00:00 +0000

数据管理模块提供统一的数据集管理能力，支持多种数据类型的存储、查询和操作。

功能概述

数据管理是 DataMate 的核心模块，提供：

多数据类型支持：图像、文本、音频、视频、多模态等
文件管理：上传、下载、预览、删除等操作
目录结构：支持层级目录组织
标签管理：使用标签分类和检索数据
统计信息：数据集大小、文件数量等统计

数据集类型

类型	说明	支持格式
图像	图像数据	JPG, PNG, GIF, BMP, WebP
文本	文本数据	TXT, MD, JSON, CSV
音频	音频数据	MP3, WAV, FLAC, AAC
视频	视频数据	MP4, AVI, MOV, MKV
多模态	多模态数据	混合格式

快速开始

1. 创建数据集

步骤 1：进入数据管理页面

在左侧导航栏选择 数据管理。

步骤 2：创建数据集

点击右上角 创建数据集 按钮。

步骤 3：填写基本信息

数据集名称：例如 user_images_dataset
数据集类型：选择数据类型（如图像）
描述：描述数据集的用途（可选）
标签：添加标签用于分类（可选）

步骤 4：创建数据集

点击创建按钮完成创建。

数据清洗

Mon, 01 Jan 0001 00:00:00 +0000

数据清洗模块提供强大的数据处理能力，帮助您清洗、转换和优化数据质量。

功能概述

数据清洗模块提供：

内置清洗算子：丰富的前置清洗算子库
可视化配置：拖拽式配置清洗流程
模板管理：保存和复用清洗模板
批量处理：支持大规模数据批量清洗
实时预览：预览清洗结果

清洗算子类型

数据质量算子

算子	功能	适用数据类型
去重	删除重复数据	所有类型
空值处理	删除或填充空值	所有类型
异常值检测	检测和处理异常值	数值型
格式校验	校验数据格式	所有类型

文本清洗算子

算子	功能
去除特殊字符	去除文本中的特殊符号
大小写转换	统一大小写格式
去除停用词	去除常见停用词
文本分词	中文分词处理
HTML 标签清理	清理 HTML 标签

图像清洗算子

算子	功能
格式转换	转换图像格式
尺寸调整	统一图像尺寸
质量检测	检测图像质量
去重	基于内容去重

数据转换算子

算子	功能
类型转换	转换数据类型
归一化	数值归一化处理
编码转换	字符编码转换
日期格式化	统一日期格式

快速开始

1. 创建清洗任务

步骤 1：进入数据清洗页面

在左侧导航栏选择 数据处理。

数据标注

Mon, 01 Jan 0001 00:00:00 +0000

数据标注模块集成 Label Studio，提供专业级的数据标注能力。

功能概述

数据标注模块提供：

多类型标注：支持图像、文本、音频等多种数据类型
标注模板：丰富的标注模板和配置
质量控制：标注审核和一致性检查
团队协作：多人协作标注
标注导出：导出标注结果

标注类型

图像标注

类型	说明	适用场景
图像分类	对整个图像分类	场景识别、质量判断
目标检测	标注目标位置和类别	物体识别、缺陷检测
语义分割	像素级分类	医学影像、自动驾驶
实例分割	区分同类目标	细粒度识别
关键点标注	标注关键点位置	姿态估计、人脸识别

文本标注

类型	说明	适用场景
文本分类	对文本分类	情感分析、主题分类
命名实体识别	标注实体边界	信息抽取、知识图谱
文本摘要	生成摘要	文档理解
机器翻译	翻译文本	多语言处理
问答标注	标注问答对	对话系统

音频标注

类型	说明	适用场景
音频分类	对音频分类	音频事件检测
语音识别 (ASR)	转写语音文本	语音助手
说话人分离	识别说话人	会议记录

快速开始

1. 部署 Label Studio

使用 Docker Compose

make install-label-studio

访问 Label Studio

地址：http://localhost:30001
用户名：admin@demo.com
密码：demoadmin

2. 创建标注任务

步骤 1：进入数据标注页面

在左侧导航栏选择 数据标注。

数据合成

Mon, 01 Jan 0001 00:00:00 +0000

数据合成模块利用大模型能力，自动生成高质量的训练数据，降低数据采集成本。

功能概述

数据合成模块提供：

指令模板管理：创建和管理合成指令模板
单任务合成：创建单个合成任务
比例合成任务：按指定比例合成多类别数据
大模型集成：支持多种大模型 API
质量评估：自动评估合成数据质量

快速开始

1. 创建指令模板

步骤 1：进入数据合成页面

在左侧导航栏选择 数据合成 → 合成任务。

步骤 2：创建指令模板

点击 指令模板 标签
点击 创建模板 按钮

步骤 3：配置模板

基本信息：

模板名称：例如 qa_generation_template
模板描述：描述模板用途（可选）
模板类型：选择模板类型（问答、对话、摘要等）

提示词配置：

示例提示词：

你是一个专业的数据生成助手。请根据以下要求生成数据：

任务：生成问答对
主题：{topic}
数量：{count}
难度：{difficulty}

要求：
1. 问题要清晰明确
2. 答案要准确完整
3. 涵盖不同难度级别

输出格式：JSON
[
 {
 "question": "...",
 "answer": "..."
 }
]

参数配置：

模型：选择使用的大模型（GPT-4、Claude、本地模型等）
温度：控制生成随机性（0-1）
最大 tokens：限制生成长度
其他参数：根据模型配置

步骤 4：保存模板

点击保存按钮保存模板。

数据评估

Mon, 01 Jan 0001 00:00:00 +0000

数据评估模块提供多维度数据质量评估能力，帮助您了解和提升数据质量。

功能概述

数据评估模块提供：

质量指标：丰富的数据质量评估指标
自动评估：自动执行数据评估任务
手动评估：人工抽样评估
评估报告：生成详细的评估报告
质量追踪：追踪数据质量变化趋势

评估维度

数据完整性

指标	说明	计算方式
空值率	空值占比	空值数 / 总数
缺失字段率	必填字段缺失率	缺失字段数 / 总字段数
记录完整率	完整记录占比	完整记录数 / 总记录数

数据准确性

指标	说明	计算方式
格式正确率	格式正确的占比	格式正确数 / 总数
值域符合率	值在合理范围内的占比	符合值域数 / 总数
一致性符合率	数据一致的比例	一致记录数 / 总记录数

数据唯一性

指标	说明	计算方式
重复率	重复记录占比	重复记录数 / 总记录数
唯一率	唯一记录占比	唯一记录数 / 总记录数

数据时效性

指标	说明	计算方式
数据新鲜度	数据更新频率	最后更新时间
过期数据率	过期数据占比	过期记录数 / 总记录数

快速开始

1. 创建评估任务

步骤 1：进入数据评估页面

在左侧导航栏选择 数据评估。

知识库管理

Mon, 01 Jan 0001 00:00:00 +0000

知识库管理模块帮助您构建企业知识库，实现高效的向量检索和 RAG 应用。

功能概述

知识库管理模块提供：

文档上传：支持多种文档格式的上传
文本切分：智能文本分块策略
向量化：自动将文本转换为向量
向量检索：基于相似度的语义检索
知识库问答：集成 RAG 的智能问答

支持的文档格式

格式	说明	推荐场景
TXT	纯文本	通用文本
PDF	PDF 文档	文档、报告
Markdown	Markdown 文件	技术文档
JSON	JSON 数据	结构化数据
CSV	CSV 表格	表格数据
DOCX	Word 文档	Office 文档

快速开始

1. 创建知识库

步骤 1：进入知识库页面

在左侧导航栏选择 知识生成。

步骤 2：创建知识库

点击右上角 创建知识库 按钮。

步骤 3：配置基本信息

知识库名称：例如 company_docs_kb
知识库描述：描述知识库用途（可选）
知识库类型：通用 / 专业领域

步骤 4：配置向量参数

嵌入模型：选择嵌入模型

算子市场

Mon, 01 Jan 0001 00:00:00 +0000

算子市场提供丰富的数据处理算子，支持自定义算子开发。

功能概述

算子市场模块提供：

内置算子：丰富的内置数据处理算子
算子发布：发布和分享自定义算子
算子安装：安装第三方算子
自定义开发：开发自定义算子

内置算子

数据清洗算子

算子	功能	输入	输出
去重算子	删除重复数据	数据集	去重数据
空值处理	处理空值	数据集	填充数据
格式转换	转换数据格式	原格式	新格式
类型转换	转换数据类型	原类型	新类型

文本处理算子

算子	功能
文本分词	中文分词
去除停用词	删除常见停用词
文本清洗	清洗特殊字符
情感分析	分析文本情感

图像处理算子

算子	功能
格式转换	转换图像格式
尺寸调整	调整图像大小
质量检测	检测图像质量
特征提取	提取图像特征

数据增强算子

算子	功能
文本增强	同义词替换、回译
图像增强	旋转、裁剪、颜色调整
数据合成	基于模型的数据合成

快速开始

1. 浏览算子

步骤 1：进入算子市场

在左侧导航栏选择 算子市场。

流水线编排

Mon, 01 Jan 0001 00:00:00 +0000

流水线编排模块提供拖拽式可视化界面，帮助您设计和管理复杂的数据处理流程。

功能概述

流水线编排模块提供：

可视化设计器：拖拽式流程设计
丰富的节点类型：数据处理、条件判断、循环等
流程执行：自动执行和监控流程
模板管理：保存和复用流程模板
版本管理：流程版本控制

节点类型

数据节点

节点	功能	配置
输入数据集	从数据集读取数据	选择数据集
输出数据集	写入数据到数据集	选择数据集
数据采集	执行数据采集任务	选择采集任务
数据清洗	执行数据清洗任务	选择清洗任务
数据标注	执行数据标注任务	选择标注任务
数据合成	执行数据合成任务	选择合成任务
数据评估	执行数据评估任务	选择评估任务

逻辑节点

节点	功能	配置
条件分支	根据条件执行不同分支	条件表达式
循环	重复执行节点	循环次数/条件
并行	并行执行多个分支	分支数量
等待	等待指定时间	等待时长
跳转	跳转到指定节点	目标节点

算子节点

节点	功能	配置
清洗算子	执行单个清洗算子	算子类型、参数
合成算子	执行数据合成	指令模板、参数
自定义算子	执行自定义算子	算子文件、参数

集成节点

节点	功能	配置
HTTP 请求	发送 HTTP 请求	URL、方法、参数
API 调用	调用 DataMate API	API 端点、参数
消息队列	发送/接收消息	队列配置
Webhook	触发 Webhook	Webhook URL

快速开始

1. 创建流水线

步骤 1：进入流水线编排页面

在左侧导航栏选择 流水线编排。

Agent 对话

Mon, 01 Jan 0001 00:00:00 +0000

Agent 对话模块集成大语言模型，提供智能问答和知识库检索能力。

功能概述

Agent 对话模块提供：

智能对话：基于大模型的自然语言对话
知识库问答：集成 RAG 的知识库问答
多轮对话：支持上下文的多轮对话
对话管理：对话历史和管理
快捷指令：常用操作的快捷指令

快速开始

1. 访问 Agent

在左侧导航栏选择 Agent 对话，或直接访问：

本地部署：http://localhost:30000/chat
生产环境：https://your-domain/chat

2. 开始对话

在对话框中输入问题，例如：

用户：DataMate 支持哪些数据格式？

助手：DataMate 支持多种数据格式：

图像：JPG、PNG、GIF、BMP、WebP
文本：TXT、MD、JSON、CSV
音频：MP3、WAV、FLAC、AAC
视频：MP4、AVI、MOV、MKV

这些格式可以在数据管理模块中上传和管理。

3. 使用知识库问答

启用知识库

点击设置按钮
在 知识库 设置中，选择要使用的知识库
保存设置

进行知识库问答

用户：如何创建数据清洗任务？

助手：根据知识库文档，创建数据清洗任务步骤如下：

1. 进入数据处理页面
2. 点击创建任务按钮
3. 配置基本信息（任务名称、源数据集、输出数据集）
4. 配置清洗流程（拖拽算子到画布）
5. 配置执行参数
6. 创建并执行任务

详细的配置说明请参考用户指南。

[来源：user_guide.md, data_cleansing.md]

高级功能

对话模式

通用对话

使用大模型进行通用对话，不使用知识库：