API 参考

DataMate API 文档

DataMate 提供完整的 REST API,支持所有核心功能的编程访问。

API 概述

DataMate API 基于 REST 架构设计,提供以下服务:

  • 数据管理 API:数据集和文件管理
  • 数据清洗 API:数据清洗任务管理
  • 数据采集 API:数据采集任务管理
  • 数据标注 API:数据标注任务管理
  • 数据合成 API:数据合成任务管理
  • 数据评估 API:数据评估任务管理
  • 算子市场 API:算子管理
  • RAG 索引 API:知识库和向量检索
  • 流水线编排 API:流程编排管理

认证方式

DataMate 支持两种认证方式:

JWT 认证(推荐)

GET /api/v1/data-management/datasets
Authorization: Bearer <your-jwt-token>

获取 JWT Token:

POST /api/v1/auth/login
Content-Type: application/json

{
  "username": "admin",
  "password": "password"
}

响应:

{
  "token": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9...",
  "expiresIn": 86400
}

API Key 认证

GET /api/v1/data-management/datasets
X-API-Key: <your-api-key>

通用响应格式

成功响应

{
  "code": 200,
  "message": "success",
  "data": {
    // 响应数据
  }
}

错误响应

{
  "code": 400,
  "message": "Bad Request",
  "error": "Invalid parameter: datasetId",
  "timestamp": "2024-01-15T10:30:00Z",
  "path": "/api/v1/data-management/datasets"
}

分页响应

{
  "content": [],
  "page": 0,
  "size": 20,
  "totalElements": 100,
  "totalPages": 5,
  "first": true,
  "last": false
}

API 端点

数据管理

端点方法描述
/data-management/datasetsGET获取数据集列表
/data-management/datasetsPOST创建数据集
/data-management/datasets/{id}GET获取数据集详情
/data-management/datasets/{id}PUT更新数据集
/data-management/datasets/{id}DELETE删除数据集
/data-management/datasets/{id}/filesGET获取文件列表
/data-management/datasets/{id}/files/uploadPOST上传文件

详细文档:数据管理 API

数据清洗

端点方法描述
/data-cleaning/tasksGET获取清洗任务列表
/data-cleaning/tasksPOST创建清洗任务
/data-cleaning/tasks/{id}GET获取任务详情
/data-cleaning/tasks/{id}PUT更新任务
/data-cleaning/tasks/{id}DELETE删除任务
/data-cleaning/tasks/{id}/executePOST执行任务

详细文档:数据清洗 API

数据采集

端点方法描述
/data-collection/tasksGET获取采集任务列表
/data-collection/tasksPOST创建采集任务
/data-collection/tasks/{id}GET获取任务详情
/data-collection/tasks/{id}/executePOST执行采集任务

详细文档:数据采集 API

数据合成

端点方法描述
/data-synthesis/tasksGET获取合成任务列表
/data-synthesis/tasksPOST创建合成任务
/data-synthesis/templatesGET获取指令模板列表
/data-synthesis/templatesPOST创建指令模板

详细文档:数据合成 API

算子市场

端点方法描述
/operator-market/operatorsGET获取算子列表
/operator-market/operatorsPOST发布算子
/operator-market/operators/{id}GET获取算子详情
/operator-market/operators/{id}/installPOST安装算子

详细文档:算子市场 API

RAG 索引

端点方法描述
/rag/knowledge-basesGET获取知识库列表
/rag/knowledge-basesPOST创建知识库
/rag/knowledge-bases/{id}/documentsPOST上传文档
/rag/knowledge-bases/{id}/searchPOST向量检索

详细文档:RAG 索引 API

SDK 和客户端

DataMate 提供多种语言的 SDK:

Python SDK

from datamate import DataMateClient

# 初始化客户端
client = DataMateClient(
    base_url="http://localhost:8080",
    api_key="your-api-key"
)

# 获取数据集列表
datasets = client.data_management.get_datasets()

# 创建数据集
dataset = client.data_management.create_dataset(
    name="my_dataset",
    type="text",
    description="My dataset"
)

# 上传文件
client.data_management.upload_file(
    dataset_id=dataset.id,
    file_path="/path/to/file.txt"
)

JavaScript SDK

import { DataMateClient } from '@datamate/sdk';

// 初始化客户端
const client = new DataMateClient({
  baseURL: 'http://localhost:8080',
  apiKey: 'your-api-key'
});

// 获取数据集列表
const datasets = await client.dataManagement.getDatasets();

// 创建数据集
const dataset = await client.dataManagement.createDataset({
  name: 'my_dataset',
  type: 'text',
  description: 'My dataset'
});

// 上传文件
await client.dataManagement.uploadFile(
  dataset.id,
  '/path/to/file.txt'
);

错误码

错误码说明
200成功
201创建成功
400请求参数错误
401未认证
403无权限
404资源不存在
409资源冲突
500服务器内部错误

速率限制

API 调用速率限制:

  • 默认限制:1000 次/小时
  • 突发限制:100 次/分钟

超过限制返回 429 Too Many Requests

响应头包含速率限制信息:

X-RateLimit-Limit: 1000
X-RateLimit-Remaining: 999
X-RateLimit-Reset: 1642252800

版本管理

API 版本通过 URL 路径指定:

  • 当前版本:/api/v1/
  • 未来版本:/api/v2/

相关文档


数据管理 API

数据集和文件管理 API


最后修改 February 6, 2026: :tada: add full featured docs (bf83ee1)