数据管理 API
数据集和文件管理 API
DataMate 提供完整的 REST API,支持所有核心功能的编程访问。
DataMate API 基于 REST 架构设计,提供以下服务:
DataMate 支持两种认证方式:
GET /api/v1/data-management/datasets
Authorization: Bearer <your-jwt-token>
获取 JWT Token:
POST /api/v1/auth/login
Content-Type: application/json
{
"username": "admin",
"password": "password"
}
响应:
{
"token": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9...",
"expiresIn": 86400
}
GET /api/v1/data-management/datasets
X-API-Key: <your-api-key>
{
"code": 200,
"message": "success",
"data": {
// 响应数据
}
}
{
"code": 400,
"message": "Bad Request",
"error": "Invalid parameter: datasetId",
"timestamp": "2024-01-15T10:30:00Z",
"path": "/api/v1/data-management/datasets"
}
{
"content": [],
"page": 0,
"size": 20,
"totalElements": 100,
"totalPages": 5,
"first": true,
"last": false
}
| 端点 | 方法 | 描述 |
|---|---|---|
/data-management/datasets | GET | 获取数据集列表 |
/data-management/datasets | POST | 创建数据集 |
/data-management/datasets/{id} | GET | 获取数据集详情 |
/data-management/datasets/{id} | PUT | 更新数据集 |
/data-management/datasets/{id} | DELETE | 删除数据集 |
/data-management/datasets/{id}/files | GET | 获取文件列表 |
/data-management/datasets/{id}/files/upload | POST | 上传文件 |
详细文档:数据管理 API
| 端点 | 方法 | 描述 |
|---|---|---|
/data-cleaning/tasks | GET | 获取清洗任务列表 |
/data-cleaning/tasks | POST | 创建清洗任务 |
/data-cleaning/tasks/{id} | GET | 获取任务详情 |
/data-cleaning/tasks/{id} | PUT | 更新任务 |
/data-cleaning/tasks/{id} | DELETE | 删除任务 |
/data-cleaning/tasks/{id}/execute | POST | 执行任务 |
详细文档:数据清洗 API
| 端点 | 方法 | 描述 |
|---|---|---|
/data-collection/tasks | GET | 获取采集任务列表 |
/data-collection/tasks | POST | 创建采集任务 |
/data-collection/tasks/{id} | GET | 获取任务详情 |
/data-collection/tasks/{id}/execute | POST | 执行采集任务 |
详细文档:数据采集 API
| 端点 | 方法 | 描述 |
|---|---|---|
/data-synthesis/tasks | GET | 获取合成任务列表 |
/data-synthesis/tasks | POST | 创建合成任务 |
/data-synthesis/templates | GET | 获取指令模板列表 |
/data-synthesis/templates | POST | 创建指令模板 |
详细文档:数据合成 API
| 端点 | 方法 | 描述 |
|---|---|---|
/operator-market/operators | GET | 获取算子列表 |
/operator-market/operators | POST | 发布算子 |
/operator-market/operators/{id} | GET | 获取算子详情 |
/operator-market/operators/{id}/install | POST | 安装算子 |
详细文档:算子市场 API
| 端点 | 方法 | 描述 |
|---|---|---|
/rag/knowledge-bases | GET | 获取知识库列表 |
/rag/knowledge-bases | POST | 创建知识库 |
/rag/knowledge-bases/{id}/documents | POST | 上传文档 |
/rag/knowledge-bases/{id}/search | POST | 向量检索 |
详细文档:RAG 索引 API
DataMate 提供多种语言的 SDK:
from datamate import DataMateClient
# 初始化客户端
client = DataMateClient(
base_url="http://localhost:8080",
api_key="your-api-key"
)
# 获取数据集列表
datasets = client.data_management.get_datasets()
# 创建数据集
dataset = client.data_management.create_dataset(
name="my_dataset",
type="text",
description="My dataset"
)
# 上传文件
client.data_management.upload_file(
dataset_id=dataset.id,
file_path="/path/to/file.txt"
)
import { DataMateClient } from '@datamate/sdk';
// 初始化客户端
const client = new DataMateClient({
baseURL: 'http://localhost:8080',
apiKey: 'your-api-key'
});
// 获取数据集列表
const datasets = await client.dataManagement.getDatasets();
// 创建数据集
const dataset = await client.dataManagement.createDataset({
name: 'my_dataset',
type: 'text',
description: 'My dataset'
});
// 上传文件
await client.dataManagement.uploadFile(
dataset.id,
'/path/to/file.txt'
);
| 错误码 | 说明 |
|---|---|
| 200 | 成功 |
| 201 | 创建成功 |
| 400 | 请求参数错误 |
| 401 | 未认证 |
| 403 | 无权限 |
| 404 | 资源不存在 |
| 409 | 资源冲突 |
| 500 | 服务器内部错误 |
API 调用速率限制:
超过限制返回 429 Too Many Requests。
响应头包含速率限制信息:
X-RateLimit-Limit: 1000
X-RateLimit-Remaining: 999
X-RateLimit-Reset: 1642252800
API 版本通过 URL 路径指定:
/api/v1//api/v2/数据集和文件管理 API
这个页面对您有帮助吗?
Glad to hear it! Please tell us how we can improve.
Sorry to hear that. Please tell us how we can improve.