BigQuant AIStudio 数据导入 DAI 实战图文教程
由qxiao创建,最终由qxiao 被浏览 7 用户
本文通过两个实际案例介绍 BigQuant AIStudio 的数据导入流程:第一项工作是将本地 CSV 文件上传至 AIStudio,并整理后写入 DAI 数据表;第二项工作是获取东方财富市场估值数据,保存到 DAI,并配置日频任务实现自动更新。完成后,这两类数据都可以直接用于后续研究、因子分析和策略开发。
一、上传 CSV 文件
1. 打开上传入口
在BigQuant AIStudio的左侧资源管理器中右键自己的工作目录,选择“上传…”。
2. 选择本地 CSV
找到 CSV 文件,选中后点击“打开”。
3. 写入 DAI
打开 01_CSV导入DAI.ipynb,仅保留并运行下面这一段代码。
from pathlib import Path
import pandas as pd
import dai
CSV_PATH = Path("/home/aiuser/work/zxm/barra_monitor_history.csv")
TABLE = "zxm_barra_monitor_history_v1"
KEYS = ["date", "factor"]
df = pd.read_csv(CSV_PATH, encoding="utf-8-sig")
df.columns = df.columns.str.strip().str.replace(r"\s+", "_", regex=True).str.lower()
df["date"] = pd.to_datetime(df["date"])
num_cols = df.columns.difference(["date", "factor", "factor_name"])
df[num_cols] = df[num_cols].apply(pd.to_numeric, errors="coerce")
df = df.sort_values(KEYS).drop_duplicates(KEYS, keep="last")
ds = dai.DataSource(TABLE)
if ds.exists():
ds.insert_bdb(df)
else:
dai.DataSource.write_bdb(df, id=TABLE, indexes=["date"],
unique_together=KEYS, on_duplicates="last", sort_by=KEYS)
display(dai.query(f"SELECT * FROM {TABLE} ORDER BY factor, date").df().head())
4. 查看结果
点击“全部运行”;下方出现 DAI 数据预览即表示写入完成。
二、定位东方财富市场估值数据
1. 打开东方财富网
进入东方财富网首页。
2. 进入估值分析
依次选择“数据中心 → 特色数据 → 估值分析”。
3. 查看市场估值概况
三、提交日频更新任务
1. 新建任务
在 Notebook 右上角点击“提交模拟”,选择“新建任务”。
任务类型选择“日频交易任务”,填写任务名称,并选择账号可用的部署服务器。
2. 设置每日触发
展开“高级设置”:触发时间设为 21:00,输入数据留空,输出数据和输出标签填写 zxm_eastmoney_market_valuation_v1。
保留系统自动添加的 papertrading 标签,然后点击“提交任务”。
3. 查看任务状态
进入任务页面,打开最新运行版本。
4. 核对运行日志
看到“已完成”、最新日期记录数为 7、主键重复为 0,即表示更新成功。
四、在数据平台检查导入结果
1. 进入数据平台
完成数据写入后,点击 BigQuant 页面顶部的“数据平台”。
2. 打开我的数据
在数据平台左侧菜单中展开“我的”,进入“我的数据”。
3. 核对 DAI 数据表
在数据列表中确认以下两张表已经出现:
zxm_barra_monitor_history_v1:本地 CSV 导入的数据表。zxm_eastmoney_market_valuation_v1:东方财富市场估值数据表。
两张表均能正常显示,表示数据已经成功写入 DAI。日频任务运行后,zxm_eastmoney_market_valuation_v1 的更新时间应随之更新。
完成
- CSV 数据表:
zxm_barra_monitor_history_v1 - 东方财富数据表:
zxm_eastmoney_market_valuation_v1 - 日频任务:状态显示“已完成”或日志末尾显示
state=completed - 数据平台:两张 DAI 数据表均能正常显示,并具有最新更新时间
东方财富代码附件
\