一、数据的原始来源
贝西克的交易数据,来源于三个独立的渠道:
券商交易系统:这是他进行所有交易的官方平台。每一笔交易的开仓、平仓、止损、止盈,都在券商的服务器上留有完整的记录。这些记录包括交易时间、品种代码、买卖方向、成交价格、成交数量、佣金税费等详细信息。
个人交易日志:这是贝西克自己维护的一份Excel表格。五年来,他坚持在每一笔交易结束后,手动记录交易的理由、心理状态、以及事后反思。这份日志,不仅包含了交易数据,还包含了他的思考过程和情绪变化。
策略回测系统:这是他用来验证策略有效性的自动化系统。该系统记录了每一笔模拟交易的参数设置、市场环境、以及回测结果。这些数据,可以用来验证实盘交易与回测结果的一致性。
三个独立的数据源,相互印证,相互补充,构成了一个完整的证据链。
二、数据的导出与清洗
数据整理的第一步,是将三个来源的数据导出,并进行清洗。
券商数据的导出:贝西克登录了三个不同券商的交易系统,将过去五年的交易记录逐一导出。由于券商系统的数据导出功能有限,他不得不手动选择每一年的数据,分批导出,然后将它们合并成一个完整的文件。这个过程,花费了他整整一天的时间。
个人日志的整理:他的个人交易日志,分散在五个不同的Excel文件中。由于他经常在不同的电脑上编辑这些文件,导致部分数据存在版本不一致的问题。他需要逐条核对,确保每一条记录都是最新的版本。
回测数据的提取:策略回测系统的数据,存储在一个专用的数据库中。阿杰编写了一个SQL查询脚本,将过去五年的回测数据提取出来,并与实盘数据进行比对。比对结果显示,实盘交易与回测结果的偏差,在统计意义上不显著。
数据清洗的过程中,贝西克发现了一些问题:
??有几笔交易的时间戳,存在一分钟左右的偏差。经过排查,发现是券商系统的时间同步问题,不