这个学霸疑似巨额知识来源不明 第81章 榜单之外

吃过晚饭回到房间，电脑屏幕因为长时间无操作已经进入了休眠。

江临晃了一下滑鼠，屏幕亮起，下载管理器里的进度条已经拉满。

那个標著minute_market_data_v3.zip ，大小足有3.4gb的数据集，安静地躺在他的本地硬碟里。

江临趁著解压的间隙看了看规则。

平台那个ui极其简陋的任务说明页面上，规则写得很长，密密麻麻的一大篇免责条款和计分细则。

数据禁止外传，允许使用公开算法，允许提交清洗后的异常標记文件、方法说明报告和辅助脚本等等。

江临把几段规则复製下来，粘贴到本地新建的记事本里，然后用滑鼠给其中三个词加了粗。

隱藏標籤，可復现性，泛化能力。

这三个词，比那八千块钱奖金重要得多。

它透露了主办方真正的痛点。

他们不要那种在特定数据集上跑分很高，换个市场环境就彻底拉胯的比赛特供模型。

他们要的是一条真正能落地的工业级清洗流水线。

江临却看得眉头微皱。

因为他熟悉的是坏数据，不是金融市场。

温度传感器零点漂移、相机暗场噪声、光学支架热胀冷缩、辐射计被宇宙线打出异常尖峰，这些东西他处理过太多次。

可是分钟级行情不是温度曲线，成交量不是传感器採样，停牌標记也不是设备掉线。

如果连繫统的基本工作方式都没弄清楚，就急著下手清洗数据，那不叫审计。

那叫把自己的无知写进脚本里。

江临把下载页面暂时放到一边，新建了一个文档。

標题只有四个字：量化补课。

目標：学习这些数据在什么制度和流程下產生。

他先从最基础的栏位开始查。

开盘价，成交量，復权，涨跌停……

每一个词他都只看最基础的定义，不往投资策略上发散。

遇到讲十倍收益，稳定套利，资金曲线完美的帖子，直接关掉。

遇到有人认真討论未来函数，倖存者偏差，样本外失效，滑点和衝击成本的长帖，才停下来读。

两个小时后，他列出了六个必须先確认的制度性问题，从集合竞价边界到测试集隔离方式，並在纸上画出一条很粗糙的数据链路。

最后评价为：量化数据不是市场本身，是市场经过多层设备，制度，软体和商业口径之后留下的影子。

这句话写完，他又下载了数据字典和平台提供的baseline（基准参考代码）。

数据字典是一个二十多页的pdf文件。

不得不说，提供方在脱敏上做得很绝。

那个所谓的標的代码，根本不是什么诸如600519这种能在软体里搜出来的股票代码，而是被全部转成了一长串毫无规律的md5哈希值。

时间戳里的交易日（date_id）也做了整体偏移。你没法知道这是2015年股灾时的数据，还是2020年抱团行情时的数据。

所有的价格和成交量也全都在后台做过了等比例缩放，绝对值已经失去现实含义，只保留了零值、缺失、相邻变化率以及同一口径下的相对关係。

这意味著，你不可能靠现实世界的金融常识或者去查雅虎財经的歷史记录，去反推哪一只股票在某年某月某日发生了什么异常。

这很对江临的胃口。

因为外部查资料的捷径被切断后，剩下的胜负就会回到数据內部的逻辑、制度边界和审计能力上。

江临打开windows命令行窗口，在工程目录下建好了五个分类文件夹。

解压数据集的压缩包。

进度条走完后，data_raw 文件夹里出现了四个庞然大物。

train_features.parquet，train_labels.csv，test_features.parquet，sample_submission.csv

他现在用的这台二手电脑，內存只有可怜的8g。

如果直接用pandas把这三点几个g的parquet格式数据全量读进內存，这台二手机器大概率会直接卡死。

於是，他打开编辑器，写了一个几十行的python短脚本。

只读表头元数据和前面的前一百万行样本切片，用来探路。

十分钟后，按下运行键。

终端里瞬间刷出一长串刺眼的红字报错信息。

江临盯著那串红字，愣了两秒，然后哑然失笑。

现实世界就是这样充满黑色幽默。

你踌躇满志，以为自己马上就要面对深不可测的资本市场，要去手撕复杂的金融微观结构了，结果第一刀，却结结实实地砍在了一个缺失的底层依赖库上。

“行吧，先搞后勤。“

江临摇了摇头，在命令行里敲下了安装命令。

看著屏幕上跳动的一个个下载进度条，他顺手把这些包的版本號，一个不落地记录在了刚才的audit_log里。

晚上九点四十六分，环境配置完毕。

第一批百万行的切片数据，终於顺利地被读进了內存。

屏幕上整齐地列印出了十几个常规行情栏位，最后跟著三个由平台方自己生成的辅助栏位。

session_id，source_flag，row_weight。

江临没有急著去看那些价格数字，而是盯著这最后三个栏位看几眼，评价为。

【凡是平台方称作內部质量分组的栏位，先不要当特徵使用，先当潜在污染分层变量审计。】

接下来，他开始对这一百万行切片做最基础的侦查审计。

江临把脑子里的几个基础常识翻译成几行乾净利落的聚合代码，点击运行。

笔记本电脑发出低沉的轰鸣，cpu风扇开始高速转动，像是在抗议这种压榨。

第一轮审计脚本跑了足足二十多分钟。

终端里，一行行统计结果慢慢跳了出来。

和江临预想的一样，大部分记录看起来非常平滑正常，但也有一小撮记录脏得让人没眼看。

毕竟这个比赛的任务就是找脏数据，有异常是在预料之內的。

江临平静地写了几行画图脚本，把那些被筛出来的异常样本隨机抽了几个，画成走势图。

这些异常都太浅了。

写几个if-else的条件过滤就能抓得一清二楚。

江临心里盘算著，如果只靠这些表层的业务逻辑去提交，应该能稳定拿到一个中等偏上的分数，拿不到奖金，但至少能及格。

如果任务只停留在这些表层逻辑错误上，就不值得平台设置人工报告评分。

江临揉了揉有些发酸的眼睛，喝了一口水，继续往下看第四个问题的统计结果。

凌晨一点二十，当缺失值的分布矩阵渲染在屏幕上时，他终於发现了第一处让他皱起眉头的异常现象。

数据里的缺失值，不是均匀出现的。

如果是一般的低流动性標的，出现偶尔的数据缺失是很正常的。

又或者，是某一只股票的交易所接口突然卡顿，造成几分钟的断档，这也说得通。

但现在屏幕上显示的问题是，缺失极其密集地集中在若干个date_id的同一段minute_id上。

而且，更诡异的是，这些minute_id的缺失，横跨样本里成百上千个不同的symbol_id。

为了看清楚，江临把这百万行数据的缺失分布状態画成了一张二维热力图。

横轴是时间，纵轴是標的代码，有数据的地方是深蓝色，缺失的地方是刺眼的亮黄色。

屏幕上赫然出现了几条横贯全图的亮黄色条带，就像一整块深蓝色的布料上，被人用刀残忍地划出了几道平行的巨大伤口。

这不是某一只股票的交易出了问题，不是標的自身的市场行为！

这更像是在那个特定的时间段，负责收集市场数据的某一台核心伺服器突然宕机了，或者是底层供应商的某根专线断了，导致整个市场在这一段切片上的数据，经歷了全链路的集体丟包。

江临立刻切回audit_log，在日誌里重重地敲下一行字。

【异常类型 a：横向时间截面级缺失。】

【推断：此异常不属於市场本身的交易特徵，极大概率是数据供应商底层接口故障，或平台拼接多源数据时发生的时间轴对齐失误。】

他顺著这个思路往下查，试图把所有出现过横向断层的时间段全部圈出来。

接著，他犯了一个非常小但足以致命的常识性错误。

他在热力图上框选时，发现不仅是某些隨机的日子有横向伤口，几乎每一个date_id的中间段，都有一大块规则的、横贯全市场的空白区域。

江临毫不犹豫地把这段规则的空白也標记成了异常缺失。

但在按下保存键的那一瞬间，他的手指悬停在了半空。

“等等，所有標的，每一天，在中间完全相同的位置，准时切断，又准时恢復？“

江临忽然意识到什么，快速切出代码界面，打开瀏览器，在搜寻引擎里输入了a股交易时间。

页面立刻跳出结果：上午 9:30 - 11:30，下午 13:00 - 15:00。

中午有一个半小时的休市。

江临拍了一下自己的脑门。

自己把这部分规则的空白当成了数据丟失。

他打开数据字典，重新审视那个极其含糊的session_id。

平台虽然对具体的时间做了脱敏和偏移，但session_id依然诚实地保留了每天上、下午两个交易时段的结构信息。

江临立刻把那部分標记全部撤掉，回到日誌本，坦然地记录下自己的失误：

【误判 001：將正常的午间休市造成的物理时间断点，误识別为系统级数据缺失。】

【原因分析：过於迷信数据表象，未在建模前建立现实市场的物理约束前提。】

【修正方案：后续所有统计和清洗动作，必须先按session_id將每日行情严格分段隔离建模，禁止跨越休市期计算任何差分特徵。】

写完这一段，他感到一阵轻鬆。

这就是纠错的快感。

承认无知，排除干扰，把系统的边界再一次收紧。

时间已经推移到了凌晨两点半。

江临搓了搓脸颊，驱散了一丝困意，打开那个官方提供的baseline.ipynb文件。

这是一个用jupyter notebook写的演示级基准代码。

平台方写得很简陋，主要是演示如何读入数据、构造特徵、跑通提交流程。

后面的模型部分他暂时没有执行，只顺著预处理代码往下看。

江临一行一行地往下扫，目光快速解析著这些代码背后的逻辑。

看到第六十七行的时候，他握著滑鼠的手突然停住了。

那是一段做特徵標准化的代码。

为了让不同量纲的数据能在一个尺度下训练，它把训练集和测试集直接合併成了一个大表。

然后，它计算了这个大表里每个特徵的全局均值和全局標准差。

最后，它用这个包含了所有未来数据的全局统计量，去对整个数据集进行了放缩。

在很多网上的开源教程或者新手的数据分析作业里，这种写法非常常见。

用一句fit_transform全部搞定，方便，省事，代码看起来也很整洁。

但如果在普通的不强调时间顺序的机器学习比赛，比如识別猫狗图片里，这叫数据泄漏。

但在量化金融这种时间序列数据里，它远比普通泄漏更糟。

因为时间的前后因果顺序，本身就是这个系统的物理定律。

你不能用明天的最高温和最低温，来重新定义今天温度计刻度的零点。

如果你这么做了，今天的数据里就不可避免地夹杂了对未来的预知。

江临没有立刻在日誌里下定论。

科学精神要求证据，而不是拍脑袋的直觉。

他立刻新建了一个短小精悍的验证脚本。

他只取了10 个symbol_id，只取了时间轴上紧挨著的两个date_id作为训练窗和测试窗。

他做了两组对照——一组照搬baseline的合併逻辑，一组严格遵守时间因果律只用歷史窗口。

脚本一秒钟跑完，江临调出折线图。

结果非常清晰。

在发生了剧烈价格波动的测试窗口期，第一组由於预先看见了这些剧烈波动，使得標准化后的异常数值被显著地压低了。

换句话说，官方提供的这个baseline，正在潜移默化地把未来信息揉进最初的预处理步骤里。

它像一个被下了蒙汗药的警报器，让一部分本该极其刺眼的异常数据，看起来显得没那么异常了。

这不是什么参赛者恶意寻找代码漏洞作弊，这更像是平台技术人员在赶工时犯下的一个愚蠢的工程疏忽。

这个疏忽，足够让公开排行榜的一部分分数失去参考意义。

至少，那些沿用官方baseline预处理流程的方案，已经不再乾净。

江临看著屏幕上两条劈叉的折线，脑海中忽然响起了白天在江大a301教室里，赵明远教授敲著黑板说的那句话。

“一个近似方法最危险的时候，不是它算出来的误差有多大。而是它赖以成立的前提本身已经崩掉了，而你却还在浑然不觉地照常使用它。“

baseline现在的处境就是如此。

不是模型跑出来的精度不够高，而是它在预处理的第一步，就已经从物理根基上破坏了时间序列的因果律法则。

凌晨三点十一分，夜深人静，整座城市都沉睡了。

江临在日誌本的最后，敲下一行字。

【异常类型e：baseline 存在系统级未来信息泄漏。】

【机理：在预处理阶段合併训练/测试集进行全局標准化计算，从根本上破坏了时间序列数据的因果结构，导致测试窗异常特徵被平滑稀释。】

【註：此现象绝不是参赛选手应该用来刷分的漏洞，因为用它训练出的模型在现实中只有死路一条。它或许是一个应当直接向平台方提交审查的赛题本身的安全级缺陷。】

接下来的两天里，江临几乎没有离开过自己的房间太久。

除了一日三餐母亲会准时敲门叫他吃饭，偶尔切点水果端进来放桌上，剩下的时间，他像一尊雕塑一样焊死在了电脑屏幕前。

期间，班主任老刘实在放心不下，给他打了个电话。

得知他宅在家里，也就放心了。

这两天里，江临把所有的时间，像切片一样精准地分配在了三件最基础也最枯燥的事情上。

建立严苛的交易时段物理约束体系，构建底层栏位间的逻辑一致性网络，建立全方位的数据缺失机制分类词典。

他把这些所有的审计规则，全部封装成了可以独立开关的模块。

就像一套精密运转的工具机，每一条数据流过，经歷了哪一刀切削，触发了哪一条警报，全部都被详细地记录在日誌里。

每一个最终输出的异常標籤，都能顺藤摸瓜，一路回溯到它最初被触发的根本物理原因。

第三天上午，江临生成了第一份submission.csv，点击平台的提交按钮。

平台背后的伺服器转了几圈，自动评分结果很快就刷新在了页面上。

得分 0.7812，排名第13。

页面上方，有好几个暱称花哨的帐號，分数已经衝到了0.85以上，高出他一大截。

江临看著那个稳稳停在中间的排名，点开排行榜前几名的公开提交说明。

为了拿奖，选手需要在说明里简述思路。

这些文字写得极其漂亮，充满了前沿学术的既视感。

什么基於孤立森林与lightgbm的集成异常检测框架，什么使用了lstm-autoencoder自动编码器进行无监督时序异常识別……

在某位目前排在第二名的选手的说明里，江临甚至看到了这样一句话：“本方案构建了一个具有深层表达能力的复杂网络，充分学习了该市场的微观结构特徵与价格博弈逻辑，从而精准定位异常节点。“

江临摇了摇头，將这些花里胡哨的说明关掉。

用一个区区3.4gb，被严重人工脱敏，混杂著供应商丟包和平台拼接错误，甚至连baseline都在泄露未来信息的垃圾切片样本，去教一个深度神经网络学习资本市场的微观博弈逻辑？

这就像在一个充满著电磁干扰和生锈探头的废墟里，指望通过测量一堆满是乱码的底噪，来推导宇宙大爆炸的起源一样荒谬。

他继续下载自己刚才提交后平台返回的少量错误样本反馈。

分析反馈后，他发现自己用纯粹硬逻辑织成的网，確实漏掉了一些隱蔽的异常。

特別是那些在极短时间內出现一个尖锐的价格刺破，然后在下一分钟又迅速回落到正常水平的孤立波动。

这种波动，在成交量和基本价格关係上並没有违背栏位一致性，用基础规则很难抓死。

於是，他打开代码，冷静地追加了一个稳健统计模块。

把每个symbol_id的数据，放进按session分离的滚动窗口里，计算每个点的mad。

写完mad模块，並用它作为补充警报器后。

江临点击了第二次提交。

得分0.8105，排名上升至第9。

仍然没有挤进最前排的爭夺战。

但这一切都不重要了。

因为在他的桌面文件夹里，那份配合代码使用的分析报告，页数已经写到了第二十页。

他把前两次提交的模型差异、思路转变，以及对mad统计鲁棒性的数学解释，全部更新进了版本日誌。

晚上十点，万籟俱寂。

江临端著杯刚泡好的浓茶回到桌前，打开一个空白的pdf模板。

他给这份报告起了一个朴素的名字：《分钟级行情数据异常检测与回测前置审计报告》。

第一页，是报告摘要。

他敲下了那段早已在脑子里盘旋了两天的话。

“本报告的核心观点认为，该脱敏数据集中的异常，不属於单一维度的统计分布分类问题。经过逻辑拆解，该数据的污染源头至少来自四条不同链路：交易时段边界未正確隔离导致的差分污染，除权除息或尺度缩放造成的復权口径不一致，標的自身低流动性导致的零星缺失，以及数据供应链或平台脱敏拼接过程造成的横向截面级缺失。”

“此外，本报告注意到，部分横向缺失带、相邻 date_id 边界处的价格尺度突变，以及平台內部质量分组栏位 source_flag 的变化之间存在显著同步关係。由於 source_flag 的真实业务含义未公开，本文不对其作確定解释，仅建议主办方在最终评测前，按该栏位对底层数据源、清洗批次或供应商接口切换记录进行分层覆核。”

“若参赛者无视上述数据生成链路，直接將所有异常视作同一类统计分类任务交给黑盒模型擬合，模型很可能把数据供应链本身的工程缺陷误学习为市场交易行为。此类结果即使在公开榜单上取得较高分数，也缺乏真实工程场景下的泛化价值。”

打完最后一个標点，江临往后靠了靠，揉了揉发酸的脖颈。

写完摘要，在第二页，他花了一个小时，用绘图工具画了一张极其专业的流程拓扑图。

標题是：数据生成与污染链路追踪。

在这条漫长的链路上，每一个节点下方，他都用红色箭头精准地標出了可能且已经发生在该数据集上的污染类型。

他要用这张图直接把对方拉到他的视角，让对方看清楚：我不是在解一道算法题，我是在帮你们做整个测量系统的外科手术。

第三页开始，是江临定义的核心异常类型详述。

江临端起茶杯抿了一口，杯壁的温度已经凉了大半。

光標在文档末尾的空白页上闪烁。

他深吸一口气，敲下了那个独立的章节標题。

e类：baseline级未来信息泄漏。

这个章节一旦写进去，整份报告的性质就变了。

前面四类异常，都是在认真完成主办方发布的找脏数据的任务，无论找得多深，都是一个优秀参赛者的本分。

但这第五类，是在直接掀主办方的桌子。

等於是在告诉评委，你们官方提供的演示代码，从地基上就是烂的。

如果写得语气太轻柔，评审专家在快速翻阅时可能会直接掠过，当没看见。

如果写得攻击性太强，评审出於维护平台面子的心理防卫，极大概率会认为他是一个分数跑不高就在这里强行挑刺的刺头，直接把他的报告扫进垃圾堆。

江临靠在椅背上思索了片刻，最后选择了一种让人无法反驳的写法。

不掺杂任何感情评价，只提供铁一般的运行证据。

他把那个早就准备好的最小復现实验全部贴了进去。

在详实的数据和对比图表之后，他写下了最终结论。

“实验证据表明，若在特徵预处理阶段盲目採用测试集参与计算全局统计量，异常分数的分布状態將直接受到未来样本波动的污染。这不仅在逻辑上破坏了时间序列分析的基本底线，更会导致目前的公开榜单得分，在相当大程度上只反映了部分参赛选手利用该数据切分缺陷过度擬合的能力，而非其算法真实的异常检测能力。“

第四天上午八点十七分，距离整个挑战赛提交通道关闭还有不到六个小时。

江临点击了最后一次提交，上传了第三版模型结果。

页面刷新，自动评分出来了。

排名第7。

依然没有进入能拿到表面大奖的前五名金字塔尖。

但他没有再试图去修改任何参数刷榜。

而是把最终版的清晰结果csv，所有模块化和注释详尽的python脚本，记载了环境依赖的requirements文本，以及那份二十四页的pdf审计报告一起打包成一个压缩文件包。

上传至系统的最终成果物栏。

网页中央出现了一个蓝色的加载圈，转了两三秒钟，跳出了提交成功，感谢参与的绿色提示框。

江临长出了一口气，向后重重地靠在椅背上。

至於对方什么时候会看到？

看懂了之后，是坦诚地承认系统错误，还是为了掩盖失误选择死不认帐，甚至直接將他刪帖封號？

这一切的变量，都已经不在他现在的控制范围之內了。

但他已经在这个贫瘠的切片上，做到了逻辑的极致。

江临关掉瀏览器，舒展了一下有些僵硬的肩颈，拿起桌上的杯子，推开房门去客厅倒水。

十分钟后，他端著水杯回到房间，刚唤醒电脑屏幕，没关掉的赛事网页，页面右上角的通知小铃鐺处，显示有新的站內信。

发件人带著蓝色v字认证：平台技术组管理员-dataops_03。

江临坐下去点开私信。

“你好，1453號参赛选手。评审组刚才初步查阅了你的附件材料。我们注意到了你在报告e类章节中，严肃指出baseline代码可能存在预处理阶段的信息泄露问题。“

“由於此问题如果属实，將严重影响本次挑战赛最终评测的公平性。烦请你在24小时內，单独向本帐號补充提交一个独立的最小復现实验代码包，並罗列了一长串严苛的復现包提交要求。“

“另附：在问题彻底核实並出具官方通告之前，烦请暂勿在比赛的公开討论区发布任何关於此漏洞的推导与截图內容，感谢配合。“

好嘛。

这封来信的口吻虽然官方且严肃，但字里行间的意思已经相当直白——他们看懂了，而且整个技术团队此刻一定不轻鬆。

因为一旦这个问题被彻底坐实，这就是一次严重的事故级命题失误。

如果江临是个愣头青，直接把报告丟到全网的开源社区和量化论坛里，这个平台背后的整个技术团队，都要沦为业界的笑柄。

江临慢条斯理地把水杯放在桌角，重新打开命令行终端，在原有的工程目录旁边新建了一个文件夹。

mkdir minimal_reproduce_leakage

然后，他熟练地切进那个陪伴了他四天的audit_log文本文件。

光標移动到文件的最末尾，他敲下一行代表著系统状態变更的记录。

【阶段性事件触发：第一次最终提交虽未取得虚高榜首，但核心报告已成功击穿对方防御，触发赛事技术组与数据提供方的人工覆核流程。】

【下一执行目標：在两小时內构造纯净最小復现实验，用代码迫使对方的工程漏洞脱离一家之言的观点，固化为不容辩驳的可运行物理事实。】