10个Python宝藏库，让你的机器学习更高效

目前, 训练流程能够实现端到端复现, 即数据, 模型, 以及每一步预处理, 均可回溯至任意既往状态, 训练不会再因旧数据缺失而受影响。接下来, 将事情依照来龙去脉说个明白, 讲一些细节, 不要再推诿扯皮。以前训练的过程中突然失败了, 或者写入操作没有完成, 检查点常常变成了碎片。团队曾经有一回因为这个原因, 得将花费数天下的工夫重新再来一遍, 大家心里都憋着一股气。为了处理这个问题, 我们把“检查点写入”这一步骤做成了原子操作, 更换了可以保障完整写入的工具。如今训练被中断了, 也能够从上一个完整的快照接着进行, 无需再凭借运气来恢复。这个改动看起来不怎么起眼, 但是把因为文件中途损坏而需要重跑好几天的悲剧减少了许多。来讲讲实验管理, 以往大家是各自将指标扔到CSV里, 以拼图般的形式去比对结果, 效率低到惊悚。我们启用了一个轻量级的实验跟踪系统, 只需几行代码便能把指标、直方图、参数扫描以及日志收集起来, 并且还能够在一个交互界面中去比对不同试验。该界面把指标的分组以及筛选操作做得很便捷, 无需再对着一堆表格盲目比对。说实话, 这东西相比那些臃肿的大平台在日常使用中反倒更合适。团队沟通变得顺畅了, 发现问题也显著更为直观。以往配置可是个雷区, 参数是随手填写、类型处于混乱状态。如今我们拿带类型注解的配置模型去定义模型结构、超参等, 启动之前进行自动校验以及必要的类型转换。如此一来, 把字符串塞到要求浮点数的参数之中这类低级错误, 将会在运行之前被及时抓住。训练脚本看上去清爽了, 报错信息变得更具价值, 调试所需的时间已经减少了许多。配置文件从原本随意随意的“随便写写”, 转变成为有边界、有说明的这样的东西。数据质量控制已然被予以制度化了, 每一个数据集均撰写了“期望”, 涵盖列的类型、可获取值范围、允许为空值的字段这般的断言, 数据在进入之前先行运行这些检查, 不良标签或者异常记录会被预先拦截下来, 在实践之中诸多貌似并无大碍的空值或者极端值进而会将模型训练全面搅乱, 尽早发现便不会麻烦, 有人为我列举示例, 一个颇为微小的标签偏移状况, 直接致使指标大幅下降, 回过头去进行查究才察觉是数据导出脚本于某次合并之际多余增添了一列标点符号。针对大数据集没办法一下子加载的状况, 我们将数据划分成片段, 打成tar包以流式进行读取。数据能够一边从存储或者HTTP流入训练进程, 一边进行缓存以及并行读取, IO的复杂程度被库给封装起来, 用户无需去编写那些繁杂的读取代码。这样的做法使得大规模图像以及视频训练能够实现, 不再受到内存受限的困扰。索引与分片机制会自动管理, 训练代码里少了许多“自定义IO”的麻烦事儿。调参之际, 需运行大量配置, 为此, 我们采用一个以配置驱动的扫描器, 于YAML之中定义参数空间, 运行之时添加一个标志, 如此, 系统便会自动生成多组运行, 并将输出依照结构化方式予以保存。如此一来, 大家便无需再手动命名目录或者撰写胶水脚本去管理成百上千次试验了。如此这般, 调参流程更为标准, 同时也便于后续进行复盘, 对比哪一组配置所产生的效果更佳。对于数据以及模型的版本化而言, 它占据着一个核心的环节。我们将原始的数据, 还有处理的步骤, 以及模型检查点, 全都当成能够进行版本化处理的工件来实施管理。每一次进行训练的时候, 都会对应一组清晰明确的数据快照以及流水线的定义。一旦遭遇性能出现退步的情况, 那么便能够直接回退到历史的组合之中, 去比对其间存在的差异,进而找到出现问题的环节。在真实的案例当中, 团队借助回滚以及对比的方式, 定位并且修复了致使模型发生漂移的问题, 那次漂移持续的时间长达六个月, 经过回退比对之后才发现是某一次的数据改动导致引入了偏差。关于内存方面的问题, 如今已不再是依靠猜测来解决了。我们接入了具备行级分辨率的内存分析工具, 它能够精准地确定究竟是哪一行代码在过度地分配对象, 或者是没有及时进行释放操作。当把这个工具接入到CI之后, 许多潜在的内存泄漏情况在进入集群之前就被发现了, 如此便避免了出现训练进行到一半时将节点拖垮的尴尬状况。查看分析报告时, 其呈现得直观又清晰, 峰值内存信息、导致问题的关键因素都一目了然, 修复起来效率会高很多。有时数值指标不足以用来查看问题, 于是我们制作了一个针对数据集的可视化界面, 此界面用于筛查错误分类样本, 用于筛查边缘案例, 还用于筛查标签问题, 在浏览器当中, 可以对筛选出来的样本进行做集合操作, 可以看到原图, 可以看到预测, 也可以看到标签, 能直接地标注错误, 也可以进而添加元信息, 这个界面对于查找标签错误, 对于理解整个模型失败类型是尤为实用的, 团队当中由专人去做可视化检验已然成为了一种常态。把这些工具以及做法串联起来, 并非是短时间就能达成的事情。起初之时, 数据集命名缺乏一致性, 输出较为零散, 配置用法很是混乱, 检查点偶尔会遗失, 训练脚本当中隐藏着各类IO以及内存方面的问题。我们并未打算一次性将所有问题都处理妥当, 而是先行把最容易出现差错的环节进行规整, 接着再逐步覆盖更多的场景。每解决一个痛点, 就将对应的工具固定到流程之中, 使得“人能够实行”与“机器能够复现”之间的差距逐渐缩小。将这些变革予以推行, 是需要耗费时间的, 而且还会遇上阻力。其中, 团队里存在这样的情况, 有人得花费时间去学那个新工具。况且老流程有着惯性, 但只要一旦形成习惯, 那么新来的人就能更快速地实现上手工作, 协作的时候也会变得顺当起来。把这些相关的东西搭建起来, 这就如同给项目安装了骨架一样, 如此一来外面众多的功能才有地方能够可靠地挂上去。当下, 大多数的训练已经不再依靠运气了, 问题能够追溯到具体所提交的内容或者数据的改动方面, 如此大家在干活之时也就更加省心了。