Hugging Face 增量上传省下 239GB 流量

导读

来自 @microagi 关于传输 PB 级机器人数据的文章里有个有趣的数据： 他们向 Hugging Face 重新上传了一个 239 GB 的数据集，只做了小幅修改。结果只有 2.6 MB 走了网络，大约一分钟就完成了（！） 而且这在规模化时持续见效，因为机器人录制数据高度重复（相同的场景、相同的设备）。然后 @Cloudflare workers 把它分发到任何云，超过 1 PB 只需约 500 美元 团队写的这篇文章很棒：https://www.microagi.ai/articles/delivery-platform