正在加载陈远的个人网站

论文

Meta 论文:从水印输出蒸馏的模型可被黑盒检测

X:Rohan Paul (@rohanpaul_ai)

导读

Meta 新论文提出 WM-Basin,可从蒸馏模型的文本输出中黑盒检测其是否源自带水印的 API 输出。该方法把嫌疑模型的 API 输出转成固定探针模型的梯度,再与真实密钥比对;在 1,200 个蒸馏模型、0.1% 假阳性率下,对 n-gram=1 水印的检出率达 79%,而传统 token 计数仅 29%。量化、轻度剪枝和 RL 后训练未能消除该痕迹,但在干净数据上进一步微调会削弱它。