浏览器输入视频解析.com视频解析.cnkedou.life 访问本站
2024年5月19日 | 星期日

ChatGPT参数泄露事件详细回顾

最新研究来自南加州大学揭示了一个引人注目的发现:他们使用一种攻击方法成功披露了gpt-3.5-turbo模型可能只有70亿参数规模,花费不到1000美元。以下是该事件的详细回顾:

事件背景与重要发现

  • 研究团队揭示未公开的gpt-3.5-turbo嵌入向量维度为4096或4608。
  • 推测该模型的参数规模约为70亿,除非采用MoE架构。
  • 曾有微软CODEFUSION论文意外泄露GPT-3.5模型参数为20B,后被删除。
  • 团队利用获取到的输出样本,拼凑出大模型的特征向量维度。

攻击方法及影响

  • 通过获取足够多的输出样本,可以推断大模型的参数规模和还原完整的概率输出。
  • 在API更新时也能发现变化,并根据单个输出确定模型来源。
  • 论文探讨了应对这种攻击的方法,认为挑战在于消除攻击可能会降低大模型的实用性或成本高昂。

论文结论和展望

  • 论文提出这种攻击有助于建立供应商和客户之间的信任,并促使大模型公司提供更高的透明度。
  • 对攻击进行跟进监测可以帮助发现模型变更,促进模型供应链更为透明和可信。