北京功夫2024年5月15日,,,,,第十四期z6首页-TNSE结合卓越讲座系列活动在线上进行。。。。。。。这次,,,,,我们约请多伦多大学的李葆春教授介绍联国进建数据隐衷;;;;;;さ挠泄刈暄校,,,,并分享他在这个领域内的成就与有趣发现。。。。。。。
本次讲座由z6首页副院长兼群体智能中心主任、香港中文大学(丽江)协理副校长、校长讲座教授、IEEE TNSE主编黄建伟教授担任执行主席和主持人。。。。。。。
联国进建作为去中心化方式训练共享机械进建模型的实用范例之一,,,,,在从前五年中因其;;;;;;な菀衷的个性受到了学界的宽泛钻研。。。。。。。然而,,,,,最近的大量工作质疑其;;;;;;な菀衷的主题主张,,,,,并提出梯度泄露攻击来沉建用于训练的原始数据。。。。。。。在微调大型说话模型的时期,,,,,能否;;;;;;な菀衷将至关沉要。。。。。。;;;;;;诖耍,,,,李葆春教授及其合作者聚焦于钻研关键性问题:联国进建能否;;;;;;な菀衷?????
李葆春教授及其合作者首先会商了现有文件中提出的一些不切现实的如果,,,,,如模型更新共享和梯度共享等价等,,,,,发现即便在这些如果下,,,,,梯度泄露攻击对原始数据的隐衷也仅仅组成了有限水平的威胁。。。。。。。通过在现实如果下春联国进建系统中的梯度泄露攻击进行综合评估,,,,,李葆春教授及其合作者系统地分析了梯度泄露攻击在各类配置下的有效性,,,,,并提出使得梯度攻击越发现实的前提前提,,,,,例如初始模型权沉的狭幼散布及训练早期的回转。。。。。。。进一步地,,,,,钻研提出了一种新的轻量级防御机造Outpost,,,,,在整个联国进建过程中针对功夫变动的隐衷泄露风险级别提供充分且自适应的;;;;;;。。。。。。。Outpost防御规划凭据Fisher信息矩阵在每次更新迭代时有选择地向梯度增长高斯噪声,,,,,其中噪声水平由每层权沉散布量化的隐衷泄露风险决定。。。。。。。同时,,,,,为了限度推算开销和训练机能降落,,,,,Outpost仅通过基于迭代的衰减来执行扰动。。。。。。。试验了局批注,,,,,在收敛机能、推算开销和预防梯度泄露攻击方面,,,,,Outpost能够比最先进的技术实现更好的衡量。。。。。。。最后,,,,,李葆春教授会商了在微调大型说话模型方面,,,,,梯度攻击对于隐衷泄露问题的影响。。。。。。。
李葆春教授的杰出分享发人沉思,,,,,在参加者与两位教授的积极会商中,,,,,涌现了很多有趣的问题。。。。。。。例如,,,,,数据隐衷泄露的界说;;;;;;梯度泄露攻击的现实性等。。。。。。。
*出格鸣谢李想对本文的贡献
