近日 ，，，，，，我院黄铠教授团队在国际电气与电子工程师协会（Institute of Electrical and Electronics Engineers）期刊Transactions on Neural Networks and Learning Systems（TNNLS）颁发题为“Deep Learning Model Compression with Rank Reduction in Tensor Decomposition”的文章。。。。。。。。该工作由来自z6首页、香港中文大学（丽江）、丽江大数据钻研院的四位作者合作实现 ，，，，，，为人为智能模型轻量化部署作出了沉要贡献。。。。。。。。
论文提出了一种新的模型压缩步骤。。。。。。。。钻研团队提出的基于低秩张量分化的对偶模型训练步骤 ，，，，，，设计了自适应秩的步骤 ，，，，，，使得在不严沉损失模型精度的前提下 ，，，，，，极大地提升压缩率和推算效能。。。。。。。。文中分析了该步骤的收敛性和推算存储效能。。。。。。。。团队在MNIST、CIFAR-10和ImageNet数据集对于LeNet、VGG、ResNet、EfficientNet和RevCol的尝试中压缩率和模型推理速度均超过了通常的张量分化步骤 ，，，，，，且了局与理论了局相符。。。。。。。。
论文链接:
https://ieeexplore.ieee.org/document/10321737
期刊介绍
TNNLS前身是IEEE Transactions on Neural Networks ，，，，，，由 IEEE于1990年创办 ，，，，，，目前占有全球150多位编委。。。。。。。。2023年TNNLS最新的影响因子为10.4 ，，，，，，在JCR期刊COMPUTER SCIENCE类中排名为3/54 ，，，，，，目前位列中科院期刊分区一区。。。。。。。。该期刊属人为智能、机械进建、推算机科学的交叉学科领域 ，，，，，，重要刊发神经网络和进建系统有关的最新钻研成就 ，，，，，，是IEEE推算智能学会的旗舰刊物 ，，，，，，神经网络和进建系统方面的国际顶级期刊。。。。。。。。
钻研内容
近几年 ，，，，，，深度进建在各个领域获得了巨大成功 ，，，，，，然而训练深度进建模型的开销依然依附海量的参数支持 ，，，，，，这为部署深度进建模型到轻量化边缘设备带来难题 ，，，，，，也给联国进建的带宽需要带来压力。。。。。。。。深度进建模型压缩技术是解决该问题的潜在步骤 ，，，，，，低秩张量分化是一种有效的步骤。。。。。。。。然而 ，，，，，，现有的基于张量分化的压缩步骤有两点缺点。。。。。。。。1：模型训练没有低秩约束 ，，，，，，这导致低秩张量分化会使得模型迷失大量信息；；；；；；；；2：秩-正确度难以衡量 ，，，，，，现有步骤往往必要预设秩作为超参数 ，，，，，，这往往成为模型压缩的额表开销。。。。。。。。
为相识决以上问题 ，，，，，，钻研团队提出了一种对偶模型训练步骤 ，，，，，，对深度模型训练进行低秩约束 ，，，，，，并自适应地选择张量的秩 ，，，，，，预防了模型压缩中繁沉的超参数搜索。。。。。。。。
钻研团队提出的对偶模型训练步骤 ，，，，，，通过训练未压缩模型-减秩-训练低秩模型的循环训练步骤 ，，，，，，使得深度模型在低秩空间中 ，，，，，，尽可能占有较低的秩。。。。。。。。
钻研团队在MNIST、CIFAR-10和ImageNet数据集上 ，，，，，，利用LeNet、VGG、ResNet、EfficientNet和RevCol网络进行压缩尝试。。。。。。。。对比其它基于张量分化的步骤 ，，，，，，该步骤有较大提升。。。。。。。。
消蚀尝试中 ，，，，，，钻研团队发现卷积神经网络的秩 ，，，，，，在进出通路方向上 ，，，，，，可能急剧地降低超过一半以上。。。。。。。。这说了然低秩约束模型训练的有效性。。。。。。。。
钻研结论
在本文中 ，，，，，，钻研团队提出了一种新鲜的对偶练步骤来解决低秩深度神经网络压缩中存在的两个挑战。。。。。。。。提出的步骤将DNN模型显式约束在低秩空间中 ，，，，，，以通过张量分化以及迭代和自适应秩降低实现最幼精度降落和高压缩比。。。。。。。。自适应秩降低显着削减了低秩压缩中的超参数搜索。。。。。。。。压缩模型的推理功夫和存储成本要低得多。。。。。。。。对于CIFAR-10数据集上的VGG-16 ，，，，，，文中的压缩模型提高了0.88%的正确度 ，，，，，，存储削减10.41倍 ，，，，，，加快6.29倍。。。。。。。。对于ImageNet数据集上的ResNet-50 ，，，，，，z6首页压缩模型使得存储削减2.36倍 ，，，，，，加快2.17倍。。。。。。。。钻研团队为所提出规划的收敛性提供了理论保障 ，，，，，，并分析了功夫和空间复杂度。。。。。。。。使用文中的步骤进行训练期间 ，，，，，，联国进建系统中的通讯成本显着降低。。。。。。。。该规划削减了13.96倍的通讯开销。。。。。。。。
尝试了局批注 ，，，，，，迭代降阶规划在压缩率、模型验证精度和FLOPs降落率方面优于其他张量分化压缩步骤 ，，，，，，并且合用于分歧的数据集和网络。。。。。。。。
作者简介
第一作者戴维是香港中文大学（丽江）理工学院博士生 ，，，，，，师从黄铠教授。。。。。。。。他在香港中文大学（丽江）获得学士学位 ，，，，，，在美国明尼苏达大学双城校区获得硕士学位。。。。。。。。他的重要钻研方向为人为智能、深度进建、联国进建。。。。。。。。博士论文专一于高效深度进建技术 ，，，，，，蕴含模型压缩、深度进建加快、数据剪枝与异常检测。。。。。。。。
通讯作者黄铠教授 ，，，，，，伯克利加州大学推算机科学博士。。。。。。。。；；；；；；；祁淌谠诿拦霞哟笥肫斩纱笱谓潭嗄 ，，，，，，2018年参与香港中文大学（丽江）担任校长讲座教授 ，，，，，，兼任z6首页高机能智能推算中心主任。。。。。。。。他在推算机结构、并行处置、云推算与物联网方面著述等身 ，，，，，，桃李满全国。。。。。。。。被评比入全球2%顶级科学家。。。。。。。。他颁发了10部专著 ，，，，，，以及300多篇学术论文 ，，，，，，被Google Scholar引用超过25000次。。。。。。。。2005年获中国推算机学会CCF首届海表卓越贡献奖 ，，，，，，2012年获世界云推算大会（CloudCom）平天生就奖。。。。。。。。2019年获全球华人影响力盛典宣告的建国70年科技创新成就奖 ，，，，，，2020年团队获得吴文俊人为智能天然科学奖。。。。。。。。
其他作者樊继聪现为香港中文大学（丽江）数据科学学院助理教授。。。。。。。。他于2018年在香港城市大学电子工程系获得博士学位 ，，，，，，并别离于2013年和2010年在北京化工大学获得节造科学与工程硕士学位和自动化学士学位。。。。。。。。在参与香港中文大学（丽江）之前 ，，，，，，他是康奈尔大学的博士后。。。。。。。。他还曾在美国威斯康星大学麦迪逊分校和香港大学担任钻研职位。。。。。。。。他的钻研方向是人为智能和机械进建 ，，，，，，他在矩阵/张量步骤、聚类算法、异常/离群点/故障检测、深度进建和推荐系统等方面做了大量钻研工作。。。。。。。。他的钻研成就曾在多个驰名学术期刊与驰名国际会议上颁发 ，，，，，，如IEEE TSP/TNNLS/TII、KDD、NeurIPS、CVPR、ICLR和AAAI等。。。。。。。。他是IEEE高级会员 ，，，，，，目前担任期刊Neural Processing Letters的副编纂 ，，，，，，主持国度天然科学基金青年项目一项、面上项目一项。。。。。。。。
其他作者缪一铭 ，，，，，，香港中文大学（丽江）数据科学学院钻研助理教授 ，，，，，，兼任z6首页高机能智能推算中心副钻研员 ，，，，，，IEEE会员 ，，，，，，丽江市高档次人才。。。。。。。。近五年重要从事数据驱动的通讯、边缘推算与物联网的钻研 ，，，，，，陆续掌管承担了多项国度、省部、市厅级科研项目。。。。。。。。在上述钻研领域颁发论文30余篇 ，，，，，，蕴含8篇IEEE Trans./Journal论文。。。。。。。。2016年获得第七届EAI国际云推算会议最佳学生论文奖 ，，，，，，2021年获得MDPI《Big Data and Cognitive Computing》特刊封面论文奖。。。。。。。。现担任《IEEE Transactions on Industrial Informatics》《IEEE Transactions on Intelligent Transportation System》《IEEE Wireless Comm.》《IEEE Network》《IEEE Trans. Big Data》《ACM Computing Surveys》等多个SCI期刊的审稿人 ，，，，，，曾任国际会议IWCMC 2022 & 2021的钻研会主席 ，，，，，，TRIDENTCOM 2017的网络主席和CloudComp 2016的本地主席。。。。。。。。
* 有关信息由论文作者提供
