11月10日-12日,西南财经大学、FATE开源社区、微众银行、中国计算机学会(CCF)成都分部共同举办的“可信联邦学习冬令营”在成都正式开营。为期三个月的冬令营中,来自全国各高校的学员们将结合自身研究背景和兴趣,在领域专家的指导下,围绕“可信联邦学习(TFL)”这一人工智能与隐私计算前沿领域展开研究实践,在可信联邦学习多目标优化、联邦大模型等多个研究方向上形成论文,在2024年2月开展研究成果评比,最终评选出优秀研究成果。
此次冬令营是继第一期可信联邦学习夏令营·北京清华站与第二期西安交通大学站之后的第三期活动,获得了清华大学、四川大学、中国石油大学、联通(上海)产业互联网有限公司等高校与机构的大力支持,吸引了来自西南财经大学、四川大学、西南交通大学、复旦大学、香港科技大学等12所高校的50余位硕士和博士生积极参与。
专家齐聚,启研究之智
在为期三天的开营培训阶段,加拿大工程院与皇家学院院士杨强、微众银行人工智能首席科学家范力欣、西南财经大学计算机与人工智能学院院长刘贵松、西南财经大学计算机与人工智能学院副院长杨新、西南交通大学计算机与人工智能学院副院长杨燕、清华大学智能产业研究院副教授刘洋等领域专家为学员们带来集中培训,传授自身多年研究经验与实践方法。此外,来自清华大学、浙江大学、复旦大学、华中科技大学、福州大学、四川大学、电子科技大学、西南交通大学、西南财经大学等知名高校与科研机构的教授担当导师,为学员进行全程研究指导。
西南财经大学党委常委、副校长桂富强在开幕致辞中表示,西南财经大学致力于发展财经科技创新,尤其是人工智能领域与金融的融合。希望同学们在学习与研究中“观人类的未来,也观自己的未来”。
加拿大工程院与皇家学院院士、微众银行首席人工智能官杨强在开幕致辞中指出,未来的世界是人和模型共存的世界,模型的制造、流通、管理是重要的议题。联邦学习符合人工智能的发展趋势,中国是联邦学习重要的发源地之一。希望同学们在此次冬令营中有所收获,未来成为联邦学习方向和AI领域的中坚力量。杨强教授也围绕《可信联邦学习与联邦大模型》的主题,为同学们分享了联邦学习相关理论框架、可信联邦学习与联邦大模型的前沿研究与应用等内容。
微众银行人工智能首席科学家范力欣做了《可信联邦多目标优化》主题报告,指出联邦学习不仅是一种技术,还是平衡性能、效率、安全等多方问题的系统性框架与解决方案。此外,范力欣博士还谈到了联邦学习中涉及的模型版权保护和激励机制等问题,鼓励财大同学结合交叉学科进行深入研究。
清华大学智能产业研究院副教授、FATE开源社区学术专委会主席刘洋分享了《基于知识流动的联邦学习框架》,介绍了框架的基本概念和工作原理,并详细讲解如何在不泄露原始数据的情况下,提升效率以满足实际应用的需求。
微众银行人工智能资深研究员康焱围绕“联邦大模型”的主题,分享了通过联邦迁移学习落地基础模型的现有研究工作的调研、归纳与分析。康焱博士指出,大型预训练的基础模型存在缺乏领域知识和知识容易过时等局限性,基于联邦迁移学习,可以将领域和行业知识融入基础模型,也可以迁移基础模型的通用知识助力领域模型的建立。
西南财经大学计算机与人工智能学院副院长杨新在《联邦持续学习》的主题报告中介绍了团队最新的研究成果,提出联邦持续学习是动态、现实的联邦学习,主要目标是服务器聚合时避免发生时空性灾难性遗忘。杨新教授希望推动建立起可信联邦学习在西南地区的学术社区,进一步促进联邦学习的整体发展。
四川大学讲师叶庆以《面向异构计算环境的去中心化联邦学习》为主题,分享了当前中心化联邦学习面临的一些挑战,尤其是异构计算环境对联邦学习性能的影响。对此,叶庆老师所在课题组以去中心架构为基础开展了通信优化、个性化联邦学习等相关方案研究,以应对联邦学习在异构计算环境中的挑战。
华中科技大学助理教授张晓今分享了《联邦学习理论》相关内容,对联邦学习中攻防理论进行了深入介绍,提出了如何在分布式环境中平衡隐私和效用,并讨论了如何达到最优权衡,攻防双方是否可学习,如何设计最优防御策略等问题。
联通(上海)产业互联网有限公司技术总监刘泽雷以《联邦参与者贡献评估》为主题,介绍了“基于多方参与的贡献度评估”的数据价值量化方法,并且用案例具体阐述了相关方法如何在实际应用中更好地激励各参与者积极参与,更好地发挥数据价值,推动数据生态构建。
中国石油大学(北京)副教授吕仲琪围绕《联邦推荐算法》,分享了关于联邦推荐相关算法的应用和研究进展。吕仲琪教授讲解了推荐系统对于数据共享、可信和隐私保护的需求,以及如何通过联邦学习提高推荐系统的可用性和安全性,探讨了联邦学习在推荐系统领域的后续研究方向。
此外,来自电子科技大学的朱公溪分享了他参与7月开营的清华AIR可信联邦学习夏令营中的研究成果和感想与收获。
集思广益,拓知识之源
在接下来的研究与实践阶段,学员们结合自身的研究背景和兴趣,在专家导师的指导下形成小组,确定研究主题,各研究小组的导师由联邦学习领域博士生担任,包括香港科技大学的杨柳、柴迪、耿栩、高大山、万晟、唐兴兴等,在2天时间内进行分组讨论,于11月12日进行了小组汇报与正式开题,并将在2024年2月形成论文,评选出优秀研究成果。
来自西南财经大学的博士留学生伟迪(Maitee)表示:“我来自老挝,此次冬令营活动让我有机会和各位老师、同学们一起交流idea(想法),希望以后能将联邦学习的相关研究带回老挝,有机会进行更多学术交流。”
来自西南交通大学的范欣怡表示:“在此次冬令营活动中收获了很多关于论文的想法,希望更多学长学姐、学弟学妹参与到夏令营、冬令营活动中来,一起交流,共同进步。”
本次可信联邦学习冬令营为众多学生提供了一个深入学习和探索联邦学习领域的交流平台,以促进人才培养,推动“产、学、研、用”跨领域合作与交流。期望未来有更多青年才俊加入人工智能与隐私计算事业,成为行业发展中坚力量。