📌MAVFL论文速读
1. 标题
FL in Motion: Accelerating FL via Mobility-Aware Vehicle Selection and Sparse Training
动态环境下的联邦学习:通过移动性感知的车辆选择与稀疏训练加速联邦学习
①动态的车联网环境。
②主要研究“客户端选择”、“通信压缩(稀疏训练,只训练模型中的部分参数)”。
2. 摘要
①车辆在移动过程中容易断开与基站的连接,导致联邦学习训练慢、模型上传失败、通信开销大。
②提出 MAVFL,根据车辆位置和训练状态选择参与车辆,并采用稀疏训练减少需要传输的模型参数;同时联合优化车辆选择、稀疏比例和带宽分配。
3. 场景流程
① 车辆进入研究道路。
论文在一条长度为 1000 米的单向道路上模拟车辆移动,并将道路划分为 20 个区域。车辆由 SUMO 交通仿真器生成,实验中设置了 60 km/h 和 80 km/h 两种行驶速度。车辆会不断进入和离开路侧基站的通信覆盖范围。
② 每辆车保存自己的本地数据。
每辆车拥有一部分本地训练数据,原始数据始终保存在车辆本地,不上传给服务器。论文使用了两种实验任务:CIFAR-10 图像分类任务使用 ResNet-18 模型;Argoverse 车辆轨迹预测任务使用 LaneGCN 模型。
③ 服务器获取车辆的基本状态。
路侧基站服务器可以获取车辆在道路上的位置、速度和所在区域,并根据车辆与基站之间的距离估计通信条件。服务器还会关注车辆当前的训练损失,用来判断车辆是否适合参与本轮训练。
④ MAVFL 决定本轮训练方案。
MAVFL 根据车辆位置、移动状态、通信条件和训练情况,决定本轮选择哪些车辆参加训练,同时决定每辆车的模型稀疏比例和带宽分配。Lyapunov 优化和广义 Benders 分解主要负责这些调度决策,不直接训练图像分类模型或轨迹预测模型。
⑤ 服务器选择本轮参与车辆。
服务器从当前处于覆盖范围内的车辆中选择一部分车辆参与训练。选择时会考虑车辆是否可能在训练结束前离开覆盖范围,以及车辆的通信条件和训练价值。
⑥ 服务器下发当前全局模型。
服务器把当前的全局模型发送给被选中的车辆。对于 CIFAR-10 任务,下发的是 ResNet-18 模型;对于 Argoverse 任务,下发的是 LaneGCN 模型。发送的是模型参数,不是原始图片或车辆轨迹数据。
⑦ 服务器为每辆车分配稀疏比例。
不同车辆获得的稀疏比例可能不同。网络条件较好、停留时间较长的车辆可以保留更多模型参数;网络条件较差、即将离开覆盖范围的车辆则只保留部分重要参数,以减少传输数据量。
⑧ 车辆生成稀疏模型并进行本地训练。
车辆根据服务器分配的稀疏比例生成模型掩码,只保留部分模型参数,然后使用自己的本地数据进行训练。被掩盖的参数不参与更新,从而降低本地计算量。
⑨ 车辆上传稀疏模型更新。
本地训练结束后,车辆只向服务器上传保留下来的模型参数及其位置索引,而不是上传完整模型。服务器可以根据这些稀疏参数恢复车辆的模型更新。
⑩ 车辆移动可能导致上传失败。
如果车辆在本地训练或上传过程中驶出基站覆盖范围,它的模型更新可能无法成功到达服务器。只有仍处于覆盖范围内并成功上传的车辆,才会被计入本轮聚合。
⑪ 服务器聚合成功收到的模型。
服务器收集成功上传的车辆模型更新,并将它们聚合成新的全局模型。如果某些车辆上传失败,服务器不会等待这些车辆无限期返回,而是使用成功收到的模型进行更新;如果没有模型成功上传,则保留当前全局模型。
⑫ 进入下一轮并动态调整方案。
服务器进入下一轮训练时,会重新查看车辆的位置、速度、通信条件和训练损失,再重新选择参与车辆、分配稀疏比例和带宽。因此,每一轮的参与车辆、上传成功情况和模型压缩程度都可能不同。
⑬ 最终得到共享任务模型。
经过多轮“车辆选择—模型下发—稀疏训练—模型上传—服务器聚合”后,系统最终得到一个共享模型,用于 CIFAR-10 图像分类或 Argoverse 车辆轨迹预测。
注:
——>“稀疏模型”可以理解为把原来的大模型删减一部分,只保留部分参数,其余参数暂时不参与训练和传输。
4. 总结
这篇论文的主要创新点也是应用场景,考虑了车子的移动性,然后,主要是解决2个问题:①提出移动性感知的车辆选择方法;②提出自适应稀疏训练机制;
为了解决这两个问题,进行了联合建模,论文不是单独优化车辆选择,而是同时优化:选择哪些车辆;每辆车保留多少模型参数;如何分配无线带宽。






