1. 选择数据集

MNIST:手写数字图像数据集,用于验证较简单的图像分类任务。
CIFAR-10:包含 10 类彩色图像的数据集,用于验证更复杂的图像分类任务。

2. 选择模型

MNIST 使用一个两层神经网络,隐藏层大小为 100,适合手写数字这种较简单的图像分类任务。
CIFAR-10 使用 LeNet-5,包含两层卷积层和三层全连接层,用于处理更复杂的彩色图像分类任务。

3. 评价指标

训练损失(Training Loss):用来衡量模型在训练数据上的误差。损失越低,说明模型拟合效果越好。
测试准确率(Testing Accuracy):用测试集判断模型分类是否正确。准确率越高,说明全局模型性能越好。
收敛速度:观察模型达到较高准确率或较低损失所需要的时间和训练轮数。收敛越快,说明联邦学习效率越高。

4. 对比算法

FedAvg、FedCS

5. 实验(图)

5.1 图1解释

这张图是论文的系统场景示意图,作者画它的主要目的,是先说明 ESAFL 在什么车联网环境中运行:一个 RSU 位于道路旁边,周围有多辆不断移动的车辆,虚线椭圆表示 RSU 的通信覆盖范围,车辆通过无线链路与 RSU 进行模型交互。

5.2 图2解释

这张图表示的是论文中的联邦学习运行流程图,分成5步:
→ 参数传输
→ 选择车辆
→ 车辆本地训练
→ 上传本地模型
→ RSU 聚合全局模型

5.3 图3解释

这张图是用来说明 ESAFL 的时间调度和半异步聚合过程的,横轴 t 表示时间,右边4段虚线表示不同的全局聚合时刻,也可以理解为每个联邦学习周期的时间边界。
图中把车辆分成 Layer-1 到 Layer-4 四层(4组车辆)。

橙色部分表示车辆正在进行本地模型训练,蓝色部分表示车辆正在上传训练好的模型。Layer-1 中的车辆训练和上传速度较快,所以几乎每一轮都能参与;Layer-2 的车辆大约每两轮参与一次;Layer-3 和 Layer-4 的车辆更慢,因此参与频率更低,上传过程也可能跨越多个聚合周期。

5.4 图4解释

统计很多辆车完成“本地训练+上传模型”分别需要多长时间。【横轴表示车辆需要的时间,纵轴表示这个时间段内有多少车辆。】
从图上看,大部分车辆大约需要 2秒,还有一些车辆需要 5到6秒,少数车辆需要 8秒左右。也就是说,不同车辆的训练和上传速度差别很大,有的快,有的慢。

5.5 图5解释

这张图是在比较 FedAvg、FedCS 和 ESAFL 在 MNIST 数据集上的训练效果。
左边图看的是测试准确率。横轴是训练轮数,纵轴是模型在测试集上的准确率。三条线一开始都快速上升,说明模型经过前几百轮训练后就学到了大部分内容。最后,FedAvg 和 ESAFL 的准确率都接近 97%左右,而 FedCS 稍低一些,说明 ESAFL 最终能够达到和 FedAvg 相近、并且优于 FedCS 的准确率。
右边图看的是训练损失。横轴仍然是训练轮数,纵轴是训练错误大小。损失越低越好。三种方法的损失都会随着训练进行而下降,说明模型逐渐学会了分类任务。最后,FedAvg 和 ESAFL 的损失较低,FedCS 的损失相对更高,说明 FedCS 的训练效果稍差。

5.6 图6解释

与上面那相似,但使用的是:CIFAR-10 数据集

5.7 图7解释

这张图和前面的图不同,横轴不是训练轮数,而是实际经过的时间,单位是秒。
它想回答的是:在相同的时间内,哪种方法能更快把模型训练好?

为什么要画这张图呢,与前面那两张有什么区别?

5.8 图8解释

与上一张图一样,只是换成了: CIFAR-10 数据集

5.9 图9解释

研究:ESAFL 中的参数 λ 取不同数值时,模型效果有什么变化。

下面详细解释一下这参数的意思吧
λ 是 ESAFL 中用来控制“模型新旧程度对聚合权重影响有多大”的参数。

6. 实验(表)

6.1 表1解释

符号说明表