1. 选择数据集

主要有2类:图片分类、文本分类

2. 选择模型

图像分类使用的模型
ResNet-8
EfficientNet
ShuffleNet v2
MobileNet v2
文本分类使用的模型
FastText
TextCNN

3. 评价指标

分类准确率(Accuracy):…………
通信成本(Communication Cost):每一轮联邦学习中客户端和服务器之间传输的参数数量。

4. 对比算法

LG-FedAvg
FML
FedKD
FedDistill
FedProto
FedTGP

5. 实验(图)

5.1 图1解释

x轴:横轴有四组方法- FedAvg(1000)- FedAvg(2000)- PBFL(1000)- PBFL(2000),括号中的 1000 和 2000 表示特征层/原型的维度设置。
y轴:每一轮联邦学习需要传输的参数数量(百万为单位)。
颜色:三种颜色代表分类任务的类别数量!

这张图主要想表达:PBFL 在类别通信优势非常明显(高维、多类别量);

5.2 图2解释

这张图是在说明 CPS(Class-wise Prototype Sparsification,按类别进行原型稀疏化)为什么能够降低通信量。
(a)表示没有使用 CPS时,第 2 类原型在各个客户端上的情况。
每一行 L0~L9 代表一个客户端;最下面的 G 表示聚合后的全局原型。
表达:服务器聚合时,只要某个客户端在某个维度上有非零值,全局原型就可能在该维度上保留信息。这样一来,最后的全局原型可能覆盖几乎全部 500 个维度。
(b)表示使用 CPS之后的情况。

(c)(d):ab是针对每个客户端的原型,而cd是针对全局原型

5.3 图3解释

这张图展示的是 TinyProto 一轮联邦学习如何压缩、聚合并使用类别原型。图中只是一个示意例子:5 个类别、每个原型 5 维、共有 M 个客户端。
①客户端本地训练;②生成并压缩本地原型;③上传压缩后的原型;④服务器按类别聚合;⑤服务器下发全局原型;客户端重构并用于下一轮训练。【TMD,这跟我之前看过的那篇Fedselect吗?】

5.4 图4解释

TinyProto-FT 把原型压缩到不同程度时,分类准确率会怎么变化?
做了3个数据集上的对应实验,横轴上的 50、150、250、350、450,表示每个类别原型保留多少个特征维度。论文默认原型维度是 500
红色虚线是表1中表现较好的对比基线准确率,用来参照 TinyProto-FT 是否优于已有方法。三张图里的 TinyProto-FT 曲线都高于各自的虚线,表示即使改变保留维度,它在这些设置下仍超过该基线。

5.5 图5解释

这张图比较的是:压缩原型的 TinyProto-FP,和改变特征维度的 FedProto,准确率有什么不同。左图是 CIFAR-10,右图是 CIFAR-100;纵轴都是分类准确率。

x轴的补充说明

6. 实验(表)

6.1 表1解释

5个数据集,每个数据集下面又有两个指标:准确率与通信成本。
上面那6个是对比算法,下面2个是:
后两行是论文提出的两种 TinyProto 版本:
①TinyProto-FP:TinyProto + FedProto
②TinyProto-FT:TinyProto + FedTGP

【TinyProto 的 CPS和 APS 方法可以同时改善通信效率和模型性能。】
为什么不和其它几个进行结合?

6.2 表2解释

这张表主要是来表明方法适配性的
①特征维度变化时,TinyProto 是否仍然有效?
②客户端数量增加时,TinyProto 是否仍然有效?
③数据异质性变化时,TinyProto 是否仍然有效?

6.3 表3解释

前面的表1、表2主要使用图像数据集;表3换成了 AG News 新闻文本数据集,因此是在测试 TinyProto 的跨数据模态能力。

6.4 表4解释

这张表就是模块消融实验,论文提出了2个模块,依次取消看效果

7. 补充一

那个,之前不是说客户端使用的模型可以不同吗,这论文中好像没有体现啊?

然后补充如下: