Dois

Scientific Reports volume 13, Artigo número: 11658 (2023) Citar este artigo

173 Acessos

Detalhes das métricas

O aprendizado federado permite que vários nós executem cálculos locais e colaborem para concluir tarefas de aprendizado de máquina sem centralizar os dados privados dos nós. No entanto, as frequentes operações de upload/download de gradientes de modelo exigidas pela estrutura resultam em altos custos de comunicação, que se tornaram o principal gargalo para a aprendizagem federada à medida que os modelos profundos aumentam, prejudicando seu desempenho. Neste artigo, propomos um algoritmo de compressão quantizada acumulada de duas camadas (TLAQC) que reduz efetivamente o custo de comunicação do aprendizado federado. A TLAQC consegue isso reduzindo o custo da comunicação individual e o número de rodadas de comunicação global. TLAQC introduz um método de quantização revisado chamado RQSGD, que emprega correção de valor zero para mitigar fenômenos de quantização ineficazes e minimizar erros médios de quantização. Além disso, o TLAQC reduz a frequência de uploads de informações de gradiente por meio de um limite adaptativo e um mecanismo de autoinspeção de parâmetros, reduzindo ainda mais os custos de comunicação. Ele também acumula erros de quantização e retém deltas de peso para compensar a perda de conhecimento do gradiente. Através da correção de quantização e acumulação de duas camadas, o TLAQC reduz significativamente a perda de precisão causada pela compressão da comunicação. Resultados experimentais demonstram que o RQSGD atinge uma incidência de quantização ineficaz tão baixa quanto 0,003% e reduz o erro médio de quantização para 1,6 × \({10}^{-5}\). Comparado ao FedAVG de precisão total, o TLAQC compacta o tráfego carregado em apenas 6,73%, aumentando a precisão em 1,25%.

Com os rápidos avanços nas tecnologias emergentes, como a Internet das Coisas (IoT) e a computação de ponta, o volume de dados gerados na borda da rede tem crescido exponencialmente. Uma quantidade significativa de dados valiosos é distribuída entre diferentes dispositivos terminais. Os métodos tradicionais de aprendizagem profunda normalmente requerem armazenamento central de dados de treinamento, o que representa desafios para alcançar a integração centralizada de dados em ambientes naturais. Esta situação leva à formação de “ilhas de dados” e cria barreiras entre as fontes de dados. Em 2016, o Google introduziu o conceito de aprendizagem federada projetado especificamente para dispositivos móveis. A aprendizagem federada1,2 surgiu como uma solução para resolver, até certo ponto, o problema das ilhas de dados. McMahan et al.3 descreveram a estrutura de aprendizagem federada para tarefas de aprendizagem profunda e propuseram o conhecido algoritmo FedAVG (Federated Averaging Algorithm). O principal aspecto do aprendizado federado é que ele elimina a necessidade de compartilhar dados privados entre nós, concedendo aos nós controle total sobre seus dados armazenados localmente. Em uma arquitetura típica de servidor de trabalho4,5,6,7,8, os nós de trabalho carregam suas informações de treinamento de modelo local (como gradientes ou atualizações de parâmetros) para um servidor central. O servidor utiliza as informações carregadas dos nós trabalhadores para atualizar o modelo global usando um algoritmo de agregação.

No entanto, por um lado, a aprendizagem federada requer um grande número de comunicações entre nós para alcançar uma boa precisão do modelo; Por outro lado, com o aumento contínuo da escala da aprendizagem profunda, o número de parâmetros do modelo explodiu, o que aumenta drasticamente o custo por comunicação da aprendizagem federada. Limitada pelas condições da rede e pela largura de banda, a limitação do custo de comunicação impede que muitos nós periféricos participem na aprendizagem federada. O alto custo de comunicação tornou-se o principal gargalo da aprendizagem federada. Para enfrentar o desafio dos altos custos de comunicação na aprendizagem federada, os pesquisadores propuseram vários métodos de compressão de comunicação destinados a reduzir a sobrecarga de comunicação tanto na aprendizagem federada quanto na aprendizagem de máquina distribuída. Esses métodos visam aliviar a carga de comunicação, mantendo ou melhorando o desempenho geral do processo de aprendizagem federado.