Uma razão fundamental pela qual a aprendizagem profunda teve um aumento no sucesso é o aprimoramento contínuo dos modelos com tamanhos de conjuntos de dados maiores. Em contraste, algoritmos clássicos de aprendizado de máquina, como regressão logística, param de melhorar a precisão em tamanhos de conjuntos de dados menores.
A partir de 2019, uma regra geral é que um algoritmo de aprendizagem profunda supervisionado geralmente alcançará um desempenho aceitável com cerca de 5.000 exemplos rotulados por categoria e irá corresponder ou exceder o desempenho humano quando treinado com um conjunto de dados contendo pelo menos 10 milhões de exemplos rotulados.
Uma pesquisa recente do Google mostrou as vantagens de aumentar o tamanho do conjunto de dados, mostrando um aumento logarítmico no desempenho em tarefas de visão à medida que os conjuntos de dados aumentam de tamanho para 300 milhões de imagens. Ainda mais, esta pesquisa sugere que modelos de capacidade mais alta requerem conjuntos de dados proporcionalmente maiores.
A separação de computação (DGX-1) e armazenamento (FlashBlade) também permite o dimensionamento independente de cada camada, evitando muitas complexidades de gerenciamento de ambos. Conforme o tamanho do conjunto de dados aumenta ou novos conjuntos de dados são considerados, um sistema de armazenamento escalável deve ser capaz de se expandir facilmente. Da mesma forma, se mais treinamento simultâneo for necessário, GPUs ou servidores DGX-1 adicionais podem ser adicionados sem preocupação com seu armazenamento interno.
Porque precisamos de FlashBlade?
Um hub de dados centralizado em uma arquitetura de aprendizado profundo aumenta a produtividade dos cientistas de dados e torna o dimensionamento e a operação mais simples e ágeis para o arquiteto de dados. O FlashBlade torna especificamente mais fácil construir, operar e expandir um sistema de IA pelas seguintes razões.
– Desempenho: com mais de 15 GB / s de largura de banda de leitura aleatória por chassi e até 75 GB / s no total, o FlashBlade pode oferecer suporte aos requisitos simultâneos de um fluxo de trabalho de IA ponta a ponta.
– Manuseio de arquivos pequenos: a capacidade de ler aleatoriamente arquivos pequenos (50 KB) a 10 GB / s de um único chassi FlashBlade (50 GB / s com 75 blades) significa que nenhum esforço extra é necessário para agregar pontos de dados individuais para torná-los maiores, arquivos amigáveis.
– Escalabilidade: comece com um sistema pequeno e depois adicione um blade para aumentar a capacidade e o desempenho à medida que o conjunto de dados aumenta ou os requisitos de rendimento aumentam.
– Suporte a objeto nativo (S3):</b Os dados de entrada podem ser armazenados como arquivos ou objetos.
– Administração simples: não há necessidade de ajustar o desempenho para arquivos grandes ou pequenos e não há necessidade de provisionar sistemas de arquivos.
– Atualização sem interrupções (NDU) tudo: atualizações de software e expansão de hardware podem acontecer a qualquer momento, mesmo durante o treinamento do modelo de produção.
– Facilidade de gerenciamento: Espaço-TI, nossa plataforma de gerenciamento e suporte baseada em nuvem, permite aos usuários monitorar o armazenamento de qualquer dispositivo e fornece suporte preditivo para identificar e corrigir problemas antes que eles se tornem impactantes. Com o Espaço-TI, os usuários podem se concentrar na compreensão dos dados e não na administração do armazenamento.
– Projetado para o futuro: projetado especificamente para flash para aproveitar facilmente as novas gerações de tecnologia NAND: densidade, custo e velocidade.
O desempenho de arquivos pequenos da camada de armazenamento é crítico, pois muitos tipos de entradas, incluindo texto, áudio ou imagens, serão armazenados nativamente como arquivos pequenos. Se a camada de armazenamento não lida bem com arquivos pequenos, uma etapa extra será necessária para pré-processar e agrupar as amostras em arquivos maiores. A maioria dos sistemas legados de armazenamento scale-out não são desenvolvidos para desempenho de arquivos pequenos.
O armazenamento construído em cima de discos giratórios, mas que dependem do SSD como uma camada de cache, fica aquém do desempenho necessário. Como o treinamento com lotes de entrada aleatórios resulta em modelos mais precisos, todo o conjunto de dados deve ser acessível com desempenho.
Os caches SSD oferecem alto desempenho apenas para um pequeno subconjunto de dados e são ineficazes para ocultar a latência de unidades giratórias.
Em última análise, o desempenho e a simultaneidade do FlashBlade significam que um cientista de dados pode fazer a transição rápida entre as fases de trabalho sem perder tempo copiando dados. FlashBlade também permitirá a execução de vários experimentos diferentes nos mesmos dados simultaneamente.
