Como oferecer vantagens
de relação preço/
performance com a
inovação da AWS em chips
Como os chips personalizados da AWS fornecem melhor performance
para as aplicações com custos mais baixos e em grande escala.
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Guias e Dicas
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Encontrar documentos
Prepare-se para as provas com trabalhos de outros alunos como você, aqui na Docsity
Pesquisar documentos Store
Os melhores documentos à venda: Trabalhos de alunos formados
Videoaulas
Prepare-se com as videoaulas e exercícios resolvidos criados a partir da grade da sua Universidade
Quiz
Responda perguntas de provas passadas e avalie sua preparação.
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Comunidade
Pergunte à comunidade
Peça ajuda à comunidade e tire suas dúvidas relacionadas ao estudo
Ranking universidades
Descubra as melhores universidades em seu país de acordo com os usuários da Docsity
Guias grátis
Os eBooks que salvam estudantes!
Baixe gratuitamente nossos guias de estudo, métodos para diminuir a ansiedade, dicas de TCC preparadas pelos professores da Docsity
Inovações com chips personalizados da AWS: Nitro System, Graviton, Trainium e Nitro SSD - , Esquemas de Técnicas Computacionais
As inovações com chips personalizados da amazon web services (aws), incluindo o aws nitro system, aws graviton, aws trainium e aws nitro ssd. Essas tecnologias são projetadas para fornecer melhor desempenho, menores custos e melhor relação preço/performance para aplicações em grande escala na nuvem. O aws nitro system é uma plataforma subjacente para instâncias modernas do amazon elastic compute cloud (amazon ec2) que fornece performance aprimorada, inovação mais rápida, escolha e segurança aprimorada. O aws graviton oferece a melhor relação preço/performance para uma ampla variedade de workloads em execução no amazon ec2. O aws trainium é projetado especificamente para o treinamento de alta performance de machine learning (ml) e oferece economias de até 50% no custo de treinamento em relação às instâncias comparáveis baseadas em gpu. O aws nitro ssd é um ssd de alta performance e baixa latência criado especificamente para workloads com muita e/s.
Tipologia: Esquemas
2024
1 / 15
Esta página não é visível na pré-visualização
Não perca as partes importantes!
Documentos relacionados
Pré-visualização parcial do texto
Baixe Inovações com chips personalizados da AWS: Nitro System, Graviton, Trainium e Nitro SSD - e outras Esquemas em PDF para Técnicas Computacionais, somente na Docsity!
Como oferecer vantagens
de relação preço/
performance com a
inovação da AWS em chips
Como os chips personalizados da AWS fornecem melhor performance
para as aplicações com custos mais baixos e em grande escala.
IN T R O D U Ç Ã O
Como encontrar o equilíbrio entre preço e performance com os chips personalizados da AWS À medida que os usuários finais exigem mais de suas aplicações e as workloads se tornam mais complexas, as organizações precisam de uma maneira de atender a três necessidades críticas: manter a expectativa de performance para praticamente todas as aplicações, manter a segurança dos dados dos clientes e seus próprios e manter-se dentro do orçamento de infraestrutura. É um desafio que pede um “ingrediente secreto” – uma solução que torne o alcance do equilíbrio certo entre preço e performance não só possível, como também fácil. As inovações com os chips personalizados da Amazon Web Services (AWS) são a solução para esta equação de preço/ performance. Os chips personalizados da AWS possibilitaram que organizações de todos os portes, desde as menores startups até as maiores corporações, inovassem para seus clientes de formas nunca antes imaginadas. Este e-book destaca quatro desafios comuns que as organizações modernas enfrentam e ilustra como a AWS, criada para ser a infraestrutura de nuvem mais segura, confiável e escalável, pode ajudar a superar esses desafios, permitindo que as organizações inovem com novos recursos e atendam às demandas do mercado, no presente e no futuro.
Segurança aprimorada: o Chip de Segurança Nitro fornece a plataforma de nuvem mais segura, com uma superfície de ataque minimizada. As funções de virtualização e segurança que são descarregadas em hardware e software dedicados. Além disso, um modelo de segurança bloqueada proíbe todos os acessos administrativos, incluindo o acesso de funcionários da Amazon, eliminando a possibilidade de erro humano e de adulteração.
A W S NIT R O S YSTE M
Desafio 1: Executar aplicações com segurança em grande escala A necessidade de inovar com mais rapidez – criar, migrar e executar mais tipos de workloads com segurança em grande escala e fazer isso com orçamentos de computação restritos – é a principal prioridade para as organizações atualmente. O AWS Nitro System , a plataforma subjacente para a maioria de nossas instâncias modernas do Amazon Elastic Compute Cloud (Amazon EC2), engloba três diferentes componentes: Cartões Nitro, que descarregam e aceleram a E/S para as funções, o que aumenta a performance do sistema; o Chip de Segurança Nitro, que apresenta uma superfície de ataque minimizada com funções de virtualização e segurança que são descarregadas em hardware e software dedicados; e o Hipervisor Nitro, um hipervisor leve que gerencia a alocação de memória e CPU e fornece performance que é praticamente indistinguível da de bare metal. Em um nível mais amplo, o AWS Nitro System permite a inovação com mais rapidez, fornecendo benefícios que incluem: Performance aprimorada: com o AWS Nitro System, as instâncias do Amazon EC2 podem oferecer uma performance de throughput 15% maior em algumas workloads em comparação com outros provedores de nuvem importantes que executam a mesma CPU. Os Cartões Nitro dedicados proporcionam redes de alta velocidade, Amazon Elastic Block Store (Amazon EBS) de alta velocidade e aceleração de E/S. Não precisar reter recursos para o software de gerenciamento significa mais economia e performance para os usuários finais. Inovação mais rápida: o AWS Nitro System oferece a escolha e a possibilidade de trazer mais workloads para a nuvem, permitindo que você aumente o ritmo da inovação. Com o AWS Nitro System, as funções são modularizadas, dividindo a arquitetura do EC2 em blocos menores ao descarregar as funções de virtualização em hardware dedicado. Esses blocos podem ser montados de várias maneiras, o que oferece flexibilidade para criar e fornecer instâncias do EC2 rapidamente com um número cada vez maior de opções de computação, armazenamento, memória e rede.
“Proteger e processar informações altamente confidenciais,
como dados financeiros, proprietários, de saúde e
de identidade é um dos principais casos de uso da
infraestrutura de criptografia da Evervault. No cerne da
Evervault está nosso Evervault Encryption Engine (E3),
que realiza todas as operações de criptografia e lida com
as chaves de criptografia para nossos clientes. O E3 se
baseia no AWS Nitro Enclaves, que fornece um ambiente de
computação isolado, fortalecido e altamente restrito para
o processamento de dados confidenciais. Basear o E3 no
Nitro Enclaves significa que podemos fornecer segurança
por meio da declaração criptográfica e uma base robusta
para todos os outros produtos e serviços da Evervault.
Sem custo adicional, o Nitro Enclaves nos permite fornecer
um serviço altamente seguro, econômico e escalável para
nossos clientes, um serviço que é capaz de realizar milhares
de operações criptográficas por segundo.”
Shane Curran, fundador e CEO da Evervault
Explore mais histórias de clientes ›
“Fizemos uma análise comparativa de nossas workloads
de pesquisa baseadas em Java nas instâncias Im4gn/
Is4gen do Amazon EC2 com tecnologia AWS Graviton2. As
instâncias Is4gen menores oferecem performance similar
comparadas às instâncias I3en maiores, apresentando
uma oportunidade de redução significativa do TCO (custo
total de propriedade). Também vimos uma redução
significativa de 50% na latência para as consultas ao
migrar nossas workloads das instâncias I3 para as Im4gn,
gerando um benefício significativo de 40% na relação
preço/performance. Migrar para instâncias baseadas no
Graviton2 foi fácil, levando duas semanas para a conclusão
da análise comparativa. Estamos muito contentes com
nossa experiência e estamos ansiosos para executar essas
workloads no ambiente de produção nas instâncias Im4gn
e Is4gen.”
Abhay Bansal, vice-presidente de engenharia da Sprinklr
Leia mais sobre a Sprinklr e os processadores AWS Graviton ›
Explore mais histórias de clientes ›
A W S NI T R O SS D
Desafio 3: Aumentar a performance de armazenamento para workloads com muita E/S Por décadas, os discos rígidos (HDDs) tradicionais foram os principais dispositivos para o armazenamento em blocos. Atualmente, os HDDs ainda têm seu lugar, mas a maioria do armazenamento de alta performance é baseada em unidades de estado sólido (SSDs) modernas. A AWS definiu uma meta de permitir que as workloads com muita E/S (bancos de dados relacionais, bancos de dados NoSQL, data warehouses, mecanismos de pesquisa e mecanismos de análise) sejam executadas mais rapidamente com performance mais previsível. Essa meta foi alcançada com o lançamento do AWS Nitro SSD, um SSD de alta performance e baixa latência criado especificamente para workloads com muita E/S. Os AWS Nitro SSDs fornecem latência de E/S 60% mais baixa em comparação com os SSDs comerciais. Eles fornecem atualizações de firmware mais rápidas para melhorar a confiabilidade sem tempo de inatividade da instância. E todos os dados armazenados são criptografados em repouso com as chaves temporárias AES-256. Com os AWS Nitro SSDs, as aplicações com muita E/S podem ter performance mais rápida e mais previsível. Em seguida, veremos como as soluções da AWS estão simplificando o ML para torná-lo mais compreensível e acessível para as organizações de todos os tipos e portes.
A W S T R A INIU M E A W S IN F E R E N TI A
Desafio 4: Aumentar verticalmente a escala de machine learning e, ao mesmo tempo, mitigar os custos de infraestrutura Do aprimoramento das experiências do cliente ao aumento da produtividade e à redução de custos, o ML vem sendo adotado por muitas organizações. Embora o ML venha comprovando ser uma ferramenta inestimável para a resolução de problemas empresariais e para a otimização de processos, criar, implantar e otimizar modelos de ML pode ser um desafio complexo e caro. Em resposta à demanda por aplicações melhores e experiências personalizadas, os cientistas de dados e engenheiros de ML estão criando modelos de aprendizado profundo maiores e mais complexos. Modelos de linguagem grandes (LLMs) com mais de 100 bilhões de parâmetros são cada vez mais predominantes. Embora esses modelos de inteligência artificial generativa revelem vários novos casos de uso, como resumo de textos, geração de imagens, geração de código e muito mais, treinar esses modelos sem deixar de atingir as metas de performance e precisão e fazer com que eles sejam executados com eficiência em ambientes de produção não só é tecnicamente desafiador, como também é caro e consome muita energia. A boa notícia é que muitas dessas barreiras podem ser superadas com inovações na nuvem. A AWS oferece duas soluções que eliminam as barreiras de custo e performance para a adoção de ML: o AWS Trainium e o AWS Inferentia.
Como reduzir os custos de inferência na nuvem Os aceleradores do AWS Inferentia foram projetados pela AWS para fornecer alta performance e o menor custo no Amazon EC2 para aplicações de inferência de ML. A primeira geração de aceleradores do AWS Inferentia habilita as instâncias Inf1 do Amazon EC2 , que fornecem um throughput 2,3 vezes mais alto e um custo até 70% mais baixo por inferência do que as instâncias comparáveis do Amazon EC2 baseadas em GPU. O acelerador AWS Inferentia2 foi criado especificamente para implantar modelos de ML com mais de 100 bilhões de parâmetros. Ele proporciona um grande avanço em performance e recursos, fornecendo um throughput 4 vezes mais alto e latência até 10 vezes mais baixa em comparação com a primeira geração do AWS Inferentia. As instâncias Inf2 do Amazon EC2 baseadas no AWS Inferentia2 foram criadas para fornecer alta performance com o menor custo no Amazon EC2 para suas aplicações de IA generativa. As instâncias Inf2 fornecem throughput 3 vezes mais alto e latência 8 vezes mais baixa do que as instâncias comparáveis do EC2 baseadas em GPU. Elas oferecem uma relação preço/performance 70% melhor do que as instâncias comparáveis baseadas em GPU no Amazon EC2. Elas são otimizadas para implantar modelos cada vez mais complexos, como LLMs e transformadores de visão, em grande escala. O SDK do AWS Neuron ajuda os desenvolvedores a treinar modelos no AWS Trainium e a implantar modelos nos aceleradores do AWS Inferentia. Ele se integra de forma nativa com frameworks, como PyTorch e TensorFlow, para que você possa continuar usando seus fluxos de trabalho existentes em execução nas instâncias Inf1 ou Inf2. O Amazon SageMaker oferece um fluxo de trabalho completo e totalmente gerenciado que facilita o aproveitamento dessas instâncias e reduz o tempo e o custo de desenvolvimento.
Como tornar o treinamento de modelos de machine learning econômico Muitas equipes de desenvolvimento estão limitadas por orçamentos fixos de treinamento de ML. Isso coloca um teto no escopo e na frequência do treinamento necessário para melhorar seus modelos e suas aplicações. O AWS Trainium, o acelerador de ML otimizado criado especificamente para o treinamento de aprendizado profundo de alta performance, resolve esse desafio ao fornecer o treinamento de ML na nuvem mais econômico. As instâncias Trn1 do Amazon EC2 , com tecnologia dos aceleradores AWS Trainium , foram criadas especificamente para o treinamento de alta performance (DL) e oferecem economias de até 50% no custo de treinamento em relação às instâncias comparáveis baseadas em GPU. As instâncias Trn1 do EC2 fornecem a mais alta performance no treinamento de aprendizado profundo de modelos populares de processamento de linguagem natural (PLN) na AWS. As instâncias Trn1/Trn1n são as primeiras instâncias do EC2 com até 1.600 Gbps de largura de banda da rede do Elastic Fabric Adapter (EFA). Elas foram implantadas nos EC2 UltraClusters, que permitem aumentar a escala verticalmente para 30.000 aceleradores do AWS Trainium, que estão interconectados com uma rede sem bloqueio em escala de petabits para fornecer até 6,3 exaflops de computação. É possível usar instâncias Trn1 do EC2 para treinar LLMs, modelos de difusão e modelos de recomendador em um amplo conjunto de aplicações, como resumo de textos, reconhecimento de fala, geração de imagens, recomendações e detecção de fraudes. Com o SDK do AWS Neuron, é possível começar a usar as instâncias Trn1 do EC usando seus fluxos de trabalho existentes e código em frameworks de ML populares, como PyTorch e TensorFlow. Novamente, o fluxo de trabalho completo e totalmente gerenciado do Amazon SageMaker permite que você utilize essas poderosas instâncias de ML de modo fácil e econômico.
A Money Forward, Inc. fornece a empresas e indivíduos
uma plataforma financeira aberta e justa.
“Lançamos um serviço de chatbot de IA de larga escala
nas instâncias Inf1 do Amazon EC2 e reduzimos nossa
latência de inferência em 97% em relação às instâncias
comparáveis baseadas em GPU e também reduzimos os
custos. Conforme continuamos ajustando nossos modelos
personalizados de NLP periodicamente, reduzir os tempos
de treinamento e os custos também é importante. Com
base na nossa experiência na migração bem-sucedida
da workload de inferência nas instâncias Inf1 e nosso
trabalho inicial nas instâncias Trn1 do EC2 baseadas
no AWS Trainium, esperamos que as instâncias Trn
agreguem valor adicional na melhoria da performance
e dos custos de ML de ponta a ponta.”
Takuya Nakade, CTO da Money Forward, Inc.