O documento discute estratégias para migração de dados para a AWS, incluindo serviços como AWS Transfer Family para transferência de arquivos, AWS DataSync para mover dados entre ambientes on-premises e AWS, e AWS Snow Family para transferência offline de grandes quantidades de dados.
3. Simplifique as migrações de dados e aplicativos
A AWS fornece uma variedade de serviços de migração de dados compatíveis com
as suas necessidades de migração
Transferencia de
arquivos para Amazon
S3 or Amazon EFS
using SFTP, FTPS, or
FTP
AWSTransfer
Family
AWS
DataSync
Mover dados entre on-
premises e AWS, e
também entre serviços
de Storage da AWS
AWS Storage
Gateway
Armazenamento em
nuvem híbrida para
acesso local a
armazenamento em
nuvem virtualmente
ilimitado
AWS Snow Family
Transferência offline
de grandes
quantidades de dados
para dentro e fora da
AWS,
independentemente da
conectividade de rede
CloudEndure
Migration
Simplifica e automatiza
a migrações de larga
escala a partir do fisico,
virtual, and cloud para
AWS
AWS Database
Migration Service
Migre dados para e a
partir da maior parte
dos bancos de dados
comerciais e open
4. Qual forma de transferir os dados, online ou offline?
Online Off-line
Disponibilidade de dados na
AWS medida em dias
Largura de banda de rede
limitada ou instável
A largura de banda é confiável e
os dados estão online e prontos
para serem movidos
Precisa migrar dados mais
rápido
AWS
Transfer Family
AWS
DataSync
CloudEndure
Migration
AWS Database
Migration Service
(AWS DMS)
AWS Storage
Gateway
AWS Snow Family
Os dados podem ficar offline
durante a movimentação
Pode implantar uma conexão
Direct Connect (DX)
rapidamente
5. Dados de produção Dados de backup e archive
Que tipo de dados você está movendo?
Mova os dados o mais rápido possível Otimize os custos de movimentação
• Dados essenciais para concluir tarefas e
operações comerciais diárias
• Informações que devem estar prontamente
disponíveis para acesso frequente e eficiente
• Os dados de arquivamento não estão mais ativos
nem são necessários para os negócios diários e
podem ser movidos para um local de
armazenamento separado para retenção a longo
prazo
• Backup é o processo de criação de uma cópia dos
dados do sistema que pode ser usada para
recuperação caso os dados originais sejam perdidos
ou corrompidos
6. AWS
Transfer Family
AWS
DataSync
T R A N S F E R Ê N C I A S R E G U L A R E S MIGRAÇÃO ONLINE DE DADOS DIVERSOS
Movendo dados de produção para entrega valor
CASO
DE
USO
S
E
RV
IÇO
S
Migrate
unstructured data
into AWS from on-
premises or
between regions
Removes
management of
SFTP/FTPS/ FTP
servers
Frequent B2B
transfers of small
files from
external or 3rd
parties (eg: bank
statements)
Reliable network
bandwidth available
to move data
Os dados na
AWS
permitem:
Machine
Learning
Analytics
AWS
CloudEndure
Migration
Migrate structured
data to AWS from
on-premises –
physical or virtual
Migrate data across
regions and all
private and public
clouds
AWS Database
Migration Service
(AWS DMS)
Migrate or replicate
from commercial
databases
Continuous
replication keeping
source and target
databases in sync
AWS Storage
Gateway
NUVEM HÍBRIDA
Access data
stored in AWS
from on-
premises
applications
Applications and
People continue
to access data
Data Lake or
Database
AWS Snow
Family
Migrate data from
locations with
limited bandwidth
Offline data
migration to
AWS
M I G R A Ç Ã O D E D A D O S O F F L I N E
7. MIGRAÇÃO ONLINE ACESSO HÍBRIDO
Movendo dados de Backup e archive para reduzir custos
CASO
DE
USO
S
E
RV
IÇO
S
AWS Snow
Family
AWS Storage
Gateway
Backup de uso
pouco
frequente e
armazenamento
de arquivos
AWS
Amazon Simple
Storage Service
Glacier
SOLUÇÕES DE PARCEIROS
Managed migration
and other services
that fills IT skills gaps
and expands
solutions
AWS-integrated
storage solutions for
backup & restore,
disaster recovery, and
data archive
Conectar aplicativos
locais, mover backups
de arquivos e bancos
de dados ou arquivar
dados para
armazenamento em
nuvem
Transport terabytes
of data and use
multiple devices in
parallel or clustered
together to transfer
data into AWS
Archive large amounts
of data regardless of
limited bandwidth, and
avoid needing to lease
additional bandwidth
MIGRAÇÃO OFFLINE
AWS
DataSync
Archive large amounts
of data quickly using
network bandwidth to
free on-premises
storage capacity
Schedule incremental
transfers of cold data
between AWS
Storage services
Use the native
snapshot scheduler to
make point in time
copies of local
volumes to store in
AWS
9. Transferências de arquivos B2B simples e
contínuas para o Amazon S3 e o Amazon
Elastic File Service (EFS) usando SFTP, FTPS e
FTP
AWS Transfer Family
10. AWS Transfer Family
Migração perfeita
dos fluxos de trabalho
existentes
Integração nativa
com os serviços da AWS
Simples
usar
Custo efetivo
Totalmente gerenciado, de alta
disponibilidade (HA) e disponível
globalmente
Seguro e compatível
Serviço totalmente gerenciado para transferências de arquivos via SFTP, FTPS e FTP para
Amazon S3 e Amazon EFS
11. Como o AWS Transfer Family funciona
Cloud
Machine Learning
Analytics
Database
Dados
disponíveis
para análise e
insights
Sem alterações nos
fluxos de trabalho
existentes
Usuários e clientes
SFTP, FTPS, FTP
Sem infraestrutura
para gerenciar
Serviços de
armazenamento da
AWS
Família AWS
Transfer
Data
lake
U M A V I S Ã O G E R A L D E A LT O N Í V E L D A A R Q U I T E T U R A D O AW S T R A N S F E R FA M I LY
12. A FINRA usa o AWS Transfer Family para fornecer acesso
seguro ao data lake no Amazon S3
O AWS Transfer for SFTP está nos ajudando reduzir nossa carga
operacional, mantendo o S3 como nosso data lake, enquanto
mantém a conexão crítica com nossos sistemas de autenticação
existentes para usuários externos— para que eles não passem por
nenhuma interrupção à medida que concluímos nossa migração de
serviços SFTP para a AWS.
-Ranga Rajagopal, Diretor Sênior, FINRA
”
”
Solução
A FINRA adotou o uso do Amazon
S3 como data lake. Como parte da
criação da nova plataforma FileX
na AWS, a FINRA usou o serviço
AWS Transfer for SFTP para
fornecer aos usuários externos
acesso seguro ao armazenamento
de dados no S3.
Desafio
A FINRA gerencia a
infraestrutura SFTP para mais
de 1.000 usuários externos
fazendo 6 milhões de
transferências de arquivos por
mês
Benefícios
Ao usar o AWS Transfer for
SFTP, a FINRA conseguiu
reduzir a carga operacional,
continuar a usar o S3 como
data lake e manter conexões
com seus sistemas de
autenticação existentes.
14. O que é a AWS DataSync?
Tranferência
de dados
rápida
Custo-
Beneficio
Fácil para
uso
Seguro e
confiável
Serviço
gerenciado
Serviço de transferência de dados online
que simplifica, automatiza e acelera
cópia de dados de arquivos e objetos de e para o armazenamento da AWS
15. O que você pode fazer com o DataSync?
No local
Borda
Transfira seus dados de e para os serviços de armazenamento daAWS com rapidez, facilidade e segurança
Amazon S3
Windows File
Server
EF
S
Amazon S3
Windows File
Server
EF
S
NFS,
SMB,
Object
AWS
Snowcone
Amazon S3 no
Outpost
16. AWS Direct Connect com
AWS Datasync
Automatize e simplifique a migração
de dados com uma conexão privada e
confiável com a AWS que oferece
desempenho consistente e custos
reduzidos de largura de banda
17. O AWS Direct Connect é um...
•Conexão Privada e confiável com a AWS
apoiada por SLA que oferece desempenho
consistente e reduz custos de largura de
banda.
18. Conexão direta com DataSync e acelera a migração
Garanta que os conjuntos de
dados sejam protegidos em
trânsito, aproveitando as
opções de segurança e
criptografia integradas
Bypass network e dynamic
throttling ao mesmo tempo,
simplificando e automatizando
a movimentação de dados
entre os sistemas de
armazenamento local e os
serviços de armazenamento da
AWS
Reduza o compromisso de largura
de banda com um provedor de
serviços de Internet estabelecendo
uma conexão privada entre a AWS
e um datacenter, escritório ou
ambiente de colocation, reduzindo
os custos de saída em 30% ou mais
19. Estabeleça uma conexão dedicada para migração automatizada de dados com a AWS
DataSync e AWS Direct Connect
Região
On-premises
Applications
NAS (Network
Accessed
Storage)
AWS DataSync
Agent AWS Direct Connect AWS DataSync
Usar o AWS DataSync com o AWS Direct Connect para estabelecer uma conexão de rede dedicada de suas instalações para a AWS para
migrar grandes conjuntos de dados de produção
Nuvem AWS
Amazon EFS
Amazon FSx for
Windows File Server
Amazon S3 Glacier
Amazon S3
21. Por que lift-and-shift (rehospedar)?
O lift-and-shift é uma migração rápida, econômica e minimamente disruptiva.
• Migre aplicativos para a nuvem com alterações mínimas ou inexistentes.
• Os aplicativos são efetivamente “retirados” do ambiente existente e “levado” como está
para a NuvemAWS.
• A migração lift-and-shift mantém arquitetura construída dos servidores de origem,
portanto, após a migração, não há alterações significativas nos processos de negócios, nas
interfaces de monitoramento e de gerenciamento.
• A migração lift-and-shift pode ser automatizado com ferramentas como o CloudEndure
Migration.
• Use os serviços da AWS após a migração para modernizar aplicativos.
22. Duas fases de modernização de aplicativos
Fase Um: Lift-and-shift Fase dois: modernizar
Aproveite rapidamente a AWS: Depois que os aplicativos
estiverem na AWS,
é mais fácil:
• Economia de
custos
• Produtividade
• Resiliência
• Agilidade
• Replataforma
• Refatorar
23. Como funciona o CloudEndure Migration
• Replica continuamente qualquer aplicativo ou banco de dados de qualquer origem para a AWS
• Business outcome: self-service, rápida e confiável com o mínimo de interrupção dos negócios
24. AWS Database Migration Service
(AWS DMS)
Migre bancos de dados locais ou autogerenciados para
serviços totalmente gerenciados
26. Ferramentas de migração da AWS
Serviço de migração de banco de dados da AWS (AWS DMS) migra
e/ou replica seus bancos de dados com facilidade e segurança e
data warehouses para a AWS
Ferramenta de conversão de esquemas da AWS (AWS SCT)
converte seu banco de dados comercial e esquemas de data
warehouse em mecanismos de código aberto ou serviços nativos
da AWS, como Amazon Aurora e Amazon Redshift
27. Quando usar o AWS DMS e o AWS SCT
Modernize Migrar Replicar
28. Origem e destinos compatíveis
Sources
Target
Relational NoSQL Analytics Data warehouse*
Amazon Aurora
Amazon Aurora Amazon DynamoDB
Amazon DocumentDB (com
compatibilidade com o
MongoDB)
Amazon Redshift
Amazon S3
AWS Snowball
Amazon S3
Serviço Amazon
Elasticsearch
Amazon Kinesis
Data Streams
* Compatível com extratores de dados do AWS SCT
Amazon Managed
Streaming for Kafka
30. Opções limitadas de transferência de
dados online devido a:
• Limitações de Conectividade
• Restrições de largura de banda
• Alto custo de banda
• Ambiente legado
• Dados coletados em locais remotos
Coleta de dados e desafios de movimentação
Tempo para Transference
@100Mbps @1Gbps @10Gbps
10 TB 12 days 30 hours 3 hours
100 TB 124 days 12 days 30 hours
1 PB 3 years 124 days 12 days
31. Como os dados são importados para a AWS com o Snow Family
Criara a job
Conectar para
AWS Snowcone or
AWS Snowball Edge,
Enviar dispositivo
para AWS
Seus dados são
carregados no seu
bucket!
Job completa
Job Provisionada Claificação
Shipped
to you
Delivered
to you
Send
to AWS
Ingest
to AWS
1 – 3 Dias 1-N Dias
1-N Dias
(Tempo de Transferencia variavel )
1 – 2 Dias 1 – 2 Dias
Secure
Device Wipe
No site do Cliente
or
AWS
Management
Console
Job
Created
Rastreamento
de remessa
32. Família AWS Snow para coleta de dados e movimentação de dados
Visite a página da AWS Snow Family para obter uma comparação mais
detalhada”
Snowcone
Snowball Edge
Storage Optimized
Snowmobile
Migration size
Up to 24 TB,
online and offline
Up to petabytes,
offline
Up to exabytes offline
Form factor
Rugged 8.5 G impact cases that are rain and dust
resistant, E Ink label for shipping automation
45-foot container,
scheduled delivery
Security 256-bit encryption, tamper detection
Encryption, security staff, GPS tracking,
video surveillance, alarms
Storage capacity 8 TB usable 80 TB usable <100 PB
DataSync agent Pre-installed - -
Compute 2 vCPU, 4 GB RAM usable 40 vCPU, 80 GB RAM, 1 TB SSD usable -
Onboard computing
options
AWS IoT Greengrass functions
Amazon EC2 AMIs
Wireless Wi-Fi - -
Portable or Mobile use Battery based operation - -
Clustering - Up to 15 nodes -
34. Armazenamento em nuvem híbrida com o Storage
Gateway
On-premises In-cloud
Acesso fácil à nuvem
Tempo rápido de implantação
Agilidade e escala da nuvem
Sem alterações nos aplicativos
Gerenciamento e controle centralizado
35. Família Storage Gateway
File Gateway
Armazene e acesse objetos no
Amazon S3 a partir de aplicativos
baseados em arquivos com cache
local
Volume Gateway
Armazenamento em bloco no local,
apoiado por armazenamento em nuvem
com cache local, snapshots do Amazon
EBS e clones, integrado ao AWS Backup
Tape Gateway
Substituição imediata para
infraestrutura de fita física apoiada
por armazenamento em nuvem com
armazenamento em cache local
Aplicativos baseados em
arquivos funcionam sem
alterações
Como uma SAN com
recuperação em nuvem
Alterne facilmente os backups
em fita para a AWS
37. “O AWS Storage Gateway nos ajudou a lidar com
as... restrições que tínhamos, que nos impediam
de fazer backups. Percebemos rapidamente que
usar o Volume Gateway e os snapshots do
Amazon EBS era uma maneira eficaz de colocar os
dados de forma robusta na AWS.. Foi uma
maneira simples de fazer a migração que
funcionou com os processos e o conhecimento
existentes da nossa equipe de banco de dados.”
Thomas Hewer
Tecnólogo líder
Volume Gateway Mova backups para a nuvem Mude o armazenamento local para a
nuvem
Os data centers legados não fornecem escala ou
disponibilidade para acompanhar o rápido crescimento
global da empresa
Problema
Solução
Migrou todos os backups e bancos de dados locais para a
AWS com o Storage Gateway
Mudou centenas de bancos de dados para o Amazon RDS e
o Amazon EC2 com o Amazon EBS
Resultado
Acompanhe o crescimento dos negócios ao escalar
aplicativos móveis e daWeb com a AWS
Redução do tempo e da sobrecarga do gerenciamento de
data centers
Maior confiança em backups com backups automatizados
para o Amazon EFS e o Amazon RDS
38. Resumo
Transferência de
arquivos para Amazon
S3 or Amazon EFS
using SFTP, FTPS, or
FTP
AWSTransfer
Family
AWS
DataSync
Mover dados entre on-
premises e AWS, e
também entre serviços
de Storage da AWS
AWS Storage
Gateway
Armazenamento em
nuvem híbrida para
acesso local a
armazenamento em
nuvem virtualmente
ilimitado
AWS Snow Family
Transferência offline
de grandes
quantidades de dados
para dentro e fora da
AWS,
independentemente da
conectividade de rede
CloudEndure
Migration
Simplifica e automatiza
a migrações de larga
escala a partir do fisico,
virtual, and cloud para
AWS
AWS Database
Migration Service
Migre dados para e a
partir da maior parte
dos bancos de dados
comerciais e open
A AWS oferece o conjunto mais completo de soluções para mover seus dados para a nuvem, que são otimizadas para duas variáveis principais - custo e tempo. Saiba que não há exigência de que você utilize apenas um serviço da AWS para mover seus dados. Na verdade, frequentemente vemos clientes usarem 2 ou mais, dependendo de suas necessidades, metas e orçamento.
Vamos dividir essas opções para que você possa escolher o serviço certo para suas necessidades
Para começar, examinamos duas categorias - transferência de dados online e transferência de dados offline.
A transferência de dados online pode ser simplesmente explicada como a movimentação de dados de uma origem para um destino por meio de uma conexão com a Internet. Agora, cada um desses serviços vem com alta segurança e até mesmo alguns com uma opção de Rede Privada Virtual (VPN) para garantir que seus dados estejam seguros e protegidos durante o trânsito ou em repouso.
Os benefícios da transferência ONLINE incluem:
Atende prazos apertados para mover dados. Embora algumas transferências possam parecer instantâneas, a transferência de dados online é pensada em minutos ou horas.
Você pode pensar em exemplos como o compartilhamento de arquivos entre equipes ou terceiros diariamente ou até mesmo a migração inicial de dados de arquivo do local para a nuvem.
Segundo - sua largura de banda é confiável e os dados de sua movimentação já estão online. Muitos de nossos serviços, como DataSync, por exemplo, oferecem um recurso de limitação de largura de banda que adiciona uma camada de controle ao migrar dados. Isso significa que você pode otimizar sua velocidade de migração com base na hora do dia.
Conexão direta**
A transferência de dados OFFLINE é simplesmente mover dados sem a necessidade de conectividade de rede. Então, naturalmente, essa opção é ótima quando há restrições de rede ou mesmo quando não está disponível. Além disso, esses dados podem ficar off-line durante o trânsito, então você deve considerar fluxos de trabalho e trabalhos que não atrapalharão seus negócios se não estiverem disponíveis. A transferência de dados offline é melhor medida em dias vs. minutos ou horas com a transferência de dados online.
Podemos voltar a essas opções, mas há mais uma categoria para ajudar na sua decisão: identificar que tipo de dados você está movendo - Dados de produção ou dados de backup e / ou arquivo.
Os dados de produção são dados essenciais para a conclusão das tarefas e processos de negócios do dia-a-dia. Os dados de produção devem estar prontamente disponíveis para acesso frequente e eficiente e são armazenados de forma persistente. Portanto, é frequentemente armazenado em armazenamento Tier-1 de alto desempenho que pode ser facilmente gerenciado.
O backup protege seus dados ativos e inativos (todos os seus dados de produção). Você pode fazer backup de suas informações por meio de fita, disco ou nuvem. O backup é uma cópia das informações de produção. Seus dados ainda residem nos próprios sistemas de armazenamento de produção. Isso significa que se o seu sistema de backup enfrentar uma grande perda de dados (devido a uma violação de segurança, desastre, falha de infraestrutura, etc.), você pode continuar as operações normais. Seus dados de produção não serão afetados, embora você esteja operando com um risco maior.
As soluções de arquivamento costumam ser usadas para reter dados inativos ou mais antigos por longos períodos. Os arquivos são otimizados para armazenamento de longo prazo e baixo custo. Os arquivos contêm dados de produção, o que significa que uma perda ou corrupção de um sistema de arquivo provavelmente resultará na perda permanente de informações de produção. Lembre-se de que esses dados provavelmente serão mais antigos ou menos usados, mas também podem ser a única cópia.
Se o seu público estiver mais interessado em dados de produção, use este slide para se aprofundar um pouco mais nos casos de uso de serviço. Observe que esta não é uma lista exaustiva de cada caso de uso, mas deve fazer com que o cliente em potencial pense em suas necessidades.
Já que você parece mais interessado em transferir dados de produção, vamos revisar alguns dos serviços em mais detalhes.
Algum desses serviços se destaca para você? Eu ficaria feliz em pular para alguns e mostrar mais de cada serviço como você gostaria.
Se o seu público estiver mais interessado em dados de backup ou arquivamento, use este slide para se aprofundar um pouco mais nos casos de uso de serviço. Observe que esta não é uma lista exaustiva de cada caso de uso, mas deve fazer com que o cliente em potencial pense em suas necessidades.
Como você parece mais interessado em transferir dados de backup ou arquivo, vamos revisar alguns dos serviços em mais detalhes.
Para começar, o backup é um dos casos de uso mais comuns para clientes que estão começando com Amazon Web Services (AWS). Os clientes que estão acostumados com a infraestrutura de backup local tradicional, como disco e fita, encontram muitos benefícios movendo seus backups para AWS e Amazon S3.
E com os dados gerados no mundo dobrando a cada dois anos, acompanhar o crescimento é mais importante do que nunca.
Algum desses serviços se destaca para você? Eu ficaria feliz em pular para alguns e mostrar mais de cada serviço como você gostaria.
Vamos dar uma última pesquisa nos diferentes serviços que a AWS tem para ajudar a construir uma solução de migração.
O AWS Transfer Family é um serviço de transferência seguro e totalmente gerenciado que permite transferir arquivos para dentro e para fora do armazenamento Amazon Simple Storage Service (Amazon S3) ou Amazon Elastic File Service (EFS) nos seguintes protocolos:
- Secure Shell (SSH) File Transfer Protocol (SFTP) (AWS Transfer for SFTP)
- File Transfer Protocol Secure (FTPS) (AWS Transfer for FTPS)
- Protocolo de transferência de arquivos (FTP) (AWS Transfer for FTP)
Você pode migrar perfeitamente seus fluxos de trabalho de transferência de arquivos mantendo as configurações existentes do lado do cliente para autenticação, acesso e firewalls - portanto, nada muda para seus clientes, parceiros e equipes internas ou seus aplicativos. Use os sistemas de autenticação existentes, domínio e nomes de host enquanto troca arquivos com clientes e parceiros sem alterar seus aplicativos, processos, configurações de software cliente ou comportamento
Até agora, os clientes que precisavam executar fluxos de trabalho de transferência de arquivos seguros precisavam montar e hospedar seus próprios servidores SFTP, FTPS ou FTP e armazenamento. Eles normalmente fazem isso localmente ou na nuvem usando o Amazon EC2, com ferramentas baseadas no mercado ou software auto-implantado.
Executar essa infraestrutura de transferência de arquivos que precisa de disponibilidade 24 horas por dia, 7 dias por semana, pode ser caro para gerenciar e caro para comprar se os recursos de alta disponibilidade forem necessários. Essas soluções de transferência de arquivos autogerenciadas podem ser onerosas para se integrar a fluxos de trabalho de aplicativos, onerosas de gerenciar e difíceis de escalar.
Como o Transfer Family é um serviço totalmente gerenciado na AWS, os clientes não precisam mais adivinhar a quantidade de infraestrutura de que precisam. Os clientes não precisam mais descobrir como construir, ou descobrir como construir failover ou escalabilidade em sua infraestrutura de transferência de arquivos. Em vez disso, os clientes podem contar com o serviço Transfer Family para lidar com tudo isso por eles.
O Transfer oferece suporte a provedores de identidade personalizados por meio de integrações com API Gateway e Lambda. Ao fazer isso, os clientes podem continuar a manter os mesmos mecanismos de autenticação que estão usando no local.
Com os dados chegando ao S3 ou EFS, o cliente pode modernizar seus fluxos de trabalho e aproveitar todos os outros serviços nativos da nuvem, como Amazon Redshift, que os clientes podem usar para armazenamento de dados em cargas de trabalho S3, ou Amazon EMR para processamento e análise de big data .
(Com os dados na AWS, agora você pode usá-los facilmente com a ampla gama de serviços da AWS para processamento de dados, gerenciamento de conteúdo, análises, aprendizado de máquina e arquivamento, em um ambiente que pode atender aos seus requisitos de conformidade.)
Não há custos iniciais e os clientes pagam apenas pelo uso do serviço.
A FINRA regula uma parte crítica do setor de valores mobiliários - corretoras que fazem negócios com o público nos Estados Unidos. A FINRA recebe até 135 bilhões de eventos de mercado por dia, que são rastreados, agregados e analisados com o objetivo de proteger os investidores.
AWS DataSync é um serviço de transferência de dados online que torna mais fácil para você transferir seus dados entre seus sistemas de armazenamento local e AWS, bem como entre os serviços de armazenamento AWS. Tarefas manuais relacionadas a transferências de dados podem sobrecarregar suas operações de TI. O DataSync lida automaticamente com tarefas como agendamento e monitoramento de transferências, validação de dados e otimização da utilização da rede. Usando DataSync, você pode transferir centenas de terabytes e milhões de arquivos de forma rápida, fácil e segura.
Então, depois de ouvir de nossos clientes sobre alguns dos desafios que eles enfrentavam ao tentar transferir dados para a AWS, percebemos que havia uma oportunidade de ajudá-los removendo muito do trabalho pesado indiferenciado que vem com a construção de suas próprias ferramentas de migração. Portanto, construímos o AWS DataSync, que é um serviço totalmente gerenciado para transferência online de arquivos e dados de objetos de e para a AWS.
O desempenho é crítico para qualquer ferramenta de migração e o DataSync foi desenvolvido para ser rápido. Ele utiliza compactação, transferências paralelas e outras otimizações para que seus dados sejam transferidos o mais rápido possível.
Transferência de rede paralela altamente otimizada
Transfere apenas mudanças incrementais
Com agendamento, filtragem e registro integradosLargura de banda do acelerador
Filtrar por padrões de nome de arquivo
Segurança é nossa maior prioridade aqui na AWS e criamos DataSync para transferir seus dados de forma segura e confiável. O DataSync criptografa os dados em trânsito e oferece suporte à criptografia em repouso. Além disso, o DataSync oferece várias opções para verificação da integridade dos dados, garantindo que todos os dados foram transferidos com sucesso.
Criptografia ponta a ponta
Verificação de dados ponta a ponta
Endpoints VPC e FIPS disponíveis
Como um serviço totalmente gerenciado, o DataSync se encarrega de se conectar com segurança aos serviços de armazenamento da AWS e se integra a ferramentas comuns de gerenciamento da AWS, como CloudWatch e CloudTrail.
Integra-se com os serviços de gerenciamento e monitoramento da AWS
Transferência direta para todas as classes de armazenamento S3
Por fim, o DataSync foi projetado para ser econômico em US $ 0,0125 por GB de dados transferidos. Com DataSync você paga apenas pelos dados que você transfere e não há valores mínimos.
O DataSync simplifica a movimentação de grandes quantidades de dados, com rapidez e segurança, entre datacenters locais, pontos de presença ou ambientes Outposts e AWS. Você também pode usar o DataSync para transferir dados entre os serviços de armazenamento da AWS.
DataSync pode copiar dados entre compartilhamentos Network File System (NFS), compartilhamentos Server Message Block (SMB), armazenamento de objetos autogerenciados, AWS Snowcone, buckets do Amazon Simple Storage Service (Amazon S3), sistemas de arquivos Amazon Elastic File System (Amazon EFS) e Amazon FSx para sistemas de arquivos do Windows File Server.
O DataSync suporta o uso da Internet, VPN ou Direct Connect para transferir dados entre seus ambientes locais e AWS. Independentemente do método usado, todos os da
Elevator pitch Direct Connect é uma conexão de interconexão global privada respaldada por um acordo de nível de serviço de disponibilidade de 99,99%, oferecendo desempenho confiável e consistente com custos de largura de banda reduzidos. A conexão direta Truly torna a AWS uma extensão do data center corporativo do cliente
Arquiteturas de referência do DS que virão, os palestrantes devem estar cientes das diferenças entre VIF (Interface Virtual) pública e privada
O CloudEndure Migration simplifica, agiliza e automatiza migrações em grande escala de infraestrutura física, virtual e baseada em nuvem para AWS. Ele converte automaticamente qualquer aplicativo em execução em sistemas operacionais com suporte, permitindo funcionalidade total na AWS sem problemas de compatibilidade. Durante o processo de replicação, seus aplicativos continuarão a ser executados na origem sem tempo de inatividade ou interrupção do desempenho. Após uma janela de transição mínima, seus servidores migrados serão executados nativamente no AWS
CloudEndure Migration é uma ferramenta automatizada de migração lift-and-shift. Por que os clientes devem considerar a migração lift-and-shift?
Isso o torna uma abordagem rápida e econômica com o mínimo de interrupção. Porque nenhuma mudança nos aplicativos, processos de negócios, monitoramento ou interfaces de gerenciamento é necessária. A migração CloudEndure automatiza todo o processo. Quando os clientes rapidamente elevaram e mudaram seus aplicativos para a AWS, é muito mais fácil e rápido usar os serviços da AWS para modernizar seus aplicativos.
Para os clientes, é muito simples. A fase um é subir e mudar para a nuvem AWS, para que eles possam começar a aproveitar as vantagens da economia de custos, agilidade, resiliência e todos os outros benefícios da nuvem. Na fase dois, eles podem modernizar seus aplicativos. E é mais fácil reformular e refatorar aplicativos conforme necessário, uma vez que eles já estão na nuvem.
MENSAGEM PRIMÁRIA: Este diagrama de arquitetura de alto nível ilustra como a CloudEndure Migration pode fornecer migrações de autoatendimento rápidas e confiáveis com o mínimo de interrupção dos negócios.
À esquerda está o ambiente de origem, que pode ser composto por diferentes tipos de aplicativos - neste caso, fornecemos bancos de dados Oracle e servidores SQL como exemplos.
O Agente CloudEndure é implantado nas máquinas de origem sem exigir qualquer tipo de reinicialização e sem afetar o desempenho de nenhuma forma perceptível. Isso inicia a replicação contínua de dados para a AWS, e a CloudEndure fornece uma área de teste de custo muito baixo que ajuda a reduzir o custo da infraestrutura de nuvem durante a replicação e até que a máquina realmente precise ser girada durante os testes de transição ou transição.
Quando chega esse momento, com o clique de um botão, o CloudEndure Migration inicia as máquinas nas sub-redes de destino apropriadas de sua escolha. O estado leve inativo, denominado Staging Area, agora é lançado nos servidores reais que foram migrados do ambiente de origem (bancos de dados Oracle e servidores SQL).
A tecnologia de conversão de máquina da CloudEndure garante que essas máquinas replicadas possam ser executadas nativamente dentro da AWS, e o processo normalmente leva apenas alguns minutos para as máquinas inicializarem.
Use o Console de usuário da CloudEndure para gerenciar seus projetos e definir suas configurações.
O AWS Database Migration Service ajuda a migrar bancos de dados para a AWS com rapidez e segurança. O banco de dados de origem permanece totalmente operacional durante a migração, minimizando o tempo de inatividade para aplicativos que dependem do banco de dados. O AWS Database Migration Service pode migrar seus dados de e para os bancos de dados comerciais e de código aberto mais usados. O AWS Database Migration Service oferece suporte a migrações homogêneas, como Oracle para Oracle, bem como migrações heterogêneas entre diferentes plataformas de banco de dados, como Oracle ou Microsoft SQL Server para Amazon Aurora. Com o AWS Database Migration Service, você pode replicar continuamente seus dados com alta disponibilidade e consolidar bancos de dados em um data warehouse em escala de petabyte, transmitindo dados para Amazon Redshift e Amazon S3. Saiba mais sobre os bancos de dados de origem e destino com suporte. Ao migrar bancos de dados para Amazon Aurora, Amazon Redshift, Amazon DynamoDB ou Amazon DocumentDB (com compatibilidade com MongoDB), você pode usar o DMS gratuitamente por seis meses.
A solução mais direta e simples para muitos clientes que estão lutando para manter seus próprios bancos de dados relacionais em escala é mudar para um serviço de banco de dados gerenciado, como Amazon RDS ou Amazon Aurora. Na maioria dos casos, esses clientes podem migrar cargas de trabalho e aplicativos para um serviço gerenciado sem a necessidade de rearquitetar seus aplicativos, e suas equipes podem continuar a aproveitar os mesmos conjuntos de habilidades de banco de dados.
O cliente-alvo para uma mudança de bancos de dados relacionais autogerenciados para gerenciados:
BDs autogerenciáveis no local, no EC2 e / ou em outra nuvem pública.
Gostaria de reduzir a carga de administração do banco de dados e realocar os recursos do banco de dados para o trabalho centrado no aplicativo.
Não quer rearquitetar seu aplicativo. Quer continuar aproveitando os mesmos conjuntos de habilidades.
Precisa de um caminho simples para um serviço gerenciado na nuvem para cargas de trabalho de banco de dados.
Quer melhor desempenho, disponibilidade, escalabilidade e segurança
Os clientes usam bancos de dados não relacionais como MongoDB e Redis como documentos e bancos de dados na memória para casos de uso, como gerenciamento de conteúdo, personalização, aplicativos móveis, catálogos e casos de uso em tempo real, como cache, placares de jogos e armazenamentos de sessão. A solução mais direta e simples para muitos clientes que estão lutando para manter seus próprios bancos de dados não relacionais em escala é mudar para um serviço de banco de dados gerenciado, como 1 / Movendo bancos de dados MongoDB autogerenciados para Amazon DocumentDB 2 / Movendo autogerenciados em -Bancos de dados de memória como Redis e ElastiCache para Amazon ElastiCache. Na maioria dos casos, esses clientes podem migrar cargas de trabalho e aplicativos para um serviço gerenciado sem a necessidade de rearquitetar seus aplicativos, e suas equipes podem continuar a aproveitar os mesmos conjuntos de habilidades de banco de dados.
O cliente-alvo para uma mudança de bancos de dados autogerenciados para bancos de dados não relacionais gerenciados:
BDs autogerenciáveis no local, no EC2 e / ou em outra nuvem pública.
Gostaria de reduzir a carga de administração do banco de dados e realocar os recursos do DBA para trabalho centrado no aplicativo.
Não quer rearquitetar seu aplicativo. Quer continuar aproveitando os mesmos conjuntos de habilidades.
Precisa de um caminho simples para um serviço gerenciado na nuvem para cargas de trabalho de banco de dados.
Quer melhor desempenho, disponibilidade, escalabilidade e segurança
Nosso objetivo: permitir aos clientes a liberdade de escolher a melhor plataforma de dados para suas necessidades #DBFreedom
DMS e SCT podem ajudá-lo a modernizar, migrar e replicar
Modernize: converta de um mecanismo de banco de dados para outro e atualize o código do aplicativo associado usando os recursos de conversão de código do SCT
Migrar: você está procurando mover dados de A para B. Seja no local para a nuvem, entre EC2 e RDS ou entre mecanismos de banco de dados / warehouse
Replicar: Aproveite o poder do CDC e mantenha as mudanças fluindo da origem para o destino em uma base contínua
AWS DMS e SCT oferecem suporte a uma variedade de origens e destinos relacionais, NoSQL, Analytics e de data warehouse. Estamos constantemente adicionando novos bancos de dados e suporte à versão do mecanismo, portanto, na chance improvável de você não ver o mecanismo de sua escolha listado, verifique novamente com frequência.
Atualmente, os aplicativos são transferidos para a nuvem com uma rapidez maior do que antes. Uma nova categoria de aplicativos exige maiores recursos e performance na borda da nuvem, ou até mesmo além da borda da rede.
A família AWS Snow ajuda clientes que precisam executar operações em ambientes rígidos, fora de datacenters, em locais que não dispõem de conectividade de rede consistente. A família Snow, composta pelo AWS Snowcone, AWS Snowball e AWS Snowmobile, oferece vários dispositivos físicos e pontos de capacidade, a maioria com funcionalidades de computação integradas. Esses serviços ajudam a transportar fisicamente até exabytes de dados de/para a AWS. A AWS é a proprietária e responsável pelo gerenciamento da família Snow, que integra recursos de segurança, monitoramento, gerenciamento de armazenamento e computação da AWS.
Desafios para mover dados
A limitação de conectividade inclui falta de internet ou largura de banda direta
Restrições de largura de banda incluem restrições de capacidade de transferência devido ao uso de produção de internet ou conexão direta
Suporte de protocolo restrito para plataformas legadas como mainframes ou sistemas baseados em Unix executando Bigdata ou serviços de banco de dados. Os dados teriam que ser transformados para consumo.
Ambientes legados que possuem sistemas de arquivos mais antigos, como FAT32 ou arquivadores e hardware datados
O tamanho do arquivo de dados pode ser pequeno, afetando o desempenho de transferência
O Gateway de armazenamento oferece aos clientes que procuram armazenamento em nuvem híbrida o melhor dos dois mundos, uma vez que oferece acesso fácil à nuvem. Os clientes experimentam uma implantação rápida, o que lhes permite aproveitar rapidamente a agilidade e a escala da nuvem.
O gateway de armazenamento não requer alterações em seus aplicativos, integrando-se facilmente com protocolos de armazenamento de suporte no local.
Por fim, o Storage Gateway é gerenciado centralmente por meio do AWS Console e se integra a uma variedade de serviços da AWS como Cloudwatch, CloudTrail e IAM para fornecer aos clientes visibilidade e controle sobre toda a solução
O gateway de armazenamento vem em três variedades:
Gateway de arquivo
O File Gateway apresenta uma interface de arquivo que permite armazenar arquivos como objetos no Amazon S3 usando os protocolos de arquivo NFS e SMB padrão da indústria e acessar esses arquivos via NFS e SMB de seu datacenter ou Amazon EC2, ou acessar esses arquivos como objetos com a API S3 . Depois que os objetos são transferidos para o S3, eles podem ser gerenciados como objetos nativos do S3 e políticas de bucket, como controle de versão, gerenciamento de ciclo de vida e replicação entre regiões, e se aplicam diretamente a objetos armazenados em seu bucket.
Os clientes usam o File Gateway para armazenar dados de arquivos no S3 para uso por cargas de trabalho baseadas em objetos, incluindo análise de dados ou aprendizado de máquina, como um destino de armazenamento econômico para backups e como um repositório ou camada na nuvem para armazenamento de arquivos de aplicativos. Tudo isso sem a necessidade de alterar os aplicativos existentes.
Gateway de Volume
O Gateway de Volume apresenta seus volumes de armazenamento em bloco de aplicativos usando o protocolo iSCSI. Os dados gravados nesses volumes podem ser submetidos a backup de forma assíncrona como instantâneos point-in-time de seus volumes e armazenados na nuvem como instantâneos do Amazon EBS. Você pode fazer backup de seus volumes do Volume Gateway no local usando o agendador de instantâneo nativo do serviço ou o serviço de backup AWS. Em ambos os casos, os backups de volume são armazenados como instantâneos do Amazon EBS na AWS. Esses instantâneos são backups incrementais que capturam apenas blocos alterados. Todo o armazenamento de instantâneos também é compactado para minimizar os custos de armazenamento.
Gateway de fita
O Tape Gateway se apresenta ao seu aplicativo de backup existente como uma biblioteca de fita virtual (VTL) baseada em iSCSI padrão da indústria, consistindo em um trocador de mídia virtual e unidades de fita virtuais. Você pode continuar a usar seus aplicativos de backup e fluxos de trabalho existentes enquanto grava em uma coleção quase ilimitada de fitas virtuais. Cada fita virtual é armazenada no Amazon S3. Quando você não precisar mais de acesso imediato ou frequente aos dados contidos em uma fita virtual, pode fazer com que seu aplicativo de backup mova-o da biblioteca de fita virtual do gateway de armazenamento para uma camada de arquivamento que fica no topo do armazenamento em nuvem Glacier do Amazon S3, reduzindo ainda mais o armazenamento custos.
O AWS Storage Gateway trata dos desafios de armazenamento em nuvem híbrida que nossos clientes enfrentam.
Especificamente:
O Gateway de armazenamento permite que os clientes se conectem e usem os principais serviços de armazenamento em nuvem, como Amazon Simple Storage Service (S3), Amazon S3 Glacier e Amazon Elastic Block Store (EBS).
Além disso, o Gateway de armazenamento se integra aos serviços da AWS, como: AWS Key Management Service (KMS), AWS Identity and Access Management (IAM), AWS Cloudtrail, AWS Cloudwatch
O Gateway de armazenamento é facilmente implantado no local, como uma máquina virtual (oferecemos suporte a todos os principais hipervisores) ou por meio de um dispositivo de hardware pré-configurado.
Ao fornecer um cache local, o Storage Gateway permite o acesso de baixa latência aos dados acessados com frequência.
O gateway de armazenamento dá suporte ao acesso por meio de protocolos de armazenamento padrão (NFS, SMB, iSCSI e iSCSI VTL) para aplicativos locais para acessar dados armazenados no Amazon S3. Portanto, nenhuma mudança nos aplicativos dos clientes.
Os dados são transferidos com segurança e eficiência entre o ambiente local e a AWS.
Histórico da empresa: TransferWise é uma empresa global de tecnologia que está construindo a melhor maneira de movimentar dinheiro em todo o mundo. Mais de 6 milhões de pessoas e empresas pararam de usar bancos, PayPal e provedores tradicionais, porque TransferWise é mais barato, rápido e fácil. Grandes empresas e bancos também usam a tecnologia TransferWise; uma rede de pagamentos transfronteiras inteiramente nova que um dia fornecerá dinheiro sem fronteiras para todos, em qualquer lugar.
Problema: Desde seu lançamento, há oito anos, a TransferWise experimentou um crescimento global dos negócios. Acompanhar esse crescimento foi um desafio porque a empresa hospedou seus ambientes de aplicativos em data centers locais, o que dificultou o dimensionamento e a garantia da disponibilidade constante que os clientes esperam. Quando a empresa começou a fornecer serviços em novas regiões, as limitações de seus data centers locais eram claras (eles não queriam construir parcerias de data center com uma série de fornecedores, mas não tinham presença nas regiões que estavam expandindo em).
Solução: Para resolver seu desafio de crescimento global, a empresa optou por migrar para Amazon Web Services (AWS). A TransferWise começou sua migração para a nuvem usando uma arquitetura de armazenamento em nuvem híbrida para mover seu ambiente de backup de dados para a AWS. A empresa mudou todos os seus backups para a AWS usando o AWS Storage Gateway, um serviço de armazenamento em nuvem híbrido que fornece acesso local ao armazenamento em nuvem. TransferWise usou o modo Tape Gateway do AWS Storage Gateway para substituir backups em fita e, em seguida, fez a transição para gravar backups de banco de dados em um Volume Gateway, que criou EBS Snapshots que eram gerenciados pelo serviço de backup AWS.
Depois que o backup dos bancos de dados da empresa foi feito para a AWS, a TransferWise começou a usar esses backups para migrar seus bancos de dados.
Resultado:
A TransferWise conseguiu fechar seu data center de recuperação na Holanda.
A organização migrou 90 por cento de seu data center na Alemanha usando essa abordagem, junto com o AWS Database Migration Service. Até agora, a TransferWise moveu centenas de bancos de dados PostgreSQL e MySQL para uma combinação de Amazon Relational Database Service (Amazon RDS) e Amazon Elastic Compute Cloud (Amazon EC2) com Amazon Elastic Block Store (Amazon EBS).
A organização também usa o AWS Backup para automatizar e gerenciar operações de backup.
Benefícios:
O AWS Backup oferece ao TransferWise uma maneira de gerenciar centralmente as políticas de proteção de dados para backups locais gravados no Storage Gateway, backups de banco de dados que são copiados para Amazon Elastic File System (Amazon EFS) e bancos de dados Amazon RDS.
Em vez de ser restringido por uma infraestrutura local, a TransferWise agora pode escalar sua plataforma de aplicativos móveis e da web facilmente para acompanhar o crescimento anual de dez vezes
Como resultado, a empresa pode expandir seus serviços mais rapidamente à medida que os negócios continuam a crescer.
A presença global da AWS torna mais fácil para a TransferWise usar serviços para projetos em novas regiões.
A TransferWise também está se beneficiando de uma camada de armazenamento replicada globalmente, reduzindo grande parte da complexidade da base de código de aplicativos móveis e da web da empresa.
Aproveitando a escalabilidade, agilidade e alta disponibilidade da AWS, o TransferWise pode dar um suporte melhorinnovation.
A AWS oferece o conjunto mais completo de soluções para mover seus dados para a nuvem, que são otimizadas para duas variáveis principais - custo e tempo. Saiba que não há exigência de que você utilize apenas um serviço da AWS para mover seus dados. Na verdade, frequentemente vemos clientes usarem 2 ou mais, dependendo de suas necessidades, metas e orçamento.
Vamos dividir essas opções para que você possa escolher o serviço certo para suas necessidades