antonio leandro

dados e armazenamento

Amazon Redshift and the Case for Simpler Data Warehouses

paper · Anurag Gupta, Deepak Agarwal, Derek Tan, et al. · · ~22 min de leitura do original

a tese

o concorrente do redshift nunca foi o teradata: era o dado que ninguém analisa. mpp colunar já era commodity, e o gargalo estava no modelo de compra — em ser fácil de comprar, ajustar e operar

o que fica

  1. O alvo declarado do Redshift não era outro data warehouse: era o não-consumo, o dado que a empresa coleta e nunca analisa.
  2. Preço baixo sozinho não explica adoção — os autores lembram que já existiam motores open source e edições gratuitas de produtos comerciais, e mesmo assim o dado continuava parado.
  3. Arquitetura MPP, colunar e scale-out já era commodity em 2015; o próprio paper a lista como algo que "muitos outros motores também têm".
  4. Não há correlação entre tamanho do conjunto de dados e tamanho da empresa, e por isso vendedores que miram grandes corporações erram o mercado real.
  5. O modelo de aquisição faz parte do produto: se comprar e avaliar exige contrato e dimensionamento prévio, a tecnologia não é experimentada.
  6. O paper é um argumento de posicionamento, não uma medição — a evidência que ele apresenta no resumo é adoção, não benchmark.

o problema

Em 2013, montar um data warehouse era uma compra antes de ser uma ferramenta. Você dimensionava o cluster antes de saber o volume de dados, negociava licença, contratava quem soubesse ajustar o motor e só então descobria se a pergunta valia a pena. O custo de entrada não era o hardware: era a sequência de decisões irreversíveis exigidas antes da primeira query. O resultado, na leitura dos autores, é direto — a vasta maioria dos dados é coletada e nunca analisada.

E não era falta de tecnologia. O próprio paper enumera as saídas que já existiam: motores de data warehousing open source, edições gratuitas de produtos comerciais para desenvolvimento ou até certo limite de uso, e a opção de subir instâncias EC2 com o banco de sua escolha, storage local ou de rede. Arquitetura MPP, colunar e scale-out também não era exclusividade de ninguém. Havia ainda um desalinhamento de mercado: os fornecedores miravam grandes empresas, enquanto na economia de hoje o tamanho do conjunto de dados tem pouca relação com o tamanho da companhia. Uma startup de dez pessoas pode ter mais log do que uma indústria tradicional, e nenhuma opção do catálogo era desenhada para ela.

a ideia

O paper faz uma afirmação incomum para um artigo de banco de dados: o diferencial do Amazon Redshift não é o motor, é a simplicidade. E declara o adversário explicitamente — o objetivo não era competir com outros motores de data warehousing, era competir com o não-consumo.

Isso reorganiza o que conta como melhoria. Se o concorrente é a planilha que ninguém abriu e o bucket que ninguém consultou, ganhar um benchmark contra um motor rival é irrelevante; o que importa é derrubar as três barreiras que ficam antes dele. Daí a formulação que o paper usa como projeto de produto: fácil de comprar, fácil de ajustar, fácil de gerenciar — e, ao mesmo tempo, rápido e barato. O preço de lançamento, a partir de US$ 1.000 por TB por ano, entra nessa lógica não como o menor número do mercado (havia software gratuito), mas como um número que dispensa negociação: transforma a decisão de comprar em decisão de experimentar. É o mesmo argumento aplicado à operação: um serviço gerenciado remove o passo em que alguém precisa saber ajustar o cluster para descobrir se a pergunta tem resposta.

A evidência oferecida é de mercado, não de laboratório. Desde o lançamento em fevereiro de 2013, o Redshift foi o serviço de crescimento mais rápido da AWS, com milhares de clientes e muitos petabytes sob gestão — um ritmo de adoção que, nas palavras dos autores, surpreendeu a comunidade de data warehousing.

o que isso custou

O resumo publicado não declara limitações, e o texto completo não está aqui — o que segue são os limites do argumento tal como ele aparece.

O primeiro é metodológico: adoção é uma métrica ambígua. Um serviço distribuído dentro da AWS, ao lado de onde os dados dos clientes já estavam, cresce por razões que a palavra “simplicidade” não isola. O paper atribui o crescimento à facilidade de comprar e operar, mas não separa esse efeito do canal.

O segundo é estrutural e vale para qualquer serviço gerenciado: simplicidade para quem usa é restrição para quem opera. Você não escolhe o motor, não escolhe o tuning, não escolhe o storage. O paper trata isso como benefício — e é, para quem não tinha DBA —, mas é o mesmo movimento que tira do cliente a saída de emergência quando o padrão não serve.

onde isso aparece hoje

O vocabulário é de Christensen: competir com o não-consumo é a formulação de The Innovator’s Solution, aplicada aqui a infraestrutura em vez de produto de consumo. É um dos usos mais literais que a ideia já teve em um paper de sistemas.

A tese sobreviveu ao produto. Sete anos depois, Amazon Redshift Re-invented retoma o mesmo eixo, agora com o motor descrito em detalhe, e o trabalho posterior da equipe continua atacando as duas pontas prometidas em 2015: Intelligent Scaling in Amazon Redshift automatiza o dimensionamento que o usuário não quer fazer, e Stage prevê tempo de execução de query para decidir alocação sem intervenção humana. Fácil de ajustar e fácil de gerenciar viraram problemas de pesquisa.

O mercado seguiu junto. The Snowflake Elastic Data Warehouse, no ano seguinte, defende a mesma categoria — warehouse como serviço, elasticidade no lugar de dimensionamento — e é a partir dessa disputa que a discussão se desloca para o formato aberto de Lakehouse.

lido na íntegra por pipeline de llm, revisado por antonio leandro antes de publicar ·