Engenharia de Dados para IA na AWS

Modelos não falham no treinamento. Eles falham porque a tabela em que foram treinados tinha uma coluna que vazava o alvo, porque um CSV de 3 TB foi escaneado em vez de 0,25 TB de Parquet, porque um trabalho de rotulagem saiu para o Mechanical Turk sem declarar que as imagens estavam livres de informações pessoais identificáveis, ou porque um feature group atendia leituras online em milissegundos enquanto a cópia offline ainda estava gravando em buffer no Amazon S3. Engenharia de dados é o estágio em que todos esses quatro erros são baratos de corrigir, e o exame AIF-C01 sabe disso: Domínio 1 (Fundamentos de IA/ML) tem peso de 20%, Domínio 2 (IA Generativa) 24%, Domínio 3 (Aplicações de Foundation Models) 28%, Domínio 4 (IA Responsável) 14% e Domínio 5 (Segurança, Conformidade e Governança) 14%, e esta lição fica na interseção da Tarefa 1.3 (ciclo de vida de ML), da Tarefa 3.3 (fine-tuning) e das afirmações de engenharia de dados segura do Domínio 5.

Ao final desta lição você será capaz de:

• desenhar o pipeline de dados de ponta a ponta de um projeto de IA e nomear o serviço da AWS em cada salto;
• escolher entre CSV, Parquet e JSONL e prever a consequência de custo dessa escolha no Athena;
• escolher o motor de processamento certo, Glue vs. EMR vs. Athena vs. um script manual, e defendê-lo;
• aplicar o modelo de autorização de duas camadas do Lake Formation e nomear a permissão que o acesso subjacente ao S3 exige adicionalmente;
• configurar um trabalho de rotulagem do Ground Truth de ponta a ponta, incluindo a declaração de PII que faz ou quebra o trabalho;
• dimensionar uma execução de rotulagem automatizada (piso de 1.250, recomendação de 5.000, divisão de validação 20%/10%);
• explicar os stores online e offline do Feature Store, suas regras de particionamento e o buffer de gravação de 15 minutos;
• usar o Macie para descobrir PII no S3 e prever a severidade de uma finding;
• preparar um conjunto de dados .jsonl de fine-tuning para o Amazon Bedrock e conferi-lo contra os tetos publicados por modelo;
• responder dez perguntas no estilo do exame na voz oficial das questões de prática.

---

1. Onde esta lição se situa no exame

1.1 As afirmações de tarefa para as quais você estuda

O Exam Guide do AIF-C01 é o contrato. Três afirmações tornam esta lição examinável:

1.2 A matriz ferramenta-por-tarefa

Esta tabela é o artefato mais reutilizável da lição. Aprenda a coluna esquerda (a tarefa) e a coluna do meio (a ferramenta principal); a coluna direita é onde vivem os distratores do exame.

• 📚 Você sabia? O Glue Data Catalog é compatível com Hive, e é por isso que Athena, EMR e a tabela Glue do Feature Store podem ler a mesma definição de tabela. O próprio blog de Big Data da AWS (2024) documenta que os Glue crawlers detectam schemas em Apache Iceberg, Apache Hudi e Apache Delta Lake, então "qual formato de tabela" é agora uma decisão de governança, não uma limitação de catalogação.

---

2. O pipeline de dados de ponta a ponta

2.1 Um fluxograma, onze saltos

2.2 Por que a ordem importa

Cada salto existe para remover uma classe de falha:

---

3. Armazenamento e formatos de dados: CSV vs. Parquet vs. JSONL

3.1 A comparação que decide sua fatura do Athena

3.2 Os números atrás dos padrões

Exemplo 1, a decisão de formato, com os números da própria AWS. Tome uma tabela de texto não comprimida de 3 TB com quatro colunas no S3. Uma consulta que lê uma coluna escaneia os 3 TB: 3 TB × $5/TB = $15,00. Aplique GZIP em 3:1 e a mesma tabela vira 1 TB → $5,00. Converta para Parquet e a consulta lê apenas a coluna referenciada: 1 TB ÷ 4 = 0,25 TB × $5/TB = $1,25. Isso é 12× mais barato que a linha de base, 3× da compressão e 4× da poda de colunas. A AWS publica esse exemplo exato em sua página de preços do Athena.

• 📚 Você sabia? O agrupamento groupFiles do Glue só se liga automaticamente quando a entrada excede 50.000 arquivos. Abaixo desse limite você precisa definir "groupFiles": "inPartition" você mesmo: caso contrário, um diretório de arquivos pequenos vira um diretório de muitos arquivos Parquet minúsculos, que é exatamente o problema de arquivos pequenos que o Athena cobra para ler.

---

4. Catálogo e governança: Glue Data Catalog e Lake Formation

4.1 Duas famílias de permissão, não uma

O AWS Lake Formation documenta duas famílias de permissão: permissões sobre o Data Catalog (bancos de dados e tabelas) e permissões sobre os dados e localizações de dados subjacentes (prefixos S3). Três regras decorrem disso, e as três são examináveis:

1. um principal precisa tanto de grants do Lake Formation quanto de permissões de IAM;
2. acesso de leitura/gravação subjacente exige adicionalmente lakeformation:GetDataAccess;
3. uma configuração só-IAM existe exclusivamente concedendo Super a IAMAllowedPrincipals.

4.2 Permissões de tabela

4.3 O que substituiu as Governed Tables

Exemplo 2, filtragem de coluna e linha na prática. Uma tabela de analítica de RH tem colunas employee_id, department, salary_band e ssn. Um grant de SELECT do Lake Formation com um filtro de coluna pode excluir ssn inteiramente para o papel do analista, enquanto um filtro de linha (DataCellsFilter) pode restringir as linhas a department = 'Ops'. Nenhum dos dois é possível com um grant simples de prefixo S3, que é exatamente a linguagem de "controle de acesso a dados" e "integridade de dados" do Domínio 5.

• 📚 Você sabia? A permissão SELECT do Lake Formation é a única permissão de tabela documentada a suportar filtros de dados em nível de linha e célula. Todo o resto da lista de permissões de tabela (INSERT, DELETE, ALTER, DROP, DESCRIBE) é tudo-ou-nada no nível da tabela ou da coluna.

---

5. Motores de processamento: Glue, EMR e Athena

5.1 Fatos de cobrança e escala

5.2 Tamanhos de worker do Glue

Exemplo 3: right-sizing do Glue. O padrão de conversão Parquet da Prescriptive Guidance da AWS roda 2 workers, o mínimo documentado: em vez do padrão do console 10 × G.1X, o que é 5× menos DPUs alocadas para o mesmo trabalho de conversão. Um trabalho de Python shell configurado em 0,0625 DPU (1 GB) em vez de 1 DPU (16 GB) usa 16× menos memória e cobra proporcionalmente. O exame recompensa o padrão "comece no mínimo, escale com evidência", não o padrão do console.

5.3 Regras de preços do Athena

Exemplo 4, o loop de conversão CTAS. Um time mantém uma tabela CSV bruta, roda CTAS (CREATE TABLE … AS SELECT) para gravar Parquet com compressão Snappy particionado por ano, aterrissa em 1,2 GB e aponta o dashboard a jusante para a nova tabela. A consulta escaneia apenas as colunas referenciadas de uma partição: mais barata e mais rápida, sem mudança de aplicação. A AWS documenta isso como o padrão ETL padrão (CTAS/INSERT INTO).

5.4 Escolhendo o motor

---

6. Qualidade e preparação de dados: Data Wrangler e DataBrew

6.1 SageMaker Data Wrangler (agora dentro do SageMaker Canvas)

Exemplo 5, a pegada do vazamento. Um classificador pontua 99% nos dados de treino e 71% na validação separada. O relatório de Insights do Data Wrangler sinaliza uma coluna derivada da variável alvo. O diagnóstico é vazamento-alvo mais overfitting: remova ou derive com segurança a coluna vazada, depois reduza o overfitting com regularização ou dados mais representativos. Treinar mais tempo piora o problema, e deletar o conjunto de validação apenas o esconde, os distratores do exame propõem exatamente esses dois movimentos errados.

6.2 Rulesets e trabalhos de perfil do AWS Glue DataBrew

A distinção que o exame testa: DataBrew é a resposta de regras e perfis (um ruleset, um trabalho de perfil, um relatório JSON, um evento), enquanto Data Wrangler é a resposta de fluxo visual e transformação (300+ transformações, um Relatório de Insights que sinaliza vazamento, exportações para o Feature Store). Ambos são gerenciados: nenhum pede que você provisione um cluster Spark você mesmo.

• 📚 Você sabia? As regras de coluna do DataBrew rejeitam tipos complexos: você pode escrever uma regra para uma coluna string, number ou boolean, mas não para um struct aninhado. É por isso que a validação profunda de JSON pertence a um job do Glue ou a um fluxo do Data Wrangler, e é por isso que o documento do ruleset é deliberadamente raso por design.

---

7. Rotulagem humana: Ground Truth e A2I

7.1 O fluxo de rotulagem de doze etapas

7.2 Os números

Exemplo 6: a matemática da divisão de validação do active learning. 4.000 objetos (< 5.000) → validação = 20% = 800 objetos, restando 3.200 no loop. 20.000 objetos → validação = 10% = 2.000. Um trabalho com 800 objetos é rejeitado de imediato (abaixo do piso de 1.250); 5.000 é o piso fortemente recomendado. Note o que a aritmética não diz: 4.000 objetos é legal mas deixa apenas 3.200 para aprendizado, enquanto 5.000 custa 500 objetos de validação e ainda limpa o piso com folga.

Exemplo 7, o orçamento do bounding box. No notebook oficial de detecção de objetos da AWS, um rótulo de bounding box humano custa $0,08 + 5 ×$0,036 = $0,26, e um rótulo automático custa $0,08. Então 100 imagens rotuladas por humanos custam cerca de $26, enquanto 1.000 imagens com rotulagem automática chegam perto de $200 de ponta a ponta em cerca de 6 horas de tempo de execução total (cerca de 167 imagens/hora, um valor derivado de uma demonstração que também inclui overhead de treino e inferência, não um SLA da AWS). Trate os preços por objeto por faixa que você possa ter visto como históricos: a AWS agora comercializa o Ground Truth+ sem uma tabela pública por objeto.

7.3 Diagrama do fluxo

A distinção do A2I: O Amazon A2I serve para revisão humana de previsões do modelo, criado com CreateFlowDefinition e StartHumanLoop. Ele não tem consolidação de anotação, então não pode ser usado para mesclar votos de múltiplos workers em um rótulo de consenso: essa capacidade pertence ao AnnotationConsolidationLambdaArn do Ground Truth.

---

8. SageMaker Feature Store: online e offline

8.1 Os dois stores

8.2 Semântica de gravação e modos de capacidade

• Os dados de PutRecord são mantidos em buffer, agrupados e gravados no Amazon S3 em até 15 minutos;
• tiers online: Standard (padrão) e InMemory ("powered by Amazon ElastiCache (Redis OSS)"), ambos somente-online: sem replicação online→offline e sem chave KMS gerenciada pelo cliente para o InMemory;
• modos de capacidade: ON_DEMAND e PROVISIONED (exceder a capacidade provisionada faz throttle); um grupo pode ser alterado para on-demand uma vez a cada 24 horas, e o PROVISIONED é permitido apenas para grupos somente-offline ou Standard;
• o InMemory leva cerca de 10 to 15 minutos para provisionar.

Exemplo 8, a matemática da ingestão do Feature Store. A escala do exemplo da AWS é "lotes grandes (1 milhão de linhas de dados ou mais)". Como a saída de PutRecord é gravada no S3 em até 15 minutos, um trabalho de treino iniciado imediatamente após a ingestão pode esperar até 15 minutos pela cópia offline, enquanto o GetRecord atende a cópia online mais cedo. Em um dia, um store offline em formato Glue aterrissa 24 partições horárias, enquanto um store em formato Iceberg aterrissa 1 partição diária, nenhum dos dois é configurável.

---

9. Privacidade, PII e engenharia de dados segura com Amazon Macie

9.1 Como o Macie encontra dados sensíveis

9.2 Severidade: a tabela que você deve ser capaz de prever

Findings multi-tipo levam a severidade mais alta entre os tipos detectados.

Exemplo 9: a fila de triagem do Macie. Um objeto com 1 nome completo → Baixa; 50 nomes → Média; 150 nomes → Alta. Um objeto separado com 1 SSN → Alta imediatamente, porque identificadores do tipo SSN são Altos em qualquer contagem. Um objeto contendo 10 nomes (Média) e 5 números de passaporte (Alta) → a severidade da finding é Alta, porque findings multi-tipo levam a severidade mais alta. As filas são, portanto, priorizadas por sensibilidade do identificador, não por volume bruto.

O pareamento do Domínio 5: O Amazon Macie é o serviço nomeado pela AWS para descoberta de PII/PHI/credenciais no S3 e aparece na lista de serviços do Domínio 5 do AIF-C01. Pareie-o com o Amazon Comprehend para PII detectada dentro do texto em tempo de inferência, e com os filtros de coluna e linha do Lake Formation (seção 4) para controle de acesso. O Macie descobre o que existe lá; o Lake Formation decide quem pode vê-lo; o KMS decide como é criptografado.

• 📚 Você sabia? A descoberta automática do Macie não varre cada objeto continuamente: ela avalia o inventário do S3 diariamente com amostragem, e as findings de dados sensíveis são retidas por 90 dias. Se seu caso de conformidade precisa de um histórico forense completo, exporte as findings para o S3 ou o Security Hub; não assuma que elas vivem no Macie para sempre.

---

10. Preparando dados de treino para fine-tuning de foundation models

10.1 O formato não é negociável

O Amazon Bedrock afirma diretamente: "You create .jsonl files, where each line is a JSON object corresponding to a record." Registros não conversacionais carregam prompt e completion; registros conversacionais carregam um array messages com turnos alternados de user e assistant. A AWS também publica uma regra de estimativa: "Use approximately 6 characters per token to estimate … dataset size." Os arquivos vivem no S3 e são referenciados por trainingDataConfig.s3Uri e validationDataConfig.s3Uri no CreateModelCustomizationJob.

10.2 Limites publicados de conjuntos de dados

Um traço significa não publicado naquela tabela: nunca adivinhe um valor que a AWS não publicou.

10.3 Especificidades do Amazon Nova

• Fine-tuning de Understanding: 8 to 20k amostras, contexto de 32k, até 10 imagens por amostra (cada uma ≤ 10 MB), até 1 vídeo por amostra ≤ 90 segundos e ≤ 50 MB.
• Reinforcement fine-tuning: JSONL no formato de chat-completion da OpenAI com um array messages mais reference_answer, mínimo de 100 registros, um prompt por linha, e o Bedrock valida automaticamente o formato.

Exemplo 10: dimensionando um conjunto de dados Claude 3 Haiku. O piso é 32 registros, o teto é 10.000 registros de treino (mais 1.000 de validação), o teto de tokens é 32.000, e o teto do arquivo de treino é 10 GB. Usando a regra da AWS de ~6 caracteres por token, uma amostra de 4.096 tokens tem cerca de 24.576 caracteres (derivado), então o teto de ~1 GB prende muito depois do teto de registros para prompts curtos. O Llama 3.1/3.3 prende mais cedo: 100 to 10.000 registros e 16.000 tokens in+out. A tokenização varia, então trate o valor de 6 caracteres por token como um estimador, não uma garantia.

Exemplo 11: curadoria, governança e representatividade. A formulação do guia do exame para a Tarefa 3.3 é específica: os conjuntos de dados devem demonstrar inclusividade, diversidade, fontes de dados curadas e conjuntos equilibrados, e a preparação inclui curadoria de dados, governança, tamanho, rotulagem, representatividade e RLHF. Concretamente: deduplique antes de contar registros (um arquivo de 10.000 linhas com 3.000 duplicatas tem 7.000 registros efetivos, não 10.000); equilibre as classes antes de dividir; retenha um arquivo de validação dentro dos tetos de 1.000 registros acima; e remova PII com o Macie antes que o arquivo chegue ao trainingDataConfig.s3Uri.

---

11. Fatos conflitantes, não verificados e não examináveis

Mantenha isso fora do seu conjunto de memorização. Nada aqui deve aparecer como uma resposta confiante de exame.

Fontes primárias para esta lição: o Exam Guide do AIF-C01; as páginas do guia do desenvolvedor do SageMaker feature-store, feature-store-offline, feature-store-storage-configurations-online-store, sms, sms-create-labeling-job-api, sms-automated-labeling, data-wrangler, data-wrangler-transform; a referência de API do SageMaker API_CreateFeatureGroup, API_HumanTaskConfig; as páginas do guia do desenvolvedor do Glue sobre Parquet e conexões S3; o guia do usuário do Athena columnar-storage, ctas-insert-into-etl; a visão geral e a referência de permissões do Lake Formation; o guia do usuário do Macie data-classification, managed-data-identifiers, findings-severity; o guia do usuário do Bedrock model-customization-prepare, model-customization-submit, rft-prepare-data; o guia do usuário do Nova fine-tune-prepare-data-understanding; e as páginas de preços da AWS para Athena mais a comparação EMR vs. EMR Serverless.

---

12. Veredito comparativo e tabelas de resumo

12.1 Qualidade, rotulagem e governança num relance

12.2 Os cinco "padrões" examináveis

• 📚 Você sabia? O piso de cobrança do Athena é 10 MB por consulta, arredondado para o MB mais próximo. Instruções DDL e consultas com falha são gratuitas, mas consultas canceladas são cobradas, então "executar, observar e bater cancelar" não é uma estratégia gratuita. O hábito seguro mais barato é LIMIT mais um filtro de partição antes de se comprometer com uma varredura completa.

12.3 Atualizações de 2025 to 2026

O conjunto de mudanças verificadas de 2025 to 2026 toca esta lição em exatamente três lugares: os serviços de qualidade e rotulagem do SageMaker foram para manutenção, a busca corporativa foi para o Bedrock, e o próprio guia do exame foi revisado. Nada aqui é especulação: cada linha carrega o documento da AWS de onde veio.

Vocabulário de ciclo de vida (AWS General Reference, "Service lifecycle", 24/09/2026): Maintenance = sem novos clientes, sem novos recursos, ainda suportado · Sunset = fim planejado das operações, tipicamente um horizonte de 12 meses · Full Shutdown = removido do portfólio. A maioria dos distratores do exame erra isso transformando "maintenance" em "descontinuado", o serviço ainda roda para clientes existentes.

O que não mudou: nada no conjunto de atualizações verificadas de 2025 to 2026 altera os números do Glue, Athena, Lake Formation, Feature Store ou Macie memorizados nesta lição, o padrão do Glue de 10 workers × G.1X (mínimo documentado 2), o $5 por TB do Athena com piso de 10 MB, o buffer de gravação de 15 minutos do Feature Store, a retenção de findings de 90 dias do Macie e o modelo de duas camadas do Lake Formation continuam como escritos. A única primitiva de armazenamento genuinamente nova que vale a pena conhecer é o Amazon S3 Vectors, lançado no re:Invent 2025: a Sun Finance armazena seus embeddings de similaridade de fraude lá (seção 13), e as Knowledge Bases do Bedrock agora o aceitam como vector store.

• 📚 Você sabia? A AWS afirma que atualizações do exam guide aparecem no exame cerca de um mês após a publicação. O exam guide v1.0 saiu em 26/03/2026 e o v1.1 em 30/04/2026, então os sete novos objetivos (IA agêntica e MCP, engenharia de contexto, preços baseados em tokens, versionamento de prompts, detecção de alucinação e grounding, métricas de alinhamento de negócio, ML tradicional vs. FMs) estavam valendo a partir de meados de maio de 2026, e o exame ainda se chama AIF-C01.

---

13. Casos Reais

As seções 1 to 12 tiram seus números da documentação da AWS. Esta seção adiciona a outra metade da evidência: o que os clientes da AWS publicaram sobre executar esses mesmos serviços em produção. Cada número abaixo é uma afirmação de cliente publicada pela AWS (não auditada, e números "até" são tetos), recuperada em 6 de outubro de 2026 de aws.amazon.com/solutions/case-studies/* e aws.amazon.com/blogs/machine-learning/*.

13.1 Cinco pipelines de produção: serviços, números, fontes

Caso 1: Anthem: OCR pré-construído primeiro, humanos na cauda. Formulários de claim chegavam como digitalizações e imagens, e digitá-los à mão levava 20 minutos por claim a um custo que a AWS descreve na casa dos milhões. A Anthem escolheu o tier pré-construído que a seção 1.2 chama de padrão: o Amazon Textract realiza o OCR mais a extração de tabelas e formulários, e um passo de classificação roteia cada resultado. O resultado publicado é 80% do fluxo automatizado com 90%+ como meta em milhares de claims por dia. A consequência relevante para o exame é a cauda: os 10 to 20% restantes ainda precisam de um caminho de exceção humano, que é exatamente o problema que o Amazon A2I (seção 7) existe para resolver.

Caso 2, RareJob: o único cliente que executa o stack de catálogo desta lição. O avaliador do teste de fala PROGOS primeiro treinou no PC local de um desenvolvedor (um modelo por desenvolvedor) e depois em EC2 e ECS, e ambos esbarraram em filas em vez de na qualidade do modelo. A arquitetura entregue coloca AWS Glue e Amazon Athena na frente do treino managed spot do SageMaker: preparação de dados e SQL exploratório rodam nos serviços gerenciados enquanto jobs spot paralelos substituem a fila. O resultado publicado é −25% no tempo de treino, >10× na eficiência de desenvolvedor, 100 horas por mês recuperadas e notas retornadas em 2 to 3 minutos. Este é o Veredito Comparativo da seção 5 observado em produção, Glue e Athena são a camada de alimentação, nunca o modelo.

Caso 3: Sun Finance: o protótipo com falha documentado. 60% das solicitações de microcrédito precisavam de revisão manual, levando de 10 minutos a 20 horas cada. A primeira tentativa: enviar fotos de documentos de identidade direto para o Claude Sonnet 4 para extração em JSON: pontuou apenas 61,8% no geral e 43% em números de ID em um conjunto de avaliação de 585 imagens, e a AWS a rejeitou porque as proteções de privacidade do modelo bloqueiam a extração direta de PII. O pipeline entregue separa as preocupações que esta lição mantém separadas: Textract para OCR, Rekognition como fallback e tratamento de rosto, o LLM apenas para estruturar o texto já extraído, regras explícitas de validação, e Titan Multimodal Embeddings no Amazon S3 Vectors para busca por similaridade de fraude. A acurácia subiu de 79,73% → 90,80% (número de ID 74,32% → 89,40%, tipo de documento 78,43% → 96,40%), o custo por documento caiu 91%, e o processamento foi de 20 horas para menos de 5 segundos.

13.2 Antes e depois, lado a lado

• 📚 Você sabia? O Generative AI Innovation Center da AWS publica a única taxa de resultado de projeto de todo o seu corpus de casos: 65% dos projetos de IA generativa chegaram à produção em 2025 (alguns em apenas 45 dias), de mais de 1.000 implementações, avaliadas com o framework Five V's da AWS: Value → Visualize → Validate → Verify → Venture. Os outros 35% não entraram em produção, então planeje para iteração, não para uma linha reta do piloto à produção.

---

14. Perguntas de Prática (Practice Questions)