Ingeniería de datos para IA en AWS

Los modelos no fallan en el entrenamiento. Fallan porque la tabla en la que se entrenaron tenía una columna que filtraba el objetivo, porque se escaneó un CSV de 3 TB en lugar de 0,25 TB de Parquet, porque un trabajo de etiquetado salió hacia Mechanical Turk sin declarar que las imágenes estaban libres de información personal identificable, o porque un feature group servía lecturas en milisegundos en línea mientras la copia offline todavía se bufferizaba hacia Amazon S3. La ingeniería de datos es la etapa en la que los cuatro errores son baratos de corregir, y el examen AIF-C01 lo sabe: el Dominio 1 (Fundamentos de IA/ML) tiene un peso del 20%, el Dominio 2 (IA generativa) del 24%, el Dominio 3 (Aplicaciones de modelos fundacionales) del 28%, el Dominio 4 (IA responsable) del 14% y el Dominio 5 (Seguridad, cumplimiento y gobernanza) del 14%, y esta lección se cruza con la Tarea 1.3 (ciclo de vida de ML), la Tarea 3.3 (fine-tuning) y las afirmaciones de ingeniería de datos segura del Dominio 5.

Al final de esta lección podrás:

• dibujar el pipeline de datos extremo a extremo de un proyecto de IA y nombrar el servicio de AWS en cada salto;
• elegir entre CSV, Parquet y JSONL y predecir la consecuencia de coste de esa elección en Athena;
• escoger el motor de procesamiento correcto, Glue frente a EMR frente a Athena frente a un script manual, y defenderlo;
• aplicar el modelo de autorización de dos capas de Lake Formation y nombrar el permiso que el acceso subyacente a S3 exige además;
• configurar un trabajo de etiquetado con Ground Truth de principio a fin, incluida la declaración de PII que lo hace o lo rompe;
• dimensionar una ejecución de etiquetado automatizado (suelo de 1.250, recomendación de 5.000, split de validación 20%/10%);
• explicar las tiendas online y offline de Feature Store, sus reglas de particionado y el buffer de escritura de 15 minutos;
• usar Macie para descubrir PII en S3 y predecir la severidad de un hallazgo;
• preparar un dataset de fine-tuning .jsonl para Amazon Bedrock y verificarlo contra los topes publicados por modelo;
• responder diez preguntas al estilo del examen con la voz oficial de las preguntas de práctica.

---

1. Dónde encaja esta lección en el examen

1.1 Las declaraciones de tarea para las que estás estudiando

La Exam Guide de AIF-C01 es el contrato. Tres declaraciones hacen que esta lección sea examinable:

1.2 La matriz herramienta-por-tarea

Esta tabla es el artefacto más reutilizable de la lección. Aprende la columna izquierda (la tarea) y la columna central (la herramienta principal); la columna derecha es donde viven los distractores del examen.

• 📚 ¿Sabías que…? El Glue Data Catalog es compatible con Hive, que es la razón por la que Athena, EMR y el formato de tabla Glue del Feature Store pueden leer la misma definición de tabla. El propio blog de Big Data de AWS (2024) documenta que los crawlers de Glue detectan esquemas en Apache Iceberg, Apache Hudi y Apache Delta Lake: así que «qué formato de tabla» es ahora una decisión de gobernanza, no una limitación de catalogación.

---

2. El pipeline de datos de extremo a extremo

2.1 Un diagrama, once saltos

2.2 Por qué importa el orden

Cada salto existe para eliminar una clase de fallo:

---

3. Almacenamiento y formatos de datos: CSV frente a Parquet frente a JSONL

3.1 La comparación que decide tu factura de Athena

3.2 Los números detrás de los valores por defecto

Ejemplo 1, la decisión de formato, con las propias cifras de AWS. Toma una tabla de texto de cuatro columnas sin comprimir de 3 TB en S3. Una consulta que lee una columna escanea los 3 TB completos: 3 TB × $5/TB = $15,00. Aplica GZIP a razón de 3:1 y la misma tabla pasa a 1 TB → $5,00. Conviértela a Parquet y la consulta lee solo la columna referenciada: 1 TB ÷ 4 = 0,25 TB × $5/TB = $1,25. Eso es 12 veces más barato que la línea base, 3× por la compresión y 4× por el recorte de columnas. AWS publica este ejemplo resuelto exacto en su página de precios de Athena.

• 📚 ¿Sabías que…? La agrupación groupFiles de Glue solo se activa automáticamente cuando la entrada supera los 50.000 archivos. Por debajo de ese umbral tienes que fijar tú mismo "groupFiles": "inPartition": de lo contrario, un directorio de archivos pequeños se convierte en un directorio de muchos archivos Parquet diminutos, que es exactamente el problema de archivos pequeños que Athena te cobra por leer.

---

4. Catálogo y gobernanza: Glue Data Catalog y Lake Formation

4.1 Dos familias de permisos, no una

AWS Lake Formation documenta dos familias de permisos: permisos sobre el Data Catalog (bases de datos y tablas) y permisos sobre los datos y ubicaciones de datos subyacentes (prefijos de S3). De ahí salen tres reglas, y las tres son examinables:

1. un principal necesita tanto permisos de Lake Formation como permisos de IAM;
2. el acceso de lectura/escritura subyacente exige además lakeformation:GetDataAccess;
3. una configuración solo-IAM existe únicamente concediendo Super a IAMAllowedPrincipals.

4.2 Permisos de tabla

4.3 Qué reemplazó a las Governed Tables

Ejemplo 2, filtrado de columnas y filas en la práctica. Una tabla de analítica de RR. HH. tiene las columnas employee_id, department, salary_band y ssn. Un permiso SELECT de Lake Formation con un filtro de columna puede excluir ssn por completo para el rol de analista, mientras que un filtro de fila (DataCellsFilter) puede restringir las filas a department = 'Ops'. Ninguna de las dos cosas es posible con un simple permiso de prefijo de S3, que es precisamente el lenguaje de «control de acceso a los datos» e «integridad de los datos» del Dominio 5.

• 📚 ¿Sabías que…? El permiso SELECT de Lake Formation es el único permiso de tabla documentado que admite filtros de datos a nivel de fila y celda. Todo lo demás de la lista de permisos de tabla (INSERT, DELETE, ALTER, DROP, DESCRIBE) es todo-o-nada a nivel de tabla o de columna.

---

5. Motores de procesamiento: Glue, EMR y Athena

5.1 Datos de facturación y escala

5.2 Tamaños de worker de Glue

Ejemplo 3: dimensionar Glue correctamente. El patrón de conversión a Parquet de Prescriptive Guidance de AWS ejecuta 2 workers: el mínimo documentado: en lugar del valor por defecto de la consola 10 × G.1X, que son 5 veces menos DPUs asignados para el mismo job de conversión. Un job de shell Python configurado a 0,0625 DPU (1 GB) en lugar de 1 DPU (16 GB) usa 16 veces menos memoria y se factura proporcionalmente. El examen recompensa el patrón «empieza por el mínimo, escala con evidencia», no el valor por defecto de la consola.

5.3 Reglas de precios de Athena

Ejemplo 4: el bucle de conversión con CTAS. Un equipo mantiene una tabla CSV en bruto, ejecuta CTAS (CREATE TABLE … AS SELECT) para escribir Parquet con compresión Snappy particionado por año, aterriza en 1,2 GB y apunta el panel de aguas abajo hacia la tabla nueva. La consulta escanea solo las columnas referenciadas de una partición: más barata y más rápida, sin cambio alguno en la aplicación. AWS documenta esto como el patrón ETL estándar (CTAS/INSERT INTO).

5.4 Elegir el motor

---

6. Calidad y preparación de datos: Data Wrangler y DataBrew

6.1 SageMaker Data Wrangler (ahora dentro de SageMaker Canvas)

Ejemplo 5, la detección de la fuga. Un clasificador puntúa 99% sobre datos de entrenamiento y 71% sobre la validación retenida. El informe Insights de Data Wrangler señala una columna derivada de la variable objetivo. El diagnóstico es fuga de destino más sobreajuste: elimina o deriva de forma segura la columna filtrada, y después reduce el sobreajuste con regularización o con datos más representativos. Entrenar más tiempo lo empeora, y borrar el set de validación solo lo oculta, los distractores del examen proponen exactamente esos dos movimientos equivocados.

6.2 Juegos de reglas y jobs de perfil de AWS Glue DataBrew

La distinción que el examen prueba: DataBrew es la respuesta de reglas y perfiles (un juego de reglas, un job de perfil, un informe JSON, un evento), mientras que Data Wrangler es la respuesta de flujo y transformación visual (más de 300 transformaciones, un Insights Report que señala fuga, exportaciones al Feature Store). Ambos son gestionados: ninguno te pide aprovisionar un clúster de Spark tú mismo.

• 📚 ¿Sabías que…? Las reglas de columna de DataBrew rechazan los tipos complejos: puedes escribir una regla para una columna string, number o boolean, pero no para un struct anidado. Esa es la razón por la que la validación profunda de JSON pertenece a un job de Glue o a un flujo de Data Wrangler, y por la que el documento de juego de reglas es deliberadamente poco profundo por diseño.

---

7. Etiquetado humano: Ground Truth y A2I

7.1 El flujo de etiquetado de doce pasos

7.2 Los números

Ejemplo 6: la aritmética del split de validación por aprendizaje activo. 4.000 objetos (< 5.000) → validación = 20% = 800 objetos, quedando 3.200 en el bucle. 20.000 objetos → validación = 10% = 2.000. Un trabajo con 800 objetos se rechaza de plano (por debajo del suelo de 1.250); 5.000 es el suelo recomendado con firmeza. Observa lo que la aritmética no dice: 4.000 objetos es legal pero deja solo 3.200 para el aprendizaje, mientras que 5.000 cuesta 500 objetos de validación y aún supera el suelo con margen.

Ejemplo 7, el presupuesto de bounding boxes. En el notebook oficial de ejemplo de detección de objetos de AWS, una etiqueta de bounding box humana cuesta $0,08 + 5 ×$0,036 = $0,26, y una etiqueta automática cuesta $0,08. Así que 100 imágenes etiquetadas por humanos rondan los $26, mientras que 1.000 imágenes con etiquetado automático aterrizan cerca de $200 de principio a fin en unas 6 horas de tiempo total de ejecución (unas 167 imágenes/hora, una cifra derivada de una demo que también incluye la sobrecarga de entrenamiento e inferencia, no un SLA de AWS). Trata los tramos de precio por objeto que hayas podido ver como históricos: AWS comercializa ahora Ground Truth+ sin una tabla pública por objeto.

7.3 Diagrama del flujo

La distinción de A2I: Amazon A2I es para la revisión humana de predicciones del modelo, creada con CreateFlowDefinition y StartHumanLoop. No tiene consolidación de anotaciones, así que no puede usarse para fusionar varios votos de trabajadores en una etiqueta de consenso: esa capacidad pertenece al AnnotationConsolidationLambdaArn de Ground Truth.

---

8. SageMaker Feature Store: online y offline

8.1 Las dos tiendas

8.2 Semántica de escritura y modos de capacidad

• Los datos de PutRecord están bufferizados, agrupados y escritos en Amazon S3 en un plazo de 15 minutos;
• niveles online: Standard (por defecto) e InMemory («powered by Amazon ElastiCache (Redis OSS)»), ambos solo online; sin replicación de online→offline y sin clave KMS gestionada por el cliente para InMemory;
• modos de capacidad: ON_DEMAND y PROVISIONED (superar la capacidad aprovisionada limita las peticiones); un grupo puede cambiarse a on-demand una vez cada 24 horas, y PROVISIONED solo se permite en grupos solo-offline o Standard;
• InMemory tarda aproximadamente 10 to 15 minutos en aprovisionarse.

Ejemplo 8, la aritmática de ingestión de Feature Store. La escala del ejemplo de AWS es «lotes grandes (1 millón de filas de datos o más)». Como la salida de PutRecord se vuelca a S3 en un plazo de 15 minutos, un job de entrenamiento iniciado inmediatamente después de la ingestión puede esperar hasta 15 minutos a la copia offline, mientras que GetRecord sirve la copia online antes. A lo largo de un día, una tienda offline en formato Glue aterriza 24 particiones horarias, mientras que una tienda en formato Iceberg aterriza 1 partición diaria, ninguna de las dos es configurable.

---

9. Privacidad, PII e ingeniería de datos segura con Amazon Macie

9.1 Cómo Macie encuentra datos sensibles

9.2 Severidad: la tabla que debes poder predecir

Los hallazgos de tipos múltiples toman la severidad más alta entre los tipos detectados.

Ejemplo 9: la cola de triaje de Macie. Un objeto con 1 nombre completo → Low; 50 nombres → Medium; 150 nombres → High. Un objeto distinto con 1 SSN → High de inmediato, porque los identificadores tipo SSN son High sin importar el recuento. Un objeto que contiene 10 nombres (Medium) y 5 números de pasaporte (High) → la severidad del hallazgo es High, porque los hallazgos de tipos múltiples toman la severidad más alta. Las colas se priorizan por sensibilidad del identificador, no por volumen en bruto.

El emparejamiento del Dominio 5: Amazon Macie es el servicio nombrado por AWS para el descubrimiento de PII/PHI/credenciales en S3 y aparece en la lista de servicios del Dominio 5 del AIF-C01. Emparéjalo con Amazon Comprehend para la PII detectada dentro del texto en tiempo de inferencia, y con los filtros de columna y de fila de Lake Formation (sección 4) para el control de acceso. Macie descubre qué hay allí; Lake Formation decide quién puede verlo; KMS decide cómo se cifra.

• 📚 ¿Sabías que…? El descubrimiento automático de Macie no escanea cada objeto de forma continua: evalúa el inventario de S3 a diario con muestreo, y los hallazgos de datos sensibles se guardan durante 90 días. Si tu historia de cumplimiento necesita un historial forense completo, exporta los hallazgos a S3 o a Security Hub; no asumas que viven en Macie para siempre.

---

10. Preparar datos de entrenamiento para el fine-tuning de modelos fundacionales

10.1 El formato no es negociable

Amazon Bedrock lo dice directamente: «Creas archivos .jsonl, donde cada línea es un objeto JSON que corresponde a un registro.» Los registros no conversacionales llevan prompt y completion; los conversacionales llevan un array messages con turnos alternos de user y assistant. AWS también publica una regla de estimación: «Usa aproximadamente 6 caracteres por token para estimar … el tamaño del dataset.» Los archivos viven en S3 y se referencian mediante trainingDataConfig.s3Uri y validationDataConfig.s3Uri en CreateModelCustomizationJob.

10.2 Límites publicados de datasets

Un guion significa no publicado en esa tabla: nunca adivines un valor que AWS no haya publicado.

10.3 Detalles de Amazon Nova

• Fine-tuning de Understanding: 8 to 20k muestras, contexto de 32k, hasta 10 imágenes por muestra (cada una ≤ 10 MB), hasta 1 vídeo por muestra de ≤ 90 segundos y ≤ 50 MB.
• Reinforcement fine-tuning: JSONL en formato de chat-completion de OpenAI con un array messages más reference_answer, mínimo 100 registros, un prompt por línea, y Bedrock valida automáticamente el formato.

Ejemplo 10: dimensionar un dataset de Claude 3 Haiku. El suelo es de 32 registros, el techo es de 10.000 registros de entrenamiento (más 1.000 de validación), el tope de tokens es de 32.000 y el tope del archivo de entrenamiento es de 10 GB. Usando la regla de AWS de ~6 caracteres por token, una muestra de 4.096 tokens ronda los 24.576 caracteres (derivado), así que el tope de ~1 GB limita mucho más tarde que el tope de registros para prompts cortos. Llama 3.1/3.3 limita antes: 100 to 10.000 registros y 16.000 tokens in+out. La tokenización varía, así que trata la cifra de 6 caracteres por token como un estimador, no como una garantía.

Ejemplo 11: curación, gobernanza y representatividad. La redacción de la guía del examen para la Tarea 3.3 es específica: los datasets deben mostrar inclusividad, diversidad, fuentes de datos curadas y datasets equilibrados, y la preparación incluye curación de datos, gobernanza, tamaño, etiquetado, representatividad y RLHF. En concreto: deduplica antes de contar registros (un archivo de 10.000 líneas con 3.000 duplicados son 7.000 registros efectivos, no 10.000); equilibra las clases antes de dividir; reserva un archivo de validación dentro de los techos de 1.000 registros de arriba; y elimina la PII con Macie antes de que el archivo llegue a trainingDataConfig.s3Uri.

---

11. Datos contradictorios, no verificables y no examinables

Mantén esto fuera de tu set de memorización. Nada de lo de aquí debe aparecer como una respuesta de examen confiada.

Las fuentes primarias de esta lección son: la Exam Guide de AIF-C01; las páginas de la guía de desarrollador de SageMaker feature-store, feature-store-offline, feature-store-storage-configurations-online-store, sms, sms-create-labeling-job-api, sms-automated-labeling, data-wrangler, data-wrangler-transform; la referencia de API de SageMaker API_CreateFeatureGroup, API_HumanTaskConfig; las páginas de Parquet y conexiones S3 de la guía de desarrollador de Glue; la guía de usuario de Athena columnar-storage, ctas-insert-into-etl; el resumen y la referencia de permisos de Lake Formation; la guía de usuario de Macie data-classification, managed-data-identifiers, findings-severity; la guía de usuario de Bedrock model-customization-prepare, model-customization-submit, rft-prepare-data; la guía de usuario de Nova fine-tune-prepare-data-understanding; y las páginas de precios de AWS de Athena más la comparación entre EMR y EMR Serverless.

---

12. Veredicto comparativo y tablas de resumen

12.1 Calidad, etiquetado y gobernanza de un vistazo

12.2 Los cinco «valores por defecto» examinables

• 📚 ¿Sabías que…? El suelo de facturación de Athena es de 10 MB por consulta, redondeado al MB más cercano. Las sentencias DDL y las consultas fallidas son gratis, pero las consultas canceladas se facturan: así que «ejecutarla, mirarla y pulsar cancelar» no es una estrategia gratuita. El hábito seguro más barato es LIMIT más un filtro de partición antes de comprometerte con un escaneo completo.

12.3 Actualizaciones de 2025 to 2026

El conjunto de cambios verificado de 2025 to 2026 toca esta lección en exactamente tres sitios: los servicios de calidad y etiquetado de SageMaker pasaron a mantenimiento, la búsqueda empresarial se trasladó a Bedrock, y la propia guía del examen se revisó. Nada de lo de aquí es especulación: cada fila lleva el documento de AWS del que procede.

Vocabulario de ciclo de vida (Referencia General de AWS, «Service lifecycle», 24 sep 2026): Mantenimiento = sin nuevos clientes, sin nuevas funciones, aún con soporte · Retirada planificada = fin de operaciones planificado, normalmente con un horizonte de 12 meses · Apagado completo = eliminado del portafolio. La mayoría de los distractores del examen se equivocan aquí convirtiendo «mantenimiento» en «descontinuado»: el servicio sigue funcionando para los clientes existentes.

Lo que no cambió: nada del conjunto de actualizaciones verificado de 2025 to 2026 altera las cifras de Glue, Athena, Lake Formation, Feature Store o Macie memorizadas en esta lección: el valor por defecto de Glue de 10 workers × G.1X (mínimo documentado 2), el $5 por TB de Athena con un suelo de 10 MB, el buffer de escritura de 15 minutos de Feature Store, la retención de hallazgos de 90 días de Macie y el modelo de dos capas de Lake Formation siguen tal cual están escritos. La única primitiva de almacenamiento genuinamente nueva que vale la pena conocer es Amazon S3 Vectors, lanzada en re:Invent 2025: Sun Finance guarda allí sus embeddings de similitud de fraude (sección 13), y las Knowledge Bases de Bedrock la aceptan ahora como store de vectores.

• 📚 ¿Sabías que…? AWS afirma que las actualizaciones de la guía del examen aparecen en el examen aproximadamente un mes después de su publicación. La guía del examen v1.0 se publicó el 26 mar 2026 y la v1.1 el 30 abr 2026, así que los siete objetivos nuevos (IA agéntica y MCP, ingeniería de contexto, precios basados en tokens, versionado de prompts, detección de alucinaciones y grounding, métricas de alineación con el negocio, ML tradicional frente a MF) fueron materia válida desde aproximadamente finales de mayo de 2026, y el examen sigue llamándose AIF-C01.

---

13. Casos Reales

Las secciones 1 to 12 toman sus cifras de la documentación de AWS. Esta sección añade la otra mitad de la evidencia: lo que los clientes de AWS publicaron sobre la ejecución de esos mismos servicios en producción. Cada cifra de abajo es una afirmación de un cliente publicada por AWS (sin auditar, y las cifras de «hasta» son techos), recuperada el 6 de octubre de 2026 de aws.amazon.com/solutions/case-studies/* y aws.amazon.com/blogs/machine-learning/*.

13.1 Cinco pipelines de producción: servicios, cifras, fuentes

Expediente de caso 1: Anthem: primero el OCR preconstruido, los humanos en la cola. Los formularios de reclamación llegaban como escaneos e imágenes, y teclearlos a mano tomaba 20 minutos por reclamación a un coste que AWS describe como millonario. Anthem eligió la capa preconstruida que la sección 1.2 llama por defecto: Amazon Textract realiza el OCR más la extracción de tablas y formularios, y un paso de clasificación enruta cada resultado. El resultado publicado es el 80% del flujo automatizado con un objetivo de 90%+ a través de miles de reclamaciones por día. La consecuencia relevante para el examen es la cola: el 10 to 20% restante todavía necesita una ruta de excepción humana, que es exactamente el problema que Amazon A2I (sección 7) existe para resolver.

Expediente de caso 2, RareJob: el único cliente que ejecuta este stack de catálogo. El puntuador de pruebas de habla PROGOS primero entrenó en el PC local de un desarrollador (un modelo por desarrollador) y después en EC2 y ECS, y ambos se bottleneckizaron en la cola en lugar de en la calidad del modelo. La arquitectura entregada pone AWS Glue y Amazon Athena delante del entrenamiento gestionado con spot de SageMaker: la preparación de datos y el SQL exploratorio corren en los servicios gestionados mientras los jobs paralelos con spot reemplazan la cola. El resultado publicado es −25% de tiempo de entrenamiento, > 10× de eficiencia de los desarrolladores, 100 horas al mes recuperadas y puntuaciones devueltas en 2 to 3 minutos. Este es el Veredicto comparativo de la sección 5 observado en producción, Glue y Athena son la capa de alimentación, nunca el modelo.

Expediente de caso 3: Sun Finance: el prototipo fallido documentado. El 60% de las solicitudes de microcrédito necesitaban revisión manual, tomando entre 10 minutos y 20 horas cada una. El primer intento: enviar fotos de documentos de identidad directamente a Claude Sonnet 4 para extracción en JSON: puntuó solo 61,8% en total y 43% en los números de documento sobre un set de evaluación de 585 imágenes, y AWS lo rechazó porque las protecciones de privacidad del modelo bloquean la extracción directa de PII. El pipeline entregado separa las responsabilidades que esta lección mantiene separadas: Textract para el OCR, Rekognition como fallback y manejo de rostros, el LLM solo para estructurar el texto ya extraído, reglas explícitas de validación y Titan Multimodal Embeddings en Amazon S3 Vectors para la búsqueda por similitud de fraude. La precisión subió de 79,73% → 90,80% (número de documento 74,32% → 89,40%, tipo de documento 78,43% → 96,40%), el coste por documento bajó 91%, y el procesamiento pasó de 20 horas a menos de 5 segundos.

13.2 Antes y después, lado a lado

• 📚 ¿Sabías que…? El Generative AI Innovation Center de AWS publica la única tasa de resultados de proyectos de todo su corpus de casos: el 65% de sus proyectos de IA generativa llegó a producción en 2025 (algunos en tan solo 45 días), de más de 1.000 implementaciones, evaluadas con el marco de las Five V's de AWS: Value → Visualize → Validate → Verify → Venture. El otro 35% no se entregó, así que planifica iteración en lugar de una línea recta desde el piloto hasta producción.

---

14. Preguntas de Práctica (Practice Questions)