Patrones de ingesta por lotes: DMS, AppFlow, DataSync y Transfer Family

La lección 04 puso un formato de tabla transaccional encima de Amazon S3. Esta lección es todo lo que ocurre antes de eso: la capa que mueve bytes. Un lakehouse con una capa silver de Iceberg perfecta y un servicio de ingesta mal elegido es un lakehouse con una ventana de lote de dos semanas, una carpeta bronze duplicada y un contrato con un socio que no puedes renegociar.

La verdad incómoda de la ingesta por lotes es que la elección casi nunca versa sobre el throughput. Cada servicio de esta lección mueve los datos. La elección es sobre quién controla la fuente (tú, una API de un proveedor, el cliente SFTP de un socio, un share montado), si los cambios deben seguir fluyendo y cómo se forma la factura: horas fijas frente a gigabytes.

En esta lección:

• recorrerás la matriz de selección de servicios, del tipo de fuente al servicio, y defenderás cada fila frente a los dos finalistas;
• configurarás AWS DMS con carga completa + CDC hacia Amazon S3: DataFormat=parquet, CdcMaxBatchInterval/CdcMinFileSize, IncludeOpForFullLoad, TimestampColumnName, TargetTablePrepMode, modos de carga en paralelo y GlueCatalogGeneration;
• nombrarás las limitaciones del destino S3 que deciden si tu capa bronze es un aterrizaje limpio o un generador de duplicados;
• construirás extracciones incrementales de AppFlow: horarios, eventos, filtros, offsets y el techo de 15 GB de Salesforce;
• colocarás agentes de DataSync, elegirás Basic frente a Enhanced, programarás ejecuciones con TransferMode=CHANGED y leerás la historia de verificación;
• levantarás endpoints, workflows y conectores de Transfer Family y los precios por hora de protocolo;
• usarás S3 File Gateway para escrituras NFS/SMB híbridas y conocerás su brecha de durabilidad;
• declararás correctamente las fechas del retiro de Snowball Edge (Snowcone 2024, nuevos clientes 2025-11-07, fin de soporte 2026-12-31);
• aplicarás los cuatro patrones de aterrizaje idempotente: claves deterministas, manifiestos, promoción atómica y MERGE desde staging;
• compararás las formas del coste entre tarifa fija por hora y por GB antes de comprometerte con una arquitectura;
• recorrerás un flujo resuelto de DMS → bronze → Glue → silver Iceberg de principio a fin;
• estudiarás dos casos de clientes de AWS con nombre (FINRA, Transport for NSW) y un cuadro de actualizaciones de octubre de 2026 con fuentes;
• practicarás con 13 preguntas tipo examen más tres comprobaciones interactivas.

---

1. Selección de servicios: del tipo de fuente al servicio

1.1 La matriz

Esta es la lección entera en una tabla. Cada fila es una restricción, no una preferencia: lee primero la columna izquierda.

1.2 El flujo de decisión

Dos reglas que codifica el flujo, ambas examinables:

1. Copiar frente a servir. DataSync copia desde una location hacia otra y termina. File Gateway sirve un share vivo cuyas escrituras resultan en S3. Resuelven mitades distintas de «los datos están en NFS».
2. Protocolo frente a API. Transfer Family preserva un protocolo que controla el socio; AppFlow preserva la API de un proveedor con sus límites de tasa y su paginación. Ninguno sustituye al otro: AppFlow no tiene conector SFTP, y Transfer Family no puede paginar Salesforce.

• 📚 ¿Sabías que…? DMS nombra su salida en S3 de forma mecánica: los ficheros de carga completa llevan un contador hexadecimal incremental (LOAD00001.csv, LOAD00002.csv, …) mientras los ficheros CDC se nombran con timestamps (20141029-1134010000.csv), y cada tabla de origen no vacía recibe su propia carpeta bajo la ruta de destino (docs del destino S3 de AWS DMS, consultados 2026-10). Ese esquema de nombres es la razón por la que un aterrizaje idempotente puede razonarse en absoluto: puedes distinguir un fichero de carga de un fichero de cambios solo con la clave.

---

2. AWS DMS: carga completa + CDC hacia Amazon S3

2.1 Los tres tipos de tarea, reenunciados para el lakehouse

Para un lakehouse el destino no es otra base de datos: es un prefijo en S3, y ahí es donde esto se diferencia de todo tutorial de migración que hayas leído.

2.2 Ajustes del destino S3 que realmente importan

AWS documenta los ajustes del destino S3 que usarás en producción. Agrupados por propósito (docs del destino S3 de AWS DMS y referencia de la API S3Settings, consultados 2026-10):

2.3 La cronología de carga completa + CDC en S3

Dos cosas de S3 cambian el panorama frente a un destino de base de datos:

• S3 no tiene claves primarias, no tiene actualizaciones y no tiene integridad referencial (centro de conocimiento de AWS re:Post, 2026-02-09). Los ficheros CDC son por tanto ficheros de eventos, no estados de tabla. La deduplicación y el orden son tu trabajo aguas abajo, y para eso existen TimestampColumnName y la columna op.
• El orden de transacciones no se preserva por defecto. Los docs declaran que «de forma predeterminada para el CDC, AWS DMS almacena los cambios de fila de cada tabla de la base de datos sin tener en cuenta el orden de transacciones». Para CSV puedes fijar PreserveTransactions=true con CdcPath; para Parquet añades TimestampColumnName y reconstruyes el orden en el trabajo de Glue.

2.4 Carga completa en paralelo y preparación de la tabla de destino

Ese quinto punto es la frase más importante de toda la lección: bronze es una superficie de schema-on-read. Los ficheros viejos conservan las formas viejas para siempre. Solo una capa silver de Iceberg más una entrada en el catálogo de Glue restaura la semántica de schema-on-write (lección 04), y ese es exactamente el flujo de la §11.

2.5 Ejemplo resuelto E1: dimensionado de CDC amigable para Athena (en octubre de 2026)

El propio paso a paso de SQL Server a data lake de AWS te da los dos ajustes y el motivo:

«Como planeamos usar Amazon Athena para consultar datos de nuestro bucket de Amazon S3, necesitamos asegurarnos de que el tamaño de nuestros ficheros de destino sea al menos 64 MB. Especifica los siguientes ajustes de endpoint: CdcMaxBatchInterval=3600 y CdcMinFileSize=64000.» (SBS de AWS DMS, consultado 2026-10)

La cadena examinable: Athena quiere ficheros de ≥ 64 MB → CdcMinFileSize=64000 KB y CdcMaxBatchInterval=3600 s → Parquet aterriza más pequeño que el objetivo por la compresión → así que un supuesto ingenuo de «un fichero por hora» es erróneo para Parquet y correcto para CSV.

---

3. Amazon AppFlow: de SaaS a S3 con extracciones incrementales

3.1 Conectores, triggers y el contrato incremental

Los valores de ConnectorType de origen de AppFlow incluyen Salesforce, Slack, Servicenow, SAPOData (SAP), Zendesk, Marketo, Googleanalytics, Datadog, S3, Redshift, Snowflake, CustomConnector y EventBridge, entre otros; los destinos para flujos de Salesforce incluyen Amazon S3, Amazon Redshift, Amazon EventBridge, Snowflake y Zendesk (docs de CloudFormation SourceFlowConfig y guía del conector de Salesforce, consultados 2026-10).

3.2 Ejemplo resuelto E2: lo que cuesta una extracción programada de Salesforce (en octubre de 2026)

La página de precios de AWS publica la aritmética en lugar de una tabla de tarifas. De los ejemplos de us-east-1 y Fráncfort (consultados 2026-10): $0.001 por ejecución exitosa de flujo, $0.02 por GB procesado, y, lo crítico, «las ejecuciones de flujo para comprobar si hay datos nuevos contarán hacia el coste de tus ejecuciones de flujo, incluso si no hay datos nuevos disponibles.»

Dos consecuencias de diseño salen de la página de precios, no de la lista de funcionalidades:

1. Una cadencia de sondeo es una línea de factura. Comprobar cada cinco minutos cuesta 8,640 ejecuciones/mes en un mes de 30 días, haya cambiado algo o no. Fija el horario a partir de la frescura que necesita el consumidor.
2. La primera extracción de 30 días es un evento de deduplicación. Tu capa bronze recibe un mes de historial en la primera ejecución y deltas a partir de ahí, así que el aterrizaje debe ser idempotente (§9) o el bronze del primer día duplicará cualquier cosa que también llegue por otra vía.

• 📚 ¿Sabías que…? AppFlow factura la comprobación, no solo el cambio: la propia página de precios de AWS declara que las ejecuciones «para comprobar si hay datos nuevos contarán hacia el coste de tus ejecuciones de flujo, incluso si no hay datos nuevos disponibles». Para los flujos de SAP, AWS muestra en su lugar un multiplicador de concurrencia, «aplicas 9 procesos concurrentes … (1+9) x $0.001 (coste del flujo)», así que la paralelismo multiplica los cargos por ejecución en lugar de ahorrarlos (precios de AWS AppFlow, consultados 2026-10).

---

4. AWS DataSync: agentes, modos de tarea, horarios, verificación

4.1 ¿Agente o agentless?

Una tarea de DataSync copia entre dos locations. Si necesitas un agente lo decide dónde viven esas locations (docs de AWS DataSync, consultados 2026-10):

Reglas que muerden en producción:

• Una location puede alojar hasta cuatro agentes en modo Basic y hasta cuatro agentes en modo Enhanced, y «todos los agentes asociados a una location deben estar en línea antes de que puedas iniciar tu tarea de transferencia. Si uno de los agentes está fuera de línea, no puedes ejecutar tu tarea.» Multi-agente da velocidad, no failover.
• Los agentes en modo Enhanced y los agentes en modo Basic no son intercambiables para la misma location.
• NFS usa por defecto la versión 4.1 (también 4.0 y 3.x) sobre TCP 2049 (más 111 para v3); las exportaciones de destino necesitan no_root_squash, y DataSync no copia los ACL de NFSv4.

4.2 Modos de tarea Basic frente a Enhanced

Opciones de tarea que vale la pena memorizar: TransferMode=CHANGED, VerifyMode=ONLY_FILES_TRANSFERRED, ObjectTags=PRESERVE, LogLevel=TRANSFER, más filtros/manifiestos y replicación de borrados opcional (borra en el destino lo que ya no existe en el origen). La programación es por hora, día o semana directamente en la consola.

4.3 Ejemplo resuelto E3: 20 TB de NFS a S3, Basic frente a Enhanced (en octubre de 2026)

Con las tarifas impresas en los propios ejemplos resueltos de AWS en la página de precios de DataSync (consultados 2026-10):

Lee la trampa antes de copiar nada. El Storage Blog de AWS advierte que los objetos sembrados en un bucket por otras herramientas carecen de metadatos de DataSync, así que DataSync ejecuta HEAD + GET + una copia en el sitio, y los objetos en clases de almacenamiento de archivo no pueden hacer GET en absoluto, forzando una retransmisión completa por el cable (más una versión nueva si el versionado está activo). El consejo del blog: «usa DataSync para realizar la transferencia inicial a S3 siempre que sea posible» y considera suspender el versionado de S3 en el bucket. Haz la primera sincronización con DataSync hacia un bucket vacío.

• 📚 ¿Sabías que…? La detección de «cambiado desde la última ejecución» de DataSync depende de los propios metadatos de DataSync. El blog de AWS afirma que DataSync «copia automáticamente cada fichero como un único objeto de S3 en una relación 1:1, y preserva los metadatos POSIX del fichero de origen como metadatos del objeto de Amazon S3», y que los objetos subidos por otras herramientas activan la ruta HEAD+GET+COPY (AWS Storage Blog, 2021-08-24). Un pipeline híbrido donde un feed SFTP de un socio y DataSync escriban el mismo prefijo pagará por re-copias para siempre.

---

5. AWS Transfer Family: protocolos de socio hacia el lago

5.1 Qué es

Transfer Family es un endpoint totalmente gestionado que habla SFTP (v3), FTPS, FTP, AS2 o un navegador, respaldado por Amazon S3 o Amazon EFS, que «soporta hasta 3 zonas de disponibilidad y está respaldado por una flota escalable y redundante.»

5.2 Ejemplo resuelto E4: la factura del feed de socios (en octubre de 2026)

---

6. Amazon S3 File Gateway: escrituras NFS híbridas que aterrizan en S3

Un appliance de S3 File Gateway (VM, hardware o EC2) exporta shares NFS v3/v4.1 o SMB v2/v3; «los ficheros escritos en un share de ficheros se convierten en objetos de Amazon S3, con la ruta como clave. Existe una correspondencia uno a uno entre ficheros y objetos.»

La brecha de durabilidad es el punto operativo: las escrituras son duraderas solo después de que la caché se vacíe, así que AWS te instruye para que «asegúrate de que la métrica de CloudWatch CachePercentDirty sea 0» antes de detener el host que ejecuta el gateway. Y con el versionado activo, una sola escritura de fichero crea dos versiones de objeto: una para los datos y otra para la actualización de metadatos.

Cuándo elegir File Gateway en lugar de DataSync: si una aplicación debe seguir escribiendo a través de una ruta POSIX, es File Gateway. Si necesitas copiar un árbol en un horario, es DataSync. Usar DataSync para fingir un share escribible, o File Gateway para fingir una migración, producen ambos el modo de fallo equivocado.

---

7. Lote sin conexión: el patrón Snowball Edge (y su estado en 2026)

Enseña el patrón, un disco enviado que aterriza bytes verificados en S3, pero enseña el estado del producto correctamente, porque la mayoría del contenido de la web abierta ya está obsoleta.

Anclas de dispositivo y precio para quien mantenga un despliegue existente (precios de AWS Snowball, us-east-1, consultados 2026-10): Storage Optimized 210 TB utilizables; tarifa de trabajo On-Demand hasta 100 TB (incluye 15 días) $1,800; 101 TB: 210 TB $3,200; $250 por día más allá de 15 días; $9,885 al mes; compromiso de 1 año por adelantado $97,268; almacenamiento compatible con S3 en el dispositivo $0.01 por GB-mes o $0.12 por GB-año. Compute Optimized llega a 104 vCPU, 416 GB de memoria y 28 TB de SSD NVMe dedicados.

• 📚 ¿Sabías que…? El patrón sin conexión sobrevive al producto. Con Snowcone fuera y Snowball Edge restringido, la propia nota de migración de AWS apunta a DataSync para transferencias en línea, Data Transfer Terminal para subidas físicas seguras y a los partners: la pregunta arquitectónica («¿cómo llegan 500 TB a S3?») sigue teniendo las mismas tres respuestas, solo cambió el orden de preferencia (actualizaciones de dispositivos Snow de AWS, 2024-11-12; docs del cambio de disponibilidad de Snowball Edge, consultados 2026-10).

---

8. Amazon S3 Batch Operations: reorganizar lo que ya aterrizó

S3 Batch Operations es la herramienta de reparación para un aterrizaje que salió mal, y la herramienta de migración para un diseño de prefijos que estás cambiando. Un trabajo ejecuta una operación sobre un manifiesto:

• copiar objetos, actualizar el cifrado del lado del servidor, fijar etiquetas o ACL de objetos, iniciar restauraciones desde S3 Glacier Flexible Retrieval, invocar una función de AWS Lambda, Object Lock y Batch Replication;
• tamaño por defecto del manifiesto 4,000 millones de objetos, subiendo a 20,000 millones para Copy, Object Tagging, Object Lock, Lambda invoke y Batch Replication;
• formato de manifiesto S3BatchOperations_CSV_20180820, generado habitualmente desde S3 Inventory;
• precio: $0.25 por trabajo + $1.00 por millón de objetos procesados (precios de S3 de AWS, consultados 2026-10).

8.1 Ejemplo resuelto E5: reparar un aterrizaje mal etiquetado (en octubre de 2026)

---

9. Aterrizaje idempotente: los cuatro patrones

Hasta aquí todo produce ficheros. S3 acepta encantado el mismo fichero dos veces, y la propia guía de AWS es tajante: «Amazon S3 no soporta claves primarias, actualizaciones ni integridad referencial». Así que la capa de aterrizaje, la parte entre el mueve-datos y el formato de tabla, necesita un contrato a prueba de reintentos.

9.1 Ordenar los pasos

9.2 El MERGE que hace seguro el replay

De las propias recetas de CDC hacia Iceberg de AWS (Big Data Blog, 2022-06-15 actualizado en mayo de 2023; 2023-02-14): DMS suministra el atributo op para los datos CDC incrementales pero no para la carga inicial salvo que fijes IncludeOpForFullLoad=true; el trabajo de Glue deduplica en la columna last_update_time que añadió TimestampColumnName y luego ejecuta

9.3 Ejemplo resuelto E6: lo que te cuesta un replay (en octubre de 2026)

• 📚 ¿Sabías que…? Un reinicio de una tarea de DMS puede fabricar duplicados por sí solo. La guía de AWS para TargetTablePrepMode=DO_NOTHING dice que una tarea que se detiene durante la carga completa «vuelve a escribir los ficheros de carga completa cuando se reinicia», así que debes cambiar a TRUNCATE_BEFORE_LOAD o borrar manualmente los LOAD* anteriores antes de reiniciar (AWS re:Post, 2026-02-09). La idempotencia no es solo cosa de tu trabajo de Glue; también del comportamiento de reinicio del mueve-datos.

---

10. Forma del coste: tarifa fija por hora frente a por GB

Antes de comprometerte con una arquitectura, averigua cuál de estas tres formas toma la factura. Se comportan de manera completamente distinta a medida que crece el volumen.

El ejemplo resuelto de la §5.2 es la prueba: un feed de socios de 500 GB en Transfer Family cuesta $241, de los cuales $216 (89.6%) son hora de protocolo. Los mismos 500 GB por DataSync a la tarifa Basic serían 500 × $0.0125 = $6.25. Transfer Family sigue siendo la respuesta correcta, porque el socio es la restricción, pero debes saber que estás comprando compatibilidad de protocolo, no ancho de banda.

---

11. Flujo extremo a extremo resuelto: DMS → bronze → Glue → silver Iceberg

11.1 El flujo

11.2 El esquema, paso a paso (en octubre de 2026)

Cada ingrediente de ese bloque está tomado de los patrones publicados de AWS: la ordenación con Step Functions + SQS y trabajos de Glue creando la capa silver (Big Data Blog, 2024-10-30), un job bookmark de Glue que impulsa un MERGE incremental con dedup en last_update_time (2023-02-14), y dos tareas de DMS que separan la carga completa y las carpetas CDC particionadas por fecha para un MERGE nativo de Athena (2023-04-27).

Actualizaciones de 2026 (en octubre de 2026)

---

Casos Reales

AWS publica cómo se ven estos patrones en producción. Todas las cifras de abajo son afirmaciones del cliente o de AWS y no auditadas, con la fuente nombrada para que puedas comprobarlas: lo examinable es el patrón, no el marketing.

Caso A, FINRA: validar y catalogar ficheros a escala de regulador

«Ampliamos el patrón de data lake con EMR, Hbase y Amazon S3 para permitir consultas aleatorias interactivas a través de billones de registros que abarcan más de 600 terabytes de datos.»: AWS Public Sector Blog, 2017-10-03

Lee a FINRA como un caso de ingesta por lotes, no solo de arquitectura: los ficheros aterrizan, se validan antes de que nada los lea (ese es tu paso de manifiesto/verificación), se catalogan (tu entrada de Glue) y solo entonces se consultan. La disciplina de validar-antes-de-leer es la misma independientemente de que el mueve-datos sea Transfer Family, DataSync o DMS.

Honestidad de fechas: estas son cifras de 2016 to 2017 de una plataforma que desde ha cambiado: trátalas como hitos históricos, nunca como el estado actual de FINRA.

Caso B, Transport for NSW: más de 400 workflows de ingesta fuera del ETL con licencia

• 📚 ¿Sabías que…? El «30+ miembros del equipo formados» de Transport for NSW es la mitad operativa del argumento del coste: AWS indica que el equipo «también pudo distribuir la experiencia entre varios miembros existentes del equipo» una vez que la plataforma pasó a ser Glue, basado en Python, y no una herramienta especializada (caso de AWS, consultado 2026-10-11). El recorte del 80% en costes es el titular; la eliminación de la dependencia de personas clave es normalmente la razón por la que tales migraciones se quedan.

---

Preguntas de Práctica (Practice Questions)