Importación de datos
Actito ofrece varias opciones para importar datos en las tablas de su modelo de datos.
Puede importar manualmente perfiles o entradas de tabla personalizadas en la interfaz. Pero si desea automatizar estos flujos de datos, es probable que esté utilizando sincronizaciones ETL o importaciones API configuradas por sus operadores técnicos o por los equipos de Actito.
Aunque puede recibir un informe de ejecución, también es útil poder visualizar estas sincronizaciones directamente en la plataforma de Actito. ¡Por eso existe la aplicación "Gestionar importaciones"!
Al igual que la aplicación "Gestionar exportaciones" le permite visualizar sus flujos de datos DESDE Actito, la aplicación "Gestionar importaciones" le ayuda a visualizar los flujos de datos HACIA Actito.
Puede acceder a esta aplicación desde el Catálogo (Perfiles > Gestionar importaciones) o desde la aplicación "Gestionar exportaciones".
Navegar en la aplicación Gestionar importaciones
Varios pestañas y filtros le permiten revisar las ejecuciones pasadas, en curso y futuras de sus importaciones, según su tipo.
Para las sincronizaciones ETL, es importante hacer la distinción entre "Definición ETL" y "ejecución ETL".
-
La primera consiste en la definición del flujo, configurado por API, que incluye todos los parámetros, incluida la frecuencia.
-
La seconde es la ejecución periódica de lo que se ha definido.
Comprender los filtros
En la esquina superior izquierda, puedes elegir mostrar solo las importaciones de una tabla específica.
Como los datos pueden importarse en perfiles o tablas personalizadas, primero debes elegir el tipo de tabla antes de seleccionar el nombre de la tabla en la lista desplegable.
Las sincronizaciones ETL pueden ser multiarchivo, lo que significa que la misma definición desencadena importaciones en varias tablas.
En este caso, la importación aparecerá cuando selecciones cualquier tabla afectada por el filtro.
Tipo de importación
También puedes filtrar por tipo de importación.
- Las importaciones puntuales son todas las importaciones para las cuales la frecuencia no está definida en Actito: las importaciones manuales de perfil o tabla personalizada y las importaciones masivas a través de API (las importaciones de API pueden ser programadas, desde tu lado, por tus desarrolladores y luego programadas en cierto sentido, pero esta programación no está definida dentro de Actito y, por lo tanto, se consideran puntuales). El tipo de transferencia de archivo es manual si la importación se realiza en la interfaz o se desencadena en la llamada API, o puede ser en la nube si la llamada API está programada para recuperar el archivo de un FTPS.
Las importaciones automáticas son sincronizaciones ETL que han sido programadas por los equipos de Actito o por sus desarrolladores para recuperar automáticamente un archivo desde una ubicación en la nube. Una vez definidos no requieren mayor desarrollo. Por tanto, son ideales si tienes recursos técnicos limitados. Existen 2 tipos de importaciones automatizadas, con diferentes modos de recuperación de archivos:
-
Las importaciones automatizadas (programadas) son sincronizaciones ETL cuya frecuencia está definida en Actito y que se ejecutan a una hora específica cada día. Esto significa que dependen de sus procesos ascendentes: el archivo debe estar presente en la ubicación de la nube en el momento definido. Sin embargo, se puede implementar una política de recordatorio, lo que resulta práctico en caso de retrasos en el proceso de producción. Tan pronto como se completa una ejecución, se programa inmediatamente la siguiente. Para tales importaciones, el archivo siempre se recupera de la nube.
-
Las importaciones automatizadas (desencadenadas) son sincronizaciones ETL para las cuales se ha implementado un sondeo activo. Estas importaciones no dependen de una frecuencia determinada, sino que cada 5 minutos Actito comprueba si se ha depositado en la ubicación de la nube un archivo con el patrón de nomenclatura correcto. Esto significa que se pueden activar varias importaciones por día. El sondeo en la ubicación de la nube se define mediante Sincronización de archivos.
Para las importaciones automatizadas, el nombre técnico de la sincronización ETL se mostrará en la columna Nombre.
Para las importaciones puntuales la columna Nombre permanecerá siempre vacía, por lo que no es necesario ponerles nombre.
Comprender los estados
Navegue por las pestañas Programadas, En curso y Terminadas para ver los diferentes estados de las ejecuciones.
Importaciones en borrador
Esta pestaña solo contiene las sincronizaciones ETL que han sido pausadas.
Puede hacer clic en Ver definición de importación para obtener una descripción general de las diferentes etapas de la importación, o en "Reiniciar" para reactivarla o reprogramarla.
Desde el botón "Más" también es posible modificar su frecuencia y modificar los destinatarios del informe.
Importaciones activos
Esta pestaña solo contiene importaciones automáticas activadas, es decir, sincronizaciones ETL que se basan en sondeos en una ubicación en la nube para verificar si se ha enviado un archivo correspondiente al patrón de mensaje.
Puede hacer clic en Ver la definición de importación para obtener una descripción general de las diferentes etapas de la importación. Sin embargo, las fechas de "Activado el", "Iniciado el" y "Terminado el" en la columna de la izquierda siempre permanecerán vacías, porque tan pronto como el sondeo encuentra un archivo sincronizado, se crea una nueva ejecución "en curso".
Por lo tanto, esta pestaña sólo contiene la definición de importación. Las ejecuciones activadas en el pasado se pueden encontrar en la pestaña "terminados".
Ejecuciones programadas
Esta pestaña solo contiene las importaciones programadas con archivos transferidos al cloud, es decir, sincronizaciones ETL que se ejecutan a una hora definida cada día.
Esto permite verificar fácilmente cuándo ocurrirá la próxima sincronización.
Tan pronto como una ejecución diaria haya terminado, se creará la ejecución del día siguiente.
Esta pestaña solo muestra la próxima ejecución de una sincronización.
Haga clic en el botón Detener para pausar una sincronización ETL. Esto es útil si tiene dudas sobre el archivo que se ha depositado en la ubicación del cloud y necesita verificarlo, por ejemplo, o si simplemente necesita detener temporalmente las sincronizaciones.
Las ETL "pausadas" se encuentran en la pestaña "Borrador", donde se pueden reiniciar.
Ver la definición de la importación
Haga clic en Ver la definición de la importación para obtener una visión general de las diferentes etapas de la importación, tal como se definió durante la creación de la sincronización ETL.
Esto es muy útil para obtener información sobre el formato esperado en cada etapa. Puede obtener un informe similar en los detalles de las ejecuciones "Terminadas", con un estado para cada etapa adicionalmente (consulte la sección "Ejecuciones terminadas" para obtener explicaciones detalladas sobre cada etapa).
Modificar la frecuencia
Si haces clic en 'Más', tendrás la opción de elegir 'Modificar la frecuencia'.
Aquí tendrás la oportunidad de actualizar la frecuencia de sincronización de tu ETL:
- Todos los días a HH:MM
- Todas las semanas (uno o varios días) a HH:MM
- Todos los meses el [número] a HH:MM
Si eliges la frecuencia 'Todos los meses', el número que elijas corresponderá al día de cada mes en el que se debe realizar la ejecución.
Si eliges la frecuencia 'Todos los meses' y seleccionas el día 31, tu ETL no se sincronizará todos los meses, ya que no todos los meses tienen 31 días.
Si la frecuencia que deseas elegir es más compleja, tienes la opción de utilizar el 'Modo experto'.
Este modo te permite elegir la expresión CRON que desees. Las restricciones para esta expresión son las mismas que cuando defines el ETL mediante la API.
Por defecto, se muestra la frecuencia definida en la definición del ETL. Si la expresión CRON no es 'todos los días', 'todas las semanas' o 'todos los meses', entonces se muestra el modo experto.
Modificar los destinatarios del informe
Si haces clic en 'Más', también tienes la opción de elegir 'Modificar los destinatarios del informe'.
Este botón te permitirá actualizar los destinatarios del informe del ETL seleccionado. Podrás:
- Agregar un nuevo destinatario
- Modificar un destinatario existente
- Eliminar un destinatario existente
Esto también te permite vaciar una lista existente, ya que la lista de destinatarios no es obligatoria.
En caso de que haya direcciones de correo electrónico duplicadas al actualizar la lista de destinatarios de los informes, el sistema automáticamente conservará solo una.
La definición de ETL se actualiza cuando haces clic en 'Validar'.
Un destinatario recién agregado recibirá su primer informe en la próxima ejecución del ETL.
Ejecuciones en curso
Esta pestaña contiene las importaciones que están en proceso de ejecución. Aunque la integración de archivos más grandes puede llevar más tiempo, solo verás datos en esta pestaña temporalmente, justo después de que comience una ejecución.
Esto te permite verificar fácilmente si una importación o sincronización aún está en curso y no ha finalizado.
Los administradores y usuarios avanzados tienen la opción de descargar directamente el archivo que se integra en Actito mediante 'Descargar archivos de entrada'.
Con el botón "Ver detalles de ejecución", también puedes obtener una vista general de cada paso de la importación. Dado que la ejecución está en curso, el estado final de cada paso puede no estar disponible todavía (consulta la sección "Ejecuciones terminadas" para obtener explicaciones detalladas sobre cada paso).
Ejecuciones terminadas
Esta pestaña contiene todas las importaciones que han finalizado: tanto las ejecuciones pasadas de sincronizaciones automatizadas como las importaciones puntuales.
La pestaña de ejecuciones 'Terminadas' mantiene un historial de 15 días para las importaciones automatizadas (ETL) y de 5 días para las importaciones puntuales.
Esto te permite verificar cuándo se completó una importación y cuándo se integraron los datos en Actito. Más importante aún, puedes revisar la columna 'Resultado de la importación' para verificar si la importación se realizó correctamente o si falló.
Para las importaciones programadas, el nombre técnico de las sincronizaciones ETL se muestra en la columna Nombre. Puedes utilizar la función de 'Buscar' para encontrar rápidamente la ejecución de un ETL específico.
Vérifiez la fecha 'Démarré le' para encontrar la ejecución en un día específico.
Los administradores y usuarios avanzados tienen la opción de encontrar el archivo que se importó y los archivos de salida: dependiendo del resultado, puede ser un archivo de resultado o un archivo de error.
Los archivos de salida de las sincronizaciones ETL solo se generan si los parámetros generateErrorFiles y generateResultFiles se han configurado en true en la definición.
El archivo de error puede ayudarlo a encontrar el problema de las ejecuciones fallidas y corregirlas.
Para las sincronizaciones ETL que fallaron (probablemente porque el archivo no estaba disponible en la nube), es posible hacer un REINTENTO a través de la API.
El reintento requiere conocer el identificador de la ejecución original. Puede encontrarlo fácilmente agregando la columna 'Id' en la esquina superior derecha.
Ver detalles de la ejecución
Haga clic en el botón "Ver detalles de la ejecución" para obtener una vista general detallada con los resultados de cada paso.
En el panel derecho, puede ver las fechas de programación, inicio y finalización de la ejecución, la frecuencia que determina esta programación, la descripción de la sincronización y los destinatarios del informe de ejecución.
La frecuencia está definida por una expresión CRON. Esto se puede entender más fácilmente al observar el momento de programación. En el ejemplo a continuación, 0 00 10 * * ? se traduce como "todos los días a las 10:00".
Vous visualiza también el estado global. Puede ser:
- ÉXITO: todos los archivos se han recuperado e integrado correctamente en su licencia, sin que ninguna línea encuentre un error.
- ERROR: la importación ha encontrado un error global y no se ha completado, lo que significa que ninguna línea ha sido integrada. Esto suele estar relacionado con la falta de archivos o un formato no válido.
- ADVERTENCIA: todos los archivos (obligatorios) se han recuperado correctamente y se han integrado parcialmente en Actito, pero al menos una línea ha encontrado un error porque contiene un valor no válido.
Cada uno de los 5 pasos tiene su propio estado.
Haga clic en uno de los pasos para ver los detalles.
Transferencia de archivos de entrada
En este paso, puede ver la ubicación en la nube donde se recuperó el archivo (en el caso de una ETL).
También puede ver los detalles de los archivos esperados en la ETL, como:
- El patrón de nomenclatura esperado.
- El nombre del archivo para una ejecución específica.
- Si el archivo es obligatorio para la ejecución de la importación.
- Si el archivo estaba presente en esta ejecución específica.
Este paso encontrará un ERROR si la ubicación en la nube (como un servidor SFTP o FTPS) no estaba accesible en el momento de la ejecución, si el archivo no se encontró en la ubicación (por ejemplo, si no había un archivo con el patrón de nombre correspondiente a la fecha de la ejecución) o si el archivo contenido en el archivo zip era incorrecto.
Si se ha definido una política de reintento en el ETL, Actito continuará intentando recuperar el archivo con una frecuencia fija (definida por el parámetro minimumInterval). Si después de un período de tiempo definido por el parámetro giveUpAfter (máximo 8 horas), no se encuentra ningún archivo, la ejecución definitivamente producirá un error.
El ETL entra en error tan pronto como se alcanza el tiempo de espera de "abortar después", incluso si esto no coincide con un último intento.
El número de intentos y la hora del último intento también se muestran en los detalles de ejecución de este paso.
Si falta un archivo no obligatorio, este paso se considerará un ÉXITO.
Validación del formato de los archivos
En este paso, puede ver el formato de los archivos, tal como se define en los parámetros de la ETL.
Esto incluye:
- El separador del archivo CSV: aunque generalmente son punto y coma, comas o tabulaciones, se pueden definir otros caracteres como separadores.
- La codificación: el conjunto de caracteres utilizados en el archivo. Puede ser
UTF-8(valor predeterminado) oISO-8859-1. - Los caracteres de encerramiento y escape, utilizados para escapar los datos cuando el valor contiene el separador o el carácter de encerramiento.
Transformaciones de datos
Esta etapa le brinda una vista previa de las transformaciones aplicadas a los datos.
Solo puede encontrar errores si el valor de entrada no coincide con el valor definido en la transformación.
La etapa de "Transformaciones de datos" solo está presente en las sincronizaciones ETL donde se han definido transformaciones. Siempre estará en gris para las importaciones manuales o API en masa.
Cargas de datos
Esta etapa es la más importante de la importación: la escritura real de los datos en la licencia. En el caso de una ETL multifichero, tendrá un estado para cada archivo.
Primero puede ver la definición de la etapa:
- Haga clic en el icono 'Mapping' para ver la asignación entre los encabezados del archivo de entrada y el nombre de los atributos en la tabla. También puede ver el comportamiento en caso de valores vacíos, existentes o no válidos, así como para los atributos multivaluados.
- El botón 'Configuración' le permite ver el modo de escritura (CREACIÓN, ACTUALIZACIÓN, CREACIÓN/ACTUALIZACIÓN, ELIMINACIÓN), y si se generarán archivos de error y resultados para esta etapa.
Los resultados de integración le brindan información sobre la cantidad de filas integradas en la tabla.
- El número de filas "leídas" es la cantidad de filas encontradas en los archivos.
- El número de filas "rechazadas" es la cantidad de filas que contienen un valor no válido para el atributo correspondiente (por ejemplo, una dirección de correo electrónico no válida, un código de idioma no válido, ...). Si hay al menos una fila rechazada, el estado global de la importación será ADVERTENCIA. Puede descargar el archivo de error para verificar los errores de validación (si el parámetro generateErrorFiles se ha establecido en true).
- El número de filas "insertadas" es la cantidad de filas que no existían en Actito y que fueron creadas por la importación.
- El número de filas "actualizadas" es la cantidad de filas que ya existían en Actito pero que tenían una modificación de datos en el archivo. Si importa una fila idéntica a una fila existente, no se considerará una actualización. Por lo tanto, la suma de filas rechazadas + insertadas + actualizadas puede ser menor que el número de filas leídas, ya que algunas filas ya existían sin ninguna actualización en sus valores.
- El número de filas "eliminadas" solo se aplica a las ETL de tipo ELIMINACIÓN, que solo pueden eliminar datos sin crear un nuevo registro.
Transferencia de archivos de salida
Los detalles de esta etapa proporcionan información sobre los posibles archivos de salida generados, incluyendo:
- La ubicación en la nube (FTPS, SFTP, Transferbox) donde se han depositado los archivos.
- El nombre de los archivos.
Los archivos de salida de las sincronizaciones ETL solo se generan si los parámetros generateErrorFiles y generateResultFiles se han configurado en true en la definición.
Los detalles de la ejecución aparecen en un panel lateral. Haz clic en la cruz en la esquina superior izquierda de tu pantalla para cerrarlo.
Recuperar los archivos de salida
Los administradores y usuarios avanzados tienen la opción de recuperar el archivo que se ha importado, así como los archivos de salida: dependiendo del resultado, puede ser un archivo de resultado o un archivo de error.
Los archivos de salida de las sincronizaciones ETL solo se generan si los parámetros generateErrorFiles y generateResultFiles se han configurado en true en la definición.
El archivo de error puede ayudarte a encontrar el problema en las ejecuciones con errores y corregirlos.
Contiene las filas originales que han fallado, pero con 2 columnas adicionales:
- "errorCode": Este es el código de error que detalla la razón del error.
- "errorColumn": Este es el código de error que detalla la razón del error.
Si varias columnas han fallado para la misma fila, esta fila se repetirá una vez por cada error.
Los posibles códigos de error son:
- "INVALID_FIELD_VALUE": El valor de la fila para el campo indicado en "errorColumn" no es válido porque el formato es incompatible.
- "DATA_ALREADY_EXISTS": El error ocurre en el modo "createOnly" cuando una de las filas del archivo enviado se refiere a una clave de negocio que ya existe en la tabla.
- "UNKNOWN_DATA": El error ocurre en el modo "updateOnly" cuando una de las filas del archivo enviado se refiere a una clave de negocio que no está presente en la tabla.
- "DUPLICATE_OBJECT": El error ocurre cuando hay varios atributos únicos (claves) en la tabla y la fila a insertar contiene valores que hacen referencia a registros existentes diferentes para estas claves múltiples.
- "MISSING_FIELD_VALUE": El error ocurre porque falta un valor para un atributo obligatorio.
Ver informe
Haz clic en el botón "Ver informe" para acceder a una copia del informe de ejecución, idéntico al recibido por correo electrónico por los destinatarios definidos en la configuración de importación.
También muestra la lista de estos destinatarios.
El informe de ejecución aparece en un panel lateral. Haz clic en la cruz en la esquina superior izquierda de tu pantalla para salir.