Módulo de importación
Varias pestañas y filtros le permiten revisar las ejecuciones pasadas, en curso y futuras de sus importaciones, según su tipo.
Para las sincronizaciones ETL, es importante distinguir entre "definición ETL" y "ejecución ETL".
- La primera consiste en la definición del flujo, configurada por API, que incluye todos los parámetros, incluida la frecuencia.
- La segunda es la ejecución periódica de lo que se ha definido.
Crear una importación
Al hacer clic en el botón "Crear una importación", puede crear una nueva importación manual puntual, lo que significa cargar un archivo directamente en la interfaz de Actito.
Según el tipo de tabla en la que importe datos, siga la guía correspondiente:
Comprender los filtros
En la esquina superior izquierda, puede optar por filtrar para mostrar únicamente las importaciones específicas de:
- un modelo de datos en particular, si tiene varios
- un tipo de tabla (Perfiles, Repositorio, Datos vinculados, Interacciones)
- una tabla determinada
- un tipo de importación
Como los datos pueden importarse en perfiles o en tablas personalizadas, primero debe elegir el tipo de tabla antes de seleccionar el nombre de la tabla en la lista desplegable.
Las sincronizaciones ETL pueden ser multiarchivo, lo que significa que la misma definición desencadena importaciones en varias tablas.
En ese caso, la importación aparecerá cuando seleccione cualquier tabla afectada en el filtro.
Tipo de importación
- Las importaciones puntuales son todas las importaciones para las que la frecuencia no está definida en Actito: las importaciones manuales de perfil o de tabla personalizada y las importaciones masivas por API (las importaciones API pueden programarse por su parte, por sus desarrolladores, y por lo tanto planificarse en cierto sentido, pero esta programación no está definida dentro de Actito, por lo que se consideran puntuales). El tipo de transferencia de archivo es manual si la importación se realiza en la interfaz, o API si la importación se ha desencadenado mediante una llamada a un servicio web.
- Las importaciones automatizadas son las sincronizaciones ETL que han sido programadas por los equipos de Actito o por sus desarrolladores para recuperar automáticamente un archivo en una ubicación de la nube. Una vez definidas, no requieren desarrollos adicionales. Por lo tanto, son ideales si dispone de recursos técnicos limitados.
Existen 2 tipos de importaciones automatizadas, con diferentes modos de recuperación de los archivos:
- Las importaciones automatizadas (planificadas) son las sincronizaciones ETL para las que la frecuencia está definida en Actito y que se ejecutan a una hora específica cada día. Esto significa que dependen de sus procesos previos: el archivo debe estar presente en la ubicación de la nube en el momento definido. No obstante, puede establecerse una política de reintentos, lo que resulta práctico en caso de retrasos previos. En cuanto una ejecución finaliza, la siguiente se planifica inmediatamente. Para este tipo de importaciones, el archivo siempre se recupera en la nube.
- Las importaciones automatizadas (desencadenadas) son las sincronizaciones ETL para las que se ha establecido un sondeo (polling) activo. Estas importaciones no dependen de una frecuencia determinada, sino que, cada 5 minutos, Actito comprueba si se ha depositado un archivo con el patrón de nomenclatura correcto en la ubicación de la nube. Esto significa que pueden desencadenarse varias importaciones al día. El sondeo en la ubicación de la nube se define mediante una Sincronización de archivos.
Para las importaciones automatizadas, el nombre técnico de la sincronización ETL se mostrará en la columna Nombre.
Para las importaciones puntuales, no asigna ningún nombre a las importaciones manuales en la interfaz o por API: la columna Nombre permanecerá vacía.
Comprender los estados
Navegue por las pestañas Borrador, Activados, Planificados, En curso y Finalizados para ver los diferentes estados de las ejecuciones.
Importaciones en borrador
Esta pestaña contiene únicamente las sincronizaciones ETL que se han puesto en pausa.
Aquí puede hacer clic en Ver la definición de la importación para obtener una vista general de las diferentes etapas de la importación, o en "Reiniciar" para reactivarla o volver a planificarla.
Desde el botón "Más", también es posible modificar su frecuencia o modificar los destinatarios del informe.
Importaciones activadas
Esta pestaña solo contiene las importaciones automatizadas desencadenadas, es decir, las sincronizaciones ETL que se basan en un sondeo de una ubicación de la nube para comprobar si se ha depositado un archivo que corresponda al patrón de nomenclatura.
Aquí puede hacer clic en Ver la definición de la importación para obtener una vista general de las diferentes etapas de la importación. Sin embargo, las fechas de "Desencadenado el", "Iniciado el" y "Finalizado el" de la columna de la izquierda permanecerán siempre vacías, ya que en cuanto el sondeo encuentra un archivo sincronizado, se crea una nueva ejecución "en curso".
Por lo tanto, esta pestaña solo contiene la definición de la importación. Las ejecuciones desencadenadas en el pasado se encuentran en la pestaña "Finalizados".
Ejecuciones planificadas
Esta pestaña solo contiene las importaciones automatizadas planificadas con archivos transferidos a la nube, es decir, las sincronizaciones ETL que se ejecutan a una hora definida cada día.
Esto permite comprobar fácilmente cuándo tendrá lugar la próxima sincronización.
En cuanto una ejecución diaria termina de ejecutarse, se crea la ejecución del día siguiente.
Esta pestaña solo muestra la siguiente ejecución de una sincronización.
Haga clic en el botón "Stop" para poner en pausa una sincronización ETL. Esto es útil si tiene dudas sobre el archivo que se ha depositado en la ubicación de la nube y necesita comprobarlo, por ejemplo, o si simplemente necesita detener temporalmente la ejecución de sincronizaciones.
Los ETL "en pausa" se encuentran en la pestaña "Borrador", donde pueden relanzarse.
Ver la definición de la importación
Haga clic en "Ver la definición de la importación" para obtener una vista general de las diferentes etapas de la importación, tal como se definieron durante la creación de la sincronización ETL.
Esto es muy útil para obtener información sobre el formato esperado en cada etapa. Puede obtener un desglose similar en los detalles de las ejecuciones "Finalizadas", con un estado adicional para cada etapa (consulte la sección "Ejecuciones finalizadas" para obtener explicaciones detalladas sobre cada etapa).
Modificar la frecuencia
Si hace clic en "Más", tiene la posibilidad de elegir "Modificar la frecuencia".
Aquí tendrá la oportunidad de actualizar la frecuencia de sincronización de su ETL:
- Todos los días a las HH:MM
- Todas las semanas (uno o varios días) a las HH:MM
- Todos los meses el [número] a las HH:MM
Si elige la frecuencia "Todos los meses", el número que elija corresponderá al día de cada mes en el que deberá tener lugar la ejecución.
Si elige la frecuencia "Todos los meses" y elige el día 31, su ETL no se sincronizará todos los meses, ya que no todos los meses tienen 31 días.
Si la frecuencia que desea elegir es más compleja, tiene la posibilidad de utilizar el "Modo experto".
Este modo le permite elegir la expresión CRON que desee. Las restricciones para esta expresión son las mismas que cuando define el ETL por API.
De forma predeterminada, se muestra la frecuencia definida en la definición del ETL. Si la expresión CRON no es "todos los días", "todas las semanas" o "todos los meses", se muestra el modo experto.
Modificar los destinatarios del informe
Si hace clic en "Más", también tiene la posibilidad de elegir "Modificar los destinatarios del informe".
Este botón le permitirá actualizar los destinatarios del informe del ETL seleccionado. Podrá:
- Añadir un nuevo destinatario
- Modificar un destinatario existente
- Eliminar un destinatario existente
Esto también le permite vaciar una lista existente, ya que la lista de destinatarios no es obligatoria.
En caso de que haya direcciones de correo electrónico duplicadas al actualizar la lista de destinatarios de los informes, el sistema conserva automáticamente solo una.
La definición del ETL se actualiza cuando hace clic en "Validar".
Un destinatario recién añadido recibirá su primer informe en la próxima ejecución del ETL.
Ejecuciones en curso
Esta pestaña contiene las importaciones en curso de ejecución. Aunque la integración de archivos más grandes puede llevar más tiempo, solo verá datos en esta pestaña de forma temporal, justo después del inicio de una ejecución.
Esto le permite comprobar fácilmente que una importación o una sincronización sigue ejecutándose y aún no ha finalizado.
Los administradores y usuarios avanzados tienen la posibilidad de recuperar directamente el archivo que se está integrando en Actito mediante "Descargar los archivos de entrada".
Mediante el botón "Ver los detalles de ejecución", también puede obtener una vista general de cada etapa de la importación. Dado que la ejecución está en curso, el estado final de cada etapa puede no estar disponible todavía (consulte la sección "Ejecuciones finalizadas" para obtener explicaciones detalladas sobre cada etapa).
Ejecuciones finalizadas
Esta pestaña contiene todas las importaciones que han terminado de ejecutarse: esto incluye tanto las ejecuciones pasadas de sincronizaciones automatizadas como las importaciones puntuales.
La pestaña de ejecuciones "Finalizados" conserva un historial de 15 días para las importaciones automatizadas (ETL) y de 5 días para las importaciones puntuales.
Esto le permite comprobar en qué momento ha finalizado una importación y en qué momento se han integrado los datos en Actito. Más importante aún, puede consultar la columna "Resultado de la importación" para verificar si la importación se ha realizado correctamente o si ha caído en error.
Para las importaciones planificadas, el nombre técnico de las sincronizaciones ETL se muestra en la columna Nombre. Puede utilizar la función "Buscar" para encontrar rápidamente la ejecución de un ETL específico.
Compruebe la fecha "Iniciado el" para encontrar la ejecución de un día específico.
Los administradores y usuarios avanzados tienen la posibilidad de recuperar el archivo que se ha importado, así como los archivos de salida: según el resultado, puede tratarse de un archivo de resultado o de un archivo de error.
Los archivos de salida de las sincronizaciones ETL solo se generan si los parámetros generateErrorFiles y generateResultFiles se han configurado en true en la definición.
El archivo de error puede ayudarle a encontrar el problema de las ejecuciones en error y permitirle corregirlas.
Para las sincronizaciones ETL que han caído en error (probablemente porque el archivo no estaba disponible en la nube), es posible realizar un relanzamiento por API.
El relanzamiento requiere conocer el identificador de la ejecución original. Puede encontrarlo fácilmente añadiendo la columna "Id" en la esquina superior derecha.
Ver los detalles de ejecución
Haga clic en el botón "Ver los detalles de ejecución" para obtener una vista general detallada con los resultados de cada etapa.
En el panel de la derecha, puede ver las fechas de planificación, inicio y fin de la ejecución, la frecuencia que determina esta planificación, la descripción de la sincronización y la lista de destinatarios del informe de ejecución.
La frecuencia se define mediante una expresión CRON. Esta puede leerse más fácilmente observando el momento de programación. En el ejemplo siguiente, 0 00 10 * * ? se traduce como "todos los días a las 10:00".
También visualiza el estado global. Puede ser:
- SUCCES: todos los archivos se han recuperado e integrado correctamente en su licencia, sin que una sola línea encuentre un error.
- EN ERROR: la importación ha encontrado un error global y no se ha completado, lo que significa que no se ha integrado ninguna línea. Esto suele estar relacionado con la ausencia de los archivos o con un formato no válido.
- WARNING: todos los archivos (obligatorios) se han recuperado correctamente y se han integrado parcialmente en Actito, pero al menos una línea ha encontrado un error porque contiene un valor no válido.
Cada una de las 5 etapas tiene su propio estado.
Haga clic en una de las etapas para ver sus detalles.
Transferencia de los archivos de entrada
En esta etapa, puede ver la cloud location (ubicación en línea) donde se ha recuperado el archivo (en el caso de un ETL).
También visualiza los detalles de los archivos esperados en el ETL, tales como:
- El patrón de nomenclatura esperado
- El nombre del archivo para una ejecución específica
- Si el archivo es obligatorio para la ejecución de la importación
- Si el archivo estaba presente en esta ejecución específica
Esta etapa encontrará un ERROR si la cloud location (como un servidor SFTP o FTPS) no estaba accesible en el momento de la ejecución, si el archivo no se ha encontrado en la ubicación (por ejemplo, si no había ningún archivo con el patrón de nombre correspondiente a la fecha de la ejecución) o si el archivo contenido en el archivo comprimido era incorrecto.
Si se ha definido una política de reintentos en el ETL, Actito seguirá intentando recuperar el archivo a una frecuencia fija (definida por el parámetro minimumInterval). Si tras un lapso de tiempo definido por el parámetro giveUpAfter (máx. 8 horas) no se encuentra ningún archivo, la ejecución caerá definitivamente en error.
El ETL cae en error en cuanto se alcanza el plazo "abandonar después", aunque no coincida con un último intento.
El número de intentos y la hora del último intento también se muestran en los detalles de ejecución de esta etapa.
Si falta un archivo no obligatorio, esta etapa se considerará en SUCCES.
Validación del formato de los archivos
En esta etapa, puede ver el formato de los archivos, tal como se definen en los parámetros del ETL.
Esto incluye:
- El separador del archivo CSV: aunque generalmente se trata de puntos y comas, comas o tabulaciones, pueden definirse otros caracteres como separadores.
- La codificación: el conjunto de caracteres utilizados en el archivo. Puede ser
UTF-8(valor predeterminado) oISO-8859-1. - Los caracteres de enclosing y de escape, utilizados para escapar los datos cuando el valor contiene el separador o el carácter de enclosing.
Transformaciones de los datos
Esta etapa le ofrece una vista general de las transformaciones aplicadas a los datos.
Solo puede encontrar errores si el valor de entrada no corresponde al valor definido en la transformación.
La etapa "Transformaciones de los datos" solo está presente en las sincronizaciones ETL donde se han definido transformaciones. Siempre estará atenuada para las importaciones manuales o API masivas.
Cargas de datos
Esta etapa es la más importante de la importación: la escritura real de los datos en la licencia. En el caso de un ETL multiarchivo, tendrá un estado para cada archivo.
Primero puede ver la definición de la etapa:
- Haga clic en el icono "Mapping" para ver el mapeo entre los encabezados del archivo de entrada y el nombre de los atributos en la tabla. También puede ver el comportamiento en caso de valores vacíos, existentes o no válidos, así como para los atributos multivalor.
- El botón "Parámetros" le permite ver el modo de escritura (CREACIÓN, ACTUALIZACIÓN, CREACIÓN/ACT, ELIMINACIÓN), y si se generarán archivos de errores y de resultados para esta etapa.
Los resultados de integración le proporcionan información sobre el número de líneas integradas en la tabla.
- El número de líneas "leídas" es el número de líneas encontradas en los archivos.
- El número de líneas "rechazadas" es el número de líneas que contienen un valor no válido para el atributo correspondiente (por ejemplo, una dirección de correo electrónico no válida, un código de idioma no válido, ...). Si hay al menos una línea rechazada, el estado global de la importación estará en WARNING. Puede descargar el archivo de error para verificar los errores de validación (siempre que el parámetro
generateErrorFilesse haya definido en true). - El número de líneas "insertadas" es el número de líneas que no existían en Actito y que se han creado con la importación.
- El número de líneas "actualizadas" es el número de líneas que ya existían en Actito pero para las que se ha encontrado una modificación de datos en el archivo. Si importa una línea idéntica a una línea ya existente, no se considerará una actualización. Por consiguiente, la suma de las líneas rechazadas + insertadas + actualizadas puede ser inferior al número de líneas leídas, ya que algunas líneas ya existían sin que se haya aportado ninguna actualización a sus valores.
- El número de líneas "eliminadas" solo se aplica a los ETL de tipo ELIMINACIÓN, que solo pueden eliminar datos sin crear ningún registro nuevo.
Transferencia de los archivos de salida
Los detalles de esta etapa le proporcionan información sobre los posibles archivos de salida generados, incluidos:
- La cloud location (FTPS, SFTP, Transferbox) en la que se han depositado los archivos.
- El nombre de los archivos.
Los archivos de salida de las sincronizaciones ETL solo se generan si los parámetros generateErrorFiles y generateResultFiles se han configurado en true en la definición.
Los detalles de la ejecución aparecen en un panel lateral. Haga clic en la cruz de la esquina superior izquierda de su pantalla para salir.
Recuperar los archivos de salida
Los administradores y usuarios avanzados tienen la posibilidad de recuperar el archivo que se ha importado, así como los archivos de salida: según el resultado, puede tratarse de un archivo de resultado o de un archivo de error.
Los archivos de salida de las sincronizaciones ETL solo se generan si los parámetros generateErrorFiles y generateResultFiles se han configurado en true en la definición.
El archivo de error puede ayudarle a encontrar el problema en las ejecuciones en error y permitirle corregirlas.
Contiene las líneas de origen que han caído en error, pero con 2 columnas adicionales:
- "errorCode": Es el código de error, que detalla el motivo del error.
- "errorColumn": Es la columna en la que se encuentra el error.
Si varias columnas han caído en error para la misma línea, esta línea se repetirá una vez por error.
Los códigos de error posibles son:
- "INVALID_FIELD_VALUE": El valor de la línea para el campo indicado en "errorColumn" no es válido, porque el formato es incompatible.
- "DATA_ALREADY_EXISTS": El error se produce en modo "createOnly" cuando una de las líneas del archivo enviado hace referencia a una clave business que ya existe en la tabla.
- "UNKNOWN_DATA": El error se produce en modo "updateOnly" cuando una de las líneas del archivo enviado hace referencia a una clave business que no está presente en la tabla.
- "DUPLICATE_OBJECT": El error se produce cuando hay varios atributos únicos (claves) en la tabla y la línea que se va a insertar contiene valores que hacen referencia a registros existentes diferentes para esas claves múltiples.
- "MISSING_FIELD_VALUE": El error se produce porque falta un valor para un atributo obligatorio.
Ver el informe
Haga clic en el botón "Ver el informe" para acceder a una copia del informe de ejecución, idéntica a la que reciben por correo electrónico los destinatarios definidos en los parámetros de la importación. Encontrará más información sobre este informe en este artículo.
El informe de ejecución aparece en un panel lateral. Haga clic en la cruz de la esquina superior izquierda de su pantalla para salir.