Mejores formas de cargar datos históricos en BigQuery
A la hora de subir datos a Big Query, podemos encontrar diferentes opciones según nuestras necesidades. No es lo mismo subir datos de un par de meses que de varios años, por lo que vamos a ver las distintas opciones que tenemos a la hora de transferir nuestra información usando Dataslayer.
Schedule, para programar subidas periódicas. Ideal para mantener actualizados los datos periódicamente.
Manual (ideal for upload Historical Data), para cantidades de datos medianas y una subida inmediata.
Manual (ideal for loading large volume historical data). Esta es la mejor opción para subir grandes historiales de datos. Para evitar timeouts, interrupciones y errores, esta función divide las consultas por grupos y las va ejecutando periódicamente, por lo que los datos se subirán poco a poco de forma ininterrumpida. Importante: ten en cuenta que esta función solo se puede ejecutar cuando la consulta tiene dimensiones temporales añadidas.
Cuando se usa esta opción, la consulta puede tardar una gran cantidad de tiempo, por lo que una vez ejecutada, aunque se cierre el navegador, la consulta se seguirá ejecutando.
Durante la ejecución de la consulta, no se pueden realizar otras consultas en Big Query.
Para subir datos históricos, la opción manual es la más indicada, y según la cantidad, será conveniente elegir la primera o la segunda opción (ante la duda es mejor utilizar la segunda; la duración será mayor, pero nos asegura un éxito en la transferencia).
Después de subir todos los datos históricos, puedes usar la función “schedule”, para programar una actualización diaria que vaya subiendo cada día los datos del día anterior, y de esta forma tener tus datos siempre actualizados.
Schedule, para programar subidas periódicas. Ideal para mantener actualizados los datos periódicamente.
Manual (ideal for upload Historical Data), para cantidades de datos medianas y una subida inmediata.
Manual (ideal for loading large volume historical data). Esta es la mejor opción para subir grandes historiales de datos. Para evitar timeouts, interrupciones y errores, esta función divide las consultas por grupos y las va ejecutando periódicamente, por lo que los datos se subirán poco a poco de forma ininterrumpida. Importante: ten en cuenta que esta función solo se puede ejecutar cuando la consulta tiene dimensiones temporales añadidas.
Cuando se usa esta opción, la consulta puede tardar una gran cantidad de tiempo, por lo que una vez ejecutada, aunque se cierre el navegador, la consulta se seguirá ejecutando.
Durante la ejecución de la consulta, no se pueden realizar otras consultas en Big Query.
Para subir datos históricos, la opción manual es la más indicada, y según la cantidad, será conveniente elegir la primera o la segunda opción (ante la duda es mejor utilizar la segunda; la duración será mayor, pero nos asegura un éxito en la transferencia).
Después de subir todos los datos históricos, puedes usar la función “schedule”, para programar una actualización diaria que vaya subiendo cada día los datos del día anterior, y de esta forma tener tus datos siempre actualizados.
Actualizado el: 03/11/2022
¡Gracias!