Partición de la tabla value_stream en PostgreSQL
Una tabla value_stream con una gran cantidad de datos puede hacer que las consultas basadas en el tiempo y las operaciones de depuración tarden una cantidad significativa de tiempo debido a los escaneos de tabla resultantes y se sumen a la carga general del servidor. Tener particiones semanales o mensuales y operaciones coincidentes drop-partition agilizaría algunos de estos cuellos de botella actuales.
Para la ingesta de datos a gran escala, utilice la línea de comandos partition_value_stream_by_range_setting para particionar la tabla value_stream a fin de controlar fácilmente los rangos de creación de particiones, como cuándo iniciar o finalizar la creación de particiones y los intervalos de creación de particiones. Esto incluye volver a particionar los datos antiguos y cambiar el tiempo de inicio, finalización o intervalo.
 |
Para fines de recuperación, clone o realice una copia de seguridad de la base de datos antes de iniciar el proceso de creación de particiones.
|
El uso de la línea de comandos partition_value_stream_by_range_setting soporta lo siguiente:
1. Adición de nuevas particiones a una tabla o partición existente con un tiempo de inactividad mínimo.
2. Creación de una nueva partición de datos antiguos de un momento específico. Hacerlo puede llevar algún tiempo.
3. Nueva partición con una configuración de rango diferente.
4. Uso de la partición DEFAULT para almacenar información si los datos no pertenecen a ninguna partición.
Para particionar la tabla value_stream, cree particiones periódicas. Utilice la herramienta del programador de base de datos para asegurarse de que todos los datos inyectados en el futuro entren en las siguientes particiones.
En la línea de comandos partition_value_stream_by_range_setting se incluyen los siguientes parámetros:
|
Nombre del parámetro
|
Descripción
|
Valor por defecto.
|
Comentario
|
||
|---|---|---|---|---|---|
|
host
|
host de base de datos
|
Obligatorio
|
|||
|
port
|
puerto de base de datos
|
Obligatorio
|
|||
|
database
|
nombre de la base de datos donde existe la tabla value_stream
|
Obligatorio
|
|||
|
username
|
usuario de base de datos
|
Obligatorio
|
|||
|
password
|
contraseña de la base de datos
|
Obligatorio
|
|||
|
partition_start_date
|
Permite definir a partir de qué momento desea crear particiones. Puede ser en el pasado o en el futuro.
|
El último valor de la columna "time" de la tabla value_stream. Si no hay datos, la fecha de inicio es la actual.
|
Opcional
Formatos posibles:
• AAAA-MM-DD
• AAAA-MM-DD HH:MM
• AAAA-MM-DD HH:MM:SS
• AAAA-MM-DD HH:MM:SS.MS
|
||
|
partition_end_date
|
Permite definir a partir de qué momento desea detener la creación de particiones.
|
Obligatorio
Formatos posibles:
• AAAA-MM-DD
• AAAA-MM-DD HH:MM
• AAAA-MM-DD HH:MM:SS
• AAAA-MM-DD HH:MM:SS.MS
Debe ser en el futuro y, como mínimo, ser mayor que el último valor de la columna "time" más el intervalo. Si no hay datos, debe ser mayor que el intervalo actual +.
|
|||
|
partition_interval
|
Intervalo obligatorio para cada partición
|
Formatos posibles:
• 1h u hours
• 1d o 1day
• 1 month
• 1y o 1year
|
|||
|
future_data_exists
|
Opcional
|
no
|
Valores posibles:
• yes o no
• Si = yes (opcional), el script soportará la partición de datos futura
|
Después de ejecutar la línea de comandos, la tabla value_stream se particiona según los parámetros y los datos se insertan en la partición correcta.
Para utilizar la línea de comandos partition_value_stream_by_range_setting, haga lo siguiente:
1. Vaya al sitio Descargas de software de PTC, navegue hasta la carpeta ThingWorx PostgreSQL y descargue el script partition_value_stream_by_range_setting.sh.
2. Copie el script en un servidor conectado a la base de datos de ThingWorx.
3. Abra una línea de comandos y ejecute el comando según sea necesario con los parámetros anteriores.
Por ejemplo, ./partition_value_stream_by_range_setting.sh -host localhost -port 5432 -database thingworx -username DBA -password password -partition_start_date '2024-06-17 00:00:00.000' -partition_end_date '2025-06-17 00:00:00.000' -partition_interval '1 months'
|
|
Para evitar que se proporcionen repetidamente determinados parámetros, se puede editar el script y definir los siguientes parámetros: DB_HOST, DB_PORT, DB_NAME, DB_USER, DB_PASSWORD.
|
4. Conserve las particiones. Por ejemplo, cree un programador para añadir particiones futuras y archivar o borrar las antiguas. Sin embargo, un gran número de particiones puede aumentar significativamente el tiempo de planificación de consultas, por lo que se debe evitar el uso de muchos miles de particiones.