VOZY - Inconvenientes con servicio de reportería en la plataforma WebVozy para algunas cuentas
Incident Report for Vozy
Postmortem

Informe RCA

Hola,

Agradecemos su comprensión en relación con esta novedad que estuvo afectando algunas cuentas más del tiempo habitual en el que solemos intervenir y resolver este tipo de eventos.

Una vez superada la situación que se estaba presentando, después de varios días de monitoreo, nos alegra comentar que las intervenciones realizadas, acciones implementadas para solucionar la novedad, fueron exitosas.

Entendemos que esta situación haya podido ocasionar inconvenientes en la operación de algunos de nuestros clientes, lamentamos mucho eso; En VOZY no dejamos de trabajar para que, ante cualquier eventualidad, el impacto a nuestros clientes sea el mínimo posible.

Causa raíz

La novedad que estuvimos experimentando recientemente donde se percibían “retrasos” en la aparición de la analítica o envío de registros de reportería vía Webhook para algunas cuentas, tuvo lugar debido a un fallo presentado en una de nuestras funciones Lambda.

Este fallo en la función generaba una demora para el procesamiento en las colas de peticiones de la reportería, estos se reflejaban como “retrasos” en la aparición de la analítica o envío de registros de reportería vía Webhook.

Para corregir la situación en cuestión, se implementaron varias acciones y se estarán implementando algunas más en el corto plazo.

Plan de remediación

Acciones ya implementadas

  1. Se crearon y activaron nuevos logs en nuestra plataforma para detectar oportunamente posibles retrasos en la cola de peticiones.
  2. Se refactorizaron varios de los servicios que soportan la solución.
  3. Se generó una nueva cola lili-logs-v2-sessions-2.fif para gestionar más eficientemente el manejo de nuevas peticiones.
  4. Se aumentaron recursos para tener un mejor performance de servicio de nuestro proveedor de infraestructura.
  5. Se activó alarma del evento de encolamiento en el servicio que estaba generando el retraso.

Acciones que están en curso

  1. Se continuará trabajando en la actualización del nuevo Voicebot para gestionar cada vez de una manera más eficiente, iente las peticiones de servicio.
  2. Se realizará una nueva implementación de la cola FIFO SQS, con el objetivo de elevar las invocaciones que procesa la función Lambda.
  3. Se continuará trabajando en la evaluación periódica del aumento de recursos en hardware para los servidores que soportan nuestros servicios.

Cuenta con todo el compromiso de nuestro equipo para seguir avanzando en la disminución de fallos y la reducción del impacto sobre los servicios ante cualquier imprevisto.

‌Saludos,

Vozy Team

Posted Jan 25, 2023 - 13:40 GMT-05:00

Resolved
Hola,

Nos alegra comentarte que se ha intervenido y solucionado el inconveniente que se estaba presentando con los tiempos de publicación de registros de reportería (local y Webhook)

Si estabas presentando inconvenientes con la reportería (local o Webhook) en la WebVozy, te invitamos a comprobar el correcto funcionamiento en este momento.

Hemos venido haciendo monitoreo del correcto funcionamiento desde las horas de la mañana de hoy, continuaremos haciendo monitoreo del correcto funcionamiento de la aplicación a lo largo del día.

Ofrecemos disculpas por las dificultades que esta situación hubiera podido ocasionar en la operación de tu negocio.

Cuenta con que seguiremos trabajando duro para mitigar la ocurrencia futura de novedades como la que se estaba presentando.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Durante los siguientes 3 días hábiles estaremos publicando informe postmorten con las causas del inconveniente y las acciones para evitar que se presente nuevamente.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted Jan 19, 2023 - 15:42 GMT-05:00
Update
Hola,

En este momento el comportamiento de las colas de reportería es correcto, sin embargo, dada la naturaleza de la novedad que se venía presentando, con los tiempos de publicación de registros de reportería (local y Webhook), nuestro equipo técnico tiene activo un monitoreo especial sobre los servicios de reportería, se sigue evaluando el comportamiento para garantizar la completa estabilización del servicio.

Cuenta con que seguimos trabajando duro para la completa estabilización del servicio.

En la medida en que vamos detectando novedades con el monitoreo que se está realizando, las estaremos compartiendo aquí.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted Jan 19, 2023 - 10:14 GMT-05:00
Identified
Hola,

De acuerdo con el monitoreo que venimos haciendo durante toda la mañana a la solución que se había aplicado al inconveniente que se estaba presentando con los tiempos de publicación de registros de reportería (local y Webhook), hemos identificado que nuevamente la sincronización de la reportería esta tardando más de lo habitual, por lo que no están cargando los reportes completamente; se está generando inconvenientes en algunas cuentas.

Nuestro equipo de especialistas sigue trabajando enfocado en la normalización del servicio para todas las cuentas lo más pronto posible.

Da por hecho que estamos haciendo todos los esfuerzos necesarios para superar esta situación de manera definitiva lo más pronto posible.

Una vez tengamos más detalles los estaremos compartiendo.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted Jan 18, 2023 - 13:03 GMT-05:00
Monitoring
Hola,

Nos complace comentarte que se ha intervenido y solucionado el inconveniente que se estaba presentando con los tiempos de publicación de registros de reportería (local y Webhook)

Si estabas presentando inconvenientes con la reportería (local o Webhook) en la WebVozy, te invitamos a comprobar el correcto funcionamiento en este momento.

Vamos a estar haciendo monitoreo del correcto funcionamiento de la aplicación a lo largo del día.

Ofrecemos disculpas por las dificultades que esta situación hubiera podido ocasionar en la operación de tu negocio.

Cuenta con que seguiremos trabajando duro para mitigar la ocurrencia futura de novedades como la que se estaba presentando.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Durante los siguientes 3 días estaremos publicando informe postmorten con las causas del inconveniente y las acciones para evitar que se presente nuevamente.


Saludos,

Vozy Team
Posted Jan 18, 2023 - 08:32 GMT-05:00
Update
Hola,

Si bien, se vienen mejorando los tiempos de publicación de registros de reportería, aún nuestro equipo técnico sigue trabajando de la mano con nuestro proveedor de infraestructura en la búsqueda de una solución para la completa normalización del servicio de reportería (local y Webhook).

En cuanto tengamos más detalles los estaremos compartiendo con ustedes.

Nuestro equipo de especialistas sigue enfocado en la normalización del servicio para todas las cuentas lo más pronto posible.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted Jan 17, 2023 - 15:25 GMT-05:00
Update
Hola,

Lamentamos mucho que la solución definitiva a esta inconveniente esté tardando más tiempo del esperado; nuestro equipo técnico ha venido trabajando sin descanso, se ha disminuido el impacto de la novedad, sin embargo, aún hay un delay importante en el envío de los datos de la reportería.

Seguimos teniendo afectación con el servicio de reportería (local y Webhook) para algunas de las cuentas/clientes.

Nuestro equipo de especialistas sigue enfocado en la normalización del servicio para todas las cuentas lo más pronto posible.


Una vez tengamos más detalles los estaremos compartiendo.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted Jan 17, 2023 - 08:21 GMT-05:00
Update
Hola,

Seguimos trabajando para que se puedan procesar correctamente la totalidad de los reportes

Seguimos teniendo afectación con el servicio de reportería (local y Webhook) para algunas de las cuentas/clientes.

Nuestro equipo de especialistas sigue trabajando enfocado en la normalización del servicio para todas las cuentas lo más pronto posible.

Da por hecho que estamos haciendo todos los esfuerzos necesarios para superar esta situación.

Una vez tengamos más detalles los estaremos compartiendo.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,
Posted Jan 16, 2023 - 17:08 GMT-05:00
Identified
Hola,

Nos parece importante que sepas que en este momento se tiene identificada una afectación en el servicio de reportería (local y Webhook) que está generando inconvenientes en algunas cuentas; la sincronización de la reportería esta tardando más de lo habitual, por lo que no están cargando los reportes completamente.


Ahora mismo tenemos todos los esfuerzos de nuestro equipo técnico enfocados para normalizar el servicio en todas las cuentas lo antes posible.


Tan pronto tengamos más detalles los estaremos compartiendo.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted Jan 16, 2023 - 15:41 GMT-05:00
This incident affected: Vozy Apps and Public Website.