VOZY - Novedades en el procesamiento de llamadas (Inbound/Outbound) para algunas cuentas
Incident Report for Vozy
Postmortem

Informe RCA - Alta latencia en responder las conversaciones

El día de 27 de mayo de 2024, identificamos un incidente en donde los agentes virtuales tanto inbound como outbound, experimentaba retrasos significativos al entregar el texto del siguiente nodo en el flujo de conversación, tanto en el canal telefónico como en el canal de Whastapp. Este problema se debía a que el balanceo de carga en el no estaba funcionando correctamente.

Causa raíz

El problema está relacionado con la desactivación del certificado de Linkerd . Esto estaba causando retrasos en el procesamiento de las peticiones y la entrega del texto del nodo correspondiente.

Solución

Nuestro equipo de especialistas ha incrementado las réplicas mínimas las cuales son son múltiples instancias de un servicio que corren simultáneamente para asegurar disponibilidad, escalabilidad y manejo de tráfico para que se distribuya correctamente.

Adicionalmente la solución definitiva fue la activación y actualizando el Linkerd a la ultima versión, solucionando el problema de certificados que se tenia previamente y el incidente con el balanceo de carga en los servicios.

Plan de remediación

Acciones que están en curso

  1. Mejorar el monitoreo del Linkerd, con el fin de obtener mejores alertas que permitan anticiparnos a este tipo de comportamientos.

Sabemos que nuestros clientes confían en nuestra solución para el soporte de sus operaciones y nos disculpamos sinceramente por cualquier inconveniente causado por este incidente.

Estamos comprometidos con la disminución de fallos y la reducción del impacto en los servicios mediante el fortalecimiento de nuestra infraestructura y procesos, con el objetivo de prevenir eventos similares en el futuro y asegurar un servicio confiable para nuestros clientes.

Atentamente,

Vozy Support Team

Posted May 31, 2024 - 11:29 GMT-05:00

Resolved
This incident has been resolved.
Posted May 27, 2024 - 20:12 GMT-05:00
Monitoring
Hola,

Queremos informarte que se ha intervenido y solucionado el inconveniente que se estaba presentando con el procesamiento de algunas llamadas (Inbound/Outbound)

Seguimos en el monitoreo diferenciado durante las siguientes horas para asegurar el correcto funcionamiento de los servicios.

Ofrecemos disculpas por las dificultades que esta situación hubiera podido ocasionar en la operación de tu negocio.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,

Vozy Team
Posted May 27, 2024 - 12:27 GMT-05:00
Update
Hola,

Nos complace informarte que la afectación con nuestros servicios de asistente virtual ha sido solucionada. Nuestro equipo técnico ha trabajado diligentemente para asegurar que todas las cuentas estén funcionando correctamente y que las llamadas (Inbound/Outbound) se procesen sin inconvenientes.

Vamos a estar haciendo un monitoreo diferenciado durante las siguientes horas para asegurar el correcto funcionamiento de los servicios.

Agradecemos tu paciencia y comprensión durante este tiempo.

Si experimentas algún problema adicional o tienes cualquier inquietud, no dudes en contactarnos a través de support@vozy.co.

Una vez contemos con el informe RCA asociado a este evento, lo estaremos publicando aquí mismo.


Saludos,

El equipo de Vozy
Posted May 27, 2024 - 11:13 GMT-05:00
Investigating
Hola,

Nos parece importante que sepas que en este momento se tiene identificada una afectación con nuestros servicios de asistente virtual, está afectando varias cuentas; no se están procesando correctamente algunas llamadas (Inbound/Outbound)

Ahora mismo tenemos todos los esfuerzos de nuestro equipo técnico enfocados para normalizar el servicio en todas las cuentas lo antes posible.

Tan pronto tengamos más detalles los estaremos compartiendo.

Cualquier inquietud o comentario relacionado, lo puedes enviar a support@vozy.co

Saludos,
Posted May 27, 2024 - 10:32 GMT-05:00
This incident affected: Incoming Calls, Outgoing Calls, Outgoing Calls (SIP), and Incoming Calls (SIP).