Manual de operaciones individual para un cliente con pico de tráfico

Eres la única persona de guardia cuando el lanzamiento de un cliente convierte una cola compartida en una interrupción que afecta a múltiples clientes. Vemetric aceptó 1.016.237 eventos vinculados a Outbid entre las 18:00 y las 22:00 UTC.

Outbid generó $207.000 en ingresos y atrajo a más de un millón de visitantes en 131 horas tras su lanzamiento. El servicio de ingesta de Vemetric y Redis compartían un mismo host, por lo que ambos consumían los mismos recursos de CPU y memoria. Esa carga llega como solicitudes ordinarias y luego se convierte en una cola que afecta a cada cliente en la misma infraestructura.

• Bloquear el proyecto en el borde antes de que entre más trabajo en la ingesta.
• Drenar la cola de eventos de bajo costo hasta que el panel de control sea confiable.
• Posponer los trabajos costosos de dispositivos y sesiones de ese proyecto hasta que los demás clientes estén operativos.

Detener la fuente antes de que genere más trabajo

Antes de bloquear, confirma el identificador que separa al cliente con el pico del resto. En una pila multiinquilino, ese identificador suele ser un token de proyecto, una clave API o una ruta específica del cliente. Si no puedes identificarlo rápidamente, el bloqueo o bien no alcanzará la fuente o bien dañará a otros clientes.

Bloquea las solicitudes del cliente con pico en el borde antes de que entren en la ingesta. El bloqueo funciona cuando el nuevo tráfico de ese cliente es rechazado o descartado en el límite, mientras que las solicitudes de los demás clientes siguen llegando. Vemetric usó una regla de Cloudflare para detener las solicitudes de ingesta que llevaban el token de proyecto de Outbid. La regla de borde es el control más barato que puedes desplegar, porque evita que se genere trabajo en primer lugar.

Escribe la decisión en la nota del incidente: qué bloqueaste, cuándo y qué clientes siguen afectados. Si el bloqueo es temporal, registra la condición que lo levantará. Un operador individual necesita un disparador escrito, no una verificación en el panel.

Si el pico se debe a una carga malformada y no a un problema de volumen, la regla de borde debe descartar la solicitud defectuosa antes de que llegue al worker.

Drenar la cola de bajo costo antes de confiar en el panel

Drena la cola de eventos antes de intentar explicar el incidente a los clientes. Puedes confiar en el panel cuando la profundidad de la cola baje a lo normal, los eventos retrasados aparezcan en el producto y dejen de faltar datos. La cola de eventos de Vemetric se despejó tras unas seis horas y los eventos retrasados entonces aparecieron en el panel. Hasta que eso ocurra, cada número que muestres será un número parcial.

Mientras se drena la cola, mantén la vista de monitoreo en la profundidad de la cola, la tasa de ingesta y la tasa de errores. No necesitas una nueva alerta para cada métrica. Necesitas una pantalla que te diga si el sistema se dirige a la normalidad o a otra falla.

No prometas a los clientes una hora de recuperación precisa hasta que la profundidad de la cola esté bajando. Una actualización vaga es mejor que una hora segura que no puedes sostener. Si la cola deja de bajar, dilo y pasa al siguiente control.

Posponer los trabajos costosos hasta que los demás clientes se recuperen

Retén los trabajos de dispositivos y sesiones del cliente con pico hasta que el resto del sistema esté operativo. El paso está completado cuando los trabajos de enriquecimiento, segmentación o informes de los demás clientes terminan a tiempo, mientras que el trabajo pesado del cliente con pico permanece en una cola conocida y acotada. Las colas de dispositivos y sesiones de Outbid aún tenían 600.000 a 800.000 trabajos pendientes, y su capacidad de procesamiento existente habría requerido días para despejarlos. Para recuperar primero a los demás clientes, Vemetric aplicó una exclusión temporal que impidió a los workers de dispositivos y sesiones procesar los trabajos de Outbid.

El error es tratar la cola del cliente con pico como el trabajo de mayor prioridad porque es el más visible. Esa cola ya está bloqueando a todos los demás. Los trabajos costosos pueden esperar; el servicio de los demás clientes no.

Establece una fecha de expiración para la exclusión. La exclusión está lista solo con una nota fechada que indique cuándo reanudarán los trabajos del cliente con pico y qué debe ser cierto antes de retirarla. Si el sistema está operativo, reactiva los trabajos en un lote controlado en lugar de liberar la cola completa de una vez.

Notifica al cliente con pico con los mismos hechos que usarías para cualquier cliente: qué se bloqueó, por qué, qué está retrasado y cuál es la próxima verificación. Dale al cliente un estado claro y un siguiente paso, no una narrativa de culpas. Mantén la exclusión visible en el manual hasta que la cola baje por debajo del umbral normal.