Backpressure y colas acotadas: que la etapa más lenta marque el ritmo

Qué es

El backpressure es el control de flujo entre las etapas de un pipeline: el consumidor indica cuánto puede aceptar y el productor espera o reduce el ritmo. Reactive Streams (citado) define como objetivo gobernar el intercambio de datos de un flujo a través de una frontera asíncrona, de modo que el lado receptor no se vea obligado a almacenar en búfer cantidades arbitrarias de datos, lo que permite acotar las colas entre hilos; en sus interfaces, el suscriptor señala la demanda solicitando elementos. En Node.js (citado), writable.write() devuelve false cuando el búfer interno alcanza highWaterMark, y el evento 'drain' indica cuándo se puede reanudar la escritura; stream.pipeline() conecta esto entre etapas.

El libro de Google SRE (citado) describe la versión para servir peticiones: la mayoría de los servidores con un hilo por petición mantienen una cola delante de un pool de hilos; si la cola está llena, el servidor rechaza las peticiones. Las colas largas aumentan la latencia y el uso de memoria, y para un tráfico bastante estable el libro recomienda longitudes de cola pequeñas en relación con el pool de hilos, de modo que el servidor rechace pronto cuando no puede sostener la tasa de entrada.

Por qué importa

Todo búfer sin límite (una lista en memoria de trabajos pendientes, un canal ilimitado, un servidor HTTP que acepta conexiones sin restricción) oculta la sobrecarga hasta que el proceso se queda sin memoria o su latencia supera el timeout de todos los clientes; en ese momento los clientes reintentan y empeoran la situación. Las colas acotadas hacen que la sobrecarga sea visible y se detecte pronto.

Cómo aplicarlo

• Acota todas las colas y elige uno de estos tres comportamientos para cuando se llenen: bloquear al productor (backpressure), rechazar el elemento más reciente (descartar carga o shed) o descartar el más antiguo (solo cuando los datos nuevos sustituyen a los viejos).
• Propaga la señal hasta el borde del sistema: una petición rechazada se convierte en un HTTP 503 o 429 con Retry-After, no en una espera silenciosa.
• En código asíncrono, usa canales acotados o semáforos alrededor de las llamadas a dependencias más lentas; en código con streams, usa el helper de pipeline de la plataforma en lugar de manejadores manuales de on('data').
• Dimensiona las colas según la espera aceptable: la longitud de la cola dividida por el rendimiento (throughput) es la latencia añadida en saturación.
• Mide el tiempo de espera en cola (la antigüedad del elemento más antiguo) y el número de rechazos; ambos son mejores señales de sobrecarga que la CPU.

Trampas

Bloquear a un productor que mantiene un lock o una conexión de base de datos puede provocar un deadlock en el sistema. Los timeouts sin rechazo dejan el trabajo en cola para ejecutarse cuando el cliente ya se ha ido. Una cola delante de una dependencia que a su vez tiene cola multiplica la latencia. Los reintentos que llegan desde etapas anteriores deben contarse como carga.