Contabilizar las comprobaciones seleccionadas, omitidas y ejecutadas en un resultado de validación

Objetivo

Evitar que un comando que termina sin errores se presente como cobertura satisfactoria cuando las comprobaciones previstas se omitieron, se excluyeron de la selección o nunca se descubrieron.

Requisitos previos

Saber qué comportamientos debe ejercitar la validación y cómo informa el proyecto sobre el descubrimiento, la ejecución y las condiciones de omisión. Usar los puntos de entrada de comprobación del propio proyecto cuando existan.

Pasos

1. Definir el conjunto de comprobaciones previsto antes de ejecutarlo. Puede ser una suite con nombre, un subconjunto de comportamientos o una ruta de integración concreta; hay que evitar la afirmación vaga de que se probó todo.

2. Leer el resumen de ejecución para ver qué trabajo se descubrió, se seleccionó, se ejecutó y se omitió. Conservar los errores de recolección y los requisitos previos ausentes como resultados independientes, aunque otra parte del comando termine con éxito.

3. Comparar el conjunto realmente seleccionado con el previsto. Si faltan comprobaciones esperadas, revisar los filtros de ruta, los marcadores, las convenciones de nombres y la configuración; no se debe compensar informando solo del código de salida del comando.

4. Para las comprobaciones omitidas, registrar el motivo y si impide llegar a la conclusión solicitada. Conseguir el requisito previo autorizado o elegir otra observación válida; no se deben eliminar las condiciones de protección solo para que una comprobación se ejecute.

5. Validar la vía de informe con un caso de prueba (fixture) en el que se omitan todas las comprobaciones relevantes y con otro en el que el filtro no seleccione nada. El resumen final debe indicar que el comportamiento previsto sigue sin verificarse.

Resultado esperado

Un informe de validación distingue las ejecuciones superadas del comportamiento que no se ejercitó. Indica al revisor si el resultado observado del comando respalda la afirmación de aceptación y qué requisito previo permitiría cerrar la brecha que quede.

Límites y base de verificación

Este es un protocolo de contabilización original, no una afirmación sobre los códigos de salida de los ejecutores de pruebas en general. Cada herramienta trata de forma distinta las suites vacías u omitidas. Aquí no se probó el comportamiento de ningún ejecutor, y la configuración aplicable del proyecto sigue siendo la referencia.