Saltar al contenido
AXXA

Verificación

Estrategias de verificación para software complejo

Los objetivos de cobertura no dicen si un sistema funciona. Cómo repartir el esfuerzo de verificación según el riesgo, entre niveles, y convertir los resultados de las pruebas en evidencia para la entrega.

Publicado
Tiempo de lectura
4 min de lectura

La mayoría de las organizaciones que construyen software complejo tienen una batería de pruebas. Muchas menos tienen una estrategia de verificación: una respuesta explícita a la pregunta de qué riesgos estamos reduciendo, en qué nivel, con qué técnica y cómo sabemos que ha funcionado.

Sin esa respuesta, el esfuerzo de prueba sigue a la comodidad. El código fácil de probar unitariamente se prueba a fondo. Las interacciones que realmente fallan en el campo (tiempos, concurrencia, configuración, redes degradadas) se dejan para una prueba de sistema manual cerca del final, si es que se prueban.

Empezar por los riesgos, no por los niveles

La pirámide de pruebas clásica es una heurística útil para el coste, pero no dice nada sobre qué probar. Un mejor punto de partida es una lista breve de las formas en que es más probable que falle el sistema, o en que fallar resulte más caro:

Riesgo Dónde se detecta mejor Técnica habitual
Errores algorítmicos o de lógica Nivel unitario, en el host Pruebas basadas en ejemplos y en propiedades
Violaciones de contrato entre componentes Nivel de componente / contrato Pruebas de contrato contra definiciones de interfaz compartidas
Tiempos y agotamiento de recursos Nivel de integración, en el target Pruebas de carga, medición de tiempos de ejecución
Comportamiento ante fallos Nivel de integración / sistema Inyección de fallos, degradación de la red
Errores de configuración y despliegue Nivel de sistema, entorno similar a producción Despliegue automatizado y smoke tests

Cada fila es una decisión deliberada. Los huecos, es decir, los riesgos sin fila, también lo son, y deberían escribirse en lugar de descubrirse.

Abaratar de verdad los niveles inferiores

La verificación en los niveles superiores es cara: necesita hardware, entornos y tiempo. Compensa llevar cada comprobación que pueda ejecutarse más abajo tan abajo como sea posible.

En software embebido y distribuido, esto es sobre todo una cuestión de arquitectura. La lógica separada del hardware y de la capa de comunicación puede probarse en el equipo de un desarrollador en milisegundos. La lógica enredada con drivers y middleware solo puede probarse en un banco. La estrategia de pruebas y la arquitectura son la misma conversación.

Tratar la infraestructura de pruebas como un producto

Las pruebas de nivel superior fallan por dos motivos: el sistema está mal, o el entorno de prueba lo está. Cuando lo segundo ocurre con suficiente frecuencia, los ingenieros aprenden a relanzar los fallos en lugar de investigarlos, y la batería deja de aportar información.

Por eso la infraestructura de pruebas merece la misma disciplina de ingeniería que el producto:

  • Los entornos son reproducibles. Bancos de prueba, simuladores y contenedores se definen bajo control de versiones y pueden reconstruirse.
  • Las pruebas inestables son defectos. Se registran, se ponen en cuarentena con un responsable y una fecha límite, y se corrigen; no se reintentan en silencio.
  • Los fallos son diagnosticables. Cada prueba fallida produce logs, información temporal y artefactos suficientes para entender el fallo sin reproducirlo.

Medir lo que la cobertura no mide

La cobertura de código responde a una pregunta estrecha: qué líneas se ejecutaron durante las pruebas. No dice si las pruebas comprobaron algo relevante, y no dice nada sobre combinaciones, tiempos o configuración.

La cobertura es útil como señal negativa (el código no cubierto, con seguridad, no está verificado) y como umbral para el código nuevo. Como objetivo en sí misma es pobre. Para sistemas complejos resultan más informativas medidas como:

  • la proporción de riesgos identificados que tienen una prueba automatizada en el nivel adecuado;
  • los requisitos con al menos una prueba trazable y superada en la versión candidata;
  • el tiempo medio entre la introducción de un defecto y su detección;
  • la tasa de fallos de prueba causados por la infraestructura y no por defectos del producto.

Convertir los resultados en evidencia

En productos regulados o relevantes para la seguridad, la verificación debe producir finalmente evidencia: un registro de que un requisito concreto se verificó, con una prueba concreta, sobre una build concreta. Montar ese registro a mano antes de cada entrega es lento y propenso a errores.

La alternativa es que la trazabilidad sea un subproducto del trabajo habitual. Las pruebas llevan los identificadores de los requisitos que verifican; el sistema de CI registra los resultados asociados al commit y a la build; el informe se genera, no se redacta. Cuando llega la decisión de entrega, la evidencia ya existe.

Resumen

Una estrategia de verificación es un documento breve y vivo que relaciona riesgos con niveles y técnicas, respaldado por una infraestructura que hace que ejecutar esas comprobaciones sea barato y fiable. Es menos vistosa que un nuevo framework de pruebas, y bastante más eficaz.

Contacto

¿Tiene un sistema que debe funcionar y seguir funcionando?

Cuéntenos el sistema, las restricciones y lo que está en juego. Lo leerá un ingeniero sénior, que le responderá personalmente.

Iniciar una conversación