Calibrer un résultat de scanner avec un scénario de test vulnérable et son jumeau sûr

Objectif

Déterminer si un scanner de sécurité distingue effectivement le comportement qu'il prétend détecter. Cette méthode originale utilise des scénarios de test contrôlés pour interpréter un résultat, non pour certifier le scanner ni classer des produits.

Prérequis

Utiliser un laboratoire déconnecté ou autrement à accès restreint, appartenant à l'opérateur. Préparer un cas jouet délibérément défectueux et un jumeau corrigé, avec la même structure environnante. Tenir à l'écart les identifiants réels, les données personnelles et les cibles de production.

Étapes

1. Énoncer la condition exacte que le scanner est censé signaler et la preuve qui l'établirait. Éviter un oracle qui se contente de répéter l'identifiant de règle ou l'étiquette de gravité du scanner.

2. Exécuter la règle sélectionnée sur le scénario défectueux et conserver des métadonnées de diagnostic minimales. Si aucun résultat n'apparaît, vérifier d'abord que le scénario a bien été inclus dans l'analyse et que la règle était activée.

3. Exécuter le jumeau corrigé avec une configuration équivalente. Un résultat sur les deux cas exige d'enquêter sur la précision de la règle, les différences entre scénarios, ou un défaut restant ; ce n'est pas automatiquement un faux positif.

4. Modifier une propriété pertinente à la fois, comme la frontière de flux de données que modélise la règle. Garder stables, tout au long de la comparaison, la construction, les dépendances et la configuration d'analyse sans rapport.

5. Enregistrer séparément les sorties réelles et le jugement de l'oracle indépendant. Lors de l'ajout d'une suppression, y joindre le motif borné et une condition qui devrait déclencher une réévaluation.

Résultat attendu

Une évaluation exploitable distingue un échec de détection, une fausse alerte et une preuve non résolue. Elle précise également quel scénario et quelle configuration de scanner le jugement couvre.

Limites et base de vérification

Réussir ces contrôles n'estime ni le rappel ni la précision en conditions réelles. Cet article ne rapporte aucune exécution de scanner, aucune mesure, ni aucun résultat observé ; il propose une comparaison locale reproductible. Il s'agit d'une méthode originale proposée ; aucune exécution ni résultat empirique n'est revendiqué.