Vídeo: Can we build AI without losing control over it? | Sam Harris (De novembre 2024)
Per definició, no és possible executar una prova mitjançant mostres reals de zero dies. Quan els investigadors puguin capturar i validar una mostra, els venedors d’antivirus ja estarien a l’hora de preparar una signatura. AV-Comparatives simula la detecció del dia zero "congelant" la base de dades de signatures d'un producte i després utilitza només mostres que van aparèixer per primer cop després de la gran congelació.
Alguns productes detectaran programari maliciós nou mitjançant tècniques heurístiques, identificant-les per similitud amb programari maliciós conegut o per altres característiques. Els investigadors van llançar cada mostra no atrapada per heurístiques, observant si la detecció basada en el comportament del producte o una altra protecció en temps real impedia la infestació. Els productes van obtenir tot el seu crèdit per bloquejar el programari maliciós per si sol i mig crèdit en situacions en què el bloqueig requeria una correcta decisió per part de l’usuari.
Detecció molt bona
Basant-se exclusivament en les seves taxes de detecció, 11 dels 16 productes provats haurien obtingut una qualificació AVANÇADA +, la qualificació màxima. Bitdefender va superar aquest grup, amb un 97% de detecció; Kaspersky i Emsisoft van aconseguir el 94%. Panda i Avast haurien guanyat AVANÇAT. Microsoft també hauria obtingut una qualificació AVANÇADA, però AV-Comparatives l'utilitza només com a línia de referència. A la part inferior, AnhLab i Vipre haurien passat amb una qualificació STANDARD.
Positius falsos pesats
Els sistemes de detecció heurístics i basats en el comportament s’han d’ajustar amb molta cura per evitar que els programes vàlids siguin perillosos, això és el que anomenem fals positiu. Alguns dels productes provats van perdre punts per haver-hi massa falsos positius. Atès que el test de detecció es va realitzar amb signatures congelades el febrer passat, els investigadors van poder tornar a utilitzar els resultats falsos positius d'una prova realitzada al març.
Sis dels productes provats van perdre un nivell de qualificació a causa de massa falsos positius. Per a Emsisoft, eScan i G Data, això significava caure de AVANÇAT + a AVANÇAT, mentre que Panda va caure de AVANÇAT a ESTÀNDARD. Pel que fa a AhnLab i Vipre, ja estaven al nivell de pas més baix, de manera que la seva qualificació final es va fer merament provada; no passaven.
Polèmica de núvol
Els venedors que presentin els seus productes per a la prova per part de AV-Comparatives han d’acceptar participar en totes les proves necessàries. La prova de detecció de fitxers basada en signatures és un dels conjunts necessaris; Symantec no aprova aquesta prova, per la qual cosa no trobareu resultats de Norton als informes AV-Comparatives.
El test proactiu, en canvi, és opcional. Segons l'informe, "AVG, McAfee, Qihoo, Sophos i Trend Micro van decidir no participar-hi, ja que els seus productes depenen molt del núvol". La prova del dia zero exclou necessàriament la detecció basada en núvols, ja que no hi ha manera de "congelar" el núvol. Aquests venedors creien que els seus productes obtindrien una puntuació deficient sense accés a una connexió al núvol.
Tot i que AV-Comparatives va permetre que aquests venedors es presentessin, l'informe els renya una mica. "Fins i tot diverses setmanes després, alguns exemples de programari maliciós utilitzats encara no van ser detectats per alguns productes depenents del núvol, fins i tot quan les seves característiques basades en el núvol estaven disponibles", afirma. "Considerem que és una excusa de màrqueting si es critiquen que es facin proves retrospectives… perquè no es pugui utilitzar recursos en núvol". L’informe conclou: "Si un fitxer és completament nou / desconegut, el núvol normalment no serà capaç de determinar si és bo o malintencionat."
Si el vostre antivirus va obtenir una qualificació màxima en aquesta prova, aquest és un bon senyal que es defensarà de les amenaces del nou dia zero. Però, com que la prova no utilitza literalment mostres mai vistes abans del món real, una puntuació deficient (o cap participació) no demostra necessàriament que no farà la feina. Per obtenir una comprensió completa, voldreu mirar una gran varietat de proves i les revisions antivirus pràctiques de PCMag.