Microsoft rebutja un error de prova antivirus

Treballar al Centre de protecció de programari de Microsoft ha de ser dur. Aquí la vostra empresa és una de les més grans del món, però un petit (però ben considerat) laboratori de proves antivirus a Alemanya diu que el vostre programari antivirus no talla la mostassa. No només una vegada, sinó dues vegades durant els últims mesos, Microsoft no ha rebut la certificació d'AV-Test.

Joe Blackbird, responsable de programes del centre, va explicar en una publicació al bloc que fallar aquesta prova no significa que l’usuari de Microsoft no estigui protegit.

Transparència en proves

D’acord amb els principis de l’AMTSO, AV-Test no mostra cap secret de la metodologia emprada en la realització de les seves proves de certificació en curs. Això significa que Blackbird podria comprovar i verificar exactament el motiu pel qual Microsoft Security Essentials no va passar.

La prova proporciona un pes igual a tres elements de seguretat: protecció (evitar que el nou programari maliciós infesti un sistema net), reparació (esborrar programari maliciós ja present) i usabilitat (fer la feina sense alentir el sistema ni acusar falsament programes vàlids). Microsoft va estar bé en les àrees de reparació i usabilitat, però va aconseguir només 1, 5 dels 6 punts possibles de protecció.

No és un món real?

La principal afirmació de Blackbird és que aquesta prova no reflecteix l'experiència del client real de Microsoft. Segons AV-Test, Microsoft va perdre 28 de les 100 amenaces del dia zero. Tot i això, la telemetria de Microsoft demostra que "el 99, 997 per cent dels nostres clients van xocar amb cap dia 0 no es van trobar amb les mostres de programari maliciós provades en aquesta prova." Tingueu en compte que no està parlant del 99, 997 per cent de tots els clients. Diu que, entre els que es van trobar amb alguna amenaça de cap dia zero, només el 0, 003 per cent va trobar un que utilitzava el test AV realment.

Però, això és necessàriament una acusació del mètode de prova? Mirem al revés. Els atacs del dia zero es produeixen constantment, en un gran nombre. Si el 0, 003 per cent representa un sol client, 300.000 clients han tingut un atac com aquest. Per descomptat, el nombre podria ser més gran. AV-Test va escollir una mostra aleatòria de 100 i només va trobar 28 que Microsoft no pot detectar. Sona una mica dolent, no?

Microsoft també va perdre el 9 per cent dels 216.000 fitxers de la col·lecció "programari maliciós recent", però, va dir Blackbird, les mostres perdudes "no representen el que troben els nostres clients. Quan vam buscar explícitament aquests fitxers, no els vam poder trobar a la nostra màquines dels clients."

Priorització centrada en el client

"Al desembre de 2012", va continuar Blackbird, "vam processar 20 milions de nous fitxers potencialment maliciosos i, mitjançant la telemetria i l'impacte del client per prioritzar aquests fitxers, vam afegir protecció que va bloquejar 4 milions de fitxers maliciosos diferents en prop de 3 milions d'ordinadors. els fitxers podrien haver tingut un impacte sobre els clients si no els haguéssim prioritzat adequadament. " És a dir, Microsoft va sortir malament en aquesta prova per la seva èmfasi en prioritzar fitxers que afectessin activament els seus clients.

És un punt interessant, però altres venedors aconsegueixen protegir els seus usuaris i també obtenen puntuacions més altes de la prova AV. Bitdefender, F-Secure i Trend Micro van rebre 6 de 6 punts possibles a la prova de protecció.

Dono el punt que AV-Test no va utilitzar tot el programari maliciós realment trobat pels usuaris de Microsoft per a la seva prova. Això seria impossible. Els provadors antivirus han de fer tot el possible per utilitzar mostres representatives. Tot i això, les meves proves pràctiques amb Microsoft Security Essentials, que utilitzen mostres que no estan tan zero, suggereixen que no és tan efectiu com els millors productes antivirus.

Per obtenir més informació sobre Neil, seguiu-lo a Twitter @neiljrubenking.