In deze blog interpreteren wij de resultaten van de MITRE Engenuity ATT&CK® Evaluations en gaan wij in op de vraag of meer detecties altijd beter is. We geven geeft een nuchter en feitelijk overzicht over hoe ESETs Endpoint Detection and Response (EDR) oplossing – ESET Enterprise Inspector – presteerde in de MITRE ATT&CK®-evaluatie, en belichten enkele kenmerken van de oplossing die niet waren geëvalueerd door MITRE Engenuity, maar wel relevant zijn bij het overwegen van een EDR oplossing.
Voordat je hierin duikt, is het belangrijk om op te merken dat we dit niet schrijven vanuit het perspectief van een leverancier die slecht presteerde bij de evaluatie. Integendeel, met een zichtbaarheid van meer dan 90% in de aanvalsubstappen (een van de statistieken, die hieronder in meer detail zal worden uitgelegd), plaatst ESET zich in de top van deelnemende leveranciers.
Evaluatie methodiek
Om de evaluatieresultaten goed te kunnen analyseren, is het belangrijk om de methodologie en enkele belangrijke termen te begrijpen. MITRE Enguinity biedt zeer duidelijke en gedetailleerde documentatie voor de evaluatie, te beginnen met een gemakkelijk te lezen blogpost (wat een geweldige plek is om te beginnen, vooral als je niet bekend bent met de evaluatie opzet) helemaal tot de Adversary Emulation Plan Library, die broncode bevat zodat iedereen de resultaten kan reproduceren. Daarom geven we hier slechts een kort overzicht van de methodologie.
In de meest recente iteratie emuleerde MITRE de technieken die typisch worden gebruikt door de Carbanak en FIN7 Advanced Persistent Threat (APT) groepen. We noemen hen ‘financiële APT-groepen’ omdat, in tegenstelling tot de meeste APT-groepen, hun primaire motivatie financieel gewin lijkt te zijn, in plaats van nationale spionage of cybersabotage, en in tegenstelling tot typische cybercriminele bendes, gebruiken zij geavanceerde technieken.
Dit betekent dat als je organisatie actief is in een van de financiële, bank-, detailhandel-, restaurant, of horecawereld, dan is deze evaluatie op jou van toepassing. Tegelijkertijd dient de evaluatie voor organisaties buiten het typische toepassingsgebied van Carbanak en FIN7 nog steeds als relevante referentie om de werkzaamheid van EDR aan te tonen, omdat veel van de geëmuleerde technieken die in deze evaluatie worden gebruikt, gemeenschappelijk zijn voor meerdere APT-groepen.
De detectiescenario’s bestonden uit 20 stappen (10 voor Carbanak en 10 voor FIN7) die een spectrum van tactieken omvatten die worden vermeld in het ATT&CK framework, van initiële toegang tot zijwaartse beweging, verzameling, exfiltratie, enz. Deze stappen worden vervolgens uitgesplitst naar een meer gedetailleerd niveau – in totaal 162 substappen (of 174 voor leveranciers die ook deelnemen aan het Linux-gedeelte van de evaluatie). Het MITRE Engenuity-team registreerde de detecties en het niveau van zichtbaarheid bij elke substap voor elke deelnemende EDR-oplossing.
De resultaten werden vervolgens gecombineerd tot verschillende statistieken, voornamelijk gebaseerd op het vermogen van de oplossing om het gedrag van de geëmuleerde aanval te zien (categorie telemetrie) of om meer gedetailleerde analytische gegevens te verstrekken (de categorieën: algemeen, tactiek en techniek).
Figuur 1 – Detectie categorieën in de Carbanak and FIN7 Evaluation (bron: MITRE)
Nieuw in de ronde van dit jaar, naast de detectiescenario’s waarin geteste oplossingen alleen waren geconfigureerd om een aanval te rapporteren maar niet te voorkomen, was er ook een optioneel beveiligingsscenario dat de mogelijkheden van elke deelnemende oplossing testte om te voorkomen dat een aanval doortocht vindt. Het beschermingsscenario omvatte in totaal 10 testgevallen (5 voor Carbanak en 5 voor FIN7)
De ATT&CK evaluaties verschillen van traditionele testen van beveiligingssoftware doordat er geen scores, ranglijsten en beoordelingen zijn. De redenering hierachter is dat organisaties, Security Operations Center (SOC) teams en beveiligingsingenieurs allemaal verschillende niveaus van volwassenheid en verschillende voorschriften hebben om aan te voldoen, samen met tal van andere sector-, bedrijfs- en locatiespecifieke behoeften. Daarom zijn niet alle metrieken die in de ATT&CK-evaluaties worden gegeven, voor elke evaluator even belangrijk. Andere belangrijke parameters waarmee de evaluatie geen rekening hield, zijn onder meer EDR-prestaties en resourcegebruik, lawaai (alert moeheid – elk product kan een zeer hoge score behalen op de meeste van deze resultaten door waarschuwingen te produceren voor elke actie die in de testomgeving wordt geregistreerd), integratie met het endpoint beveiligingsproduct en gebruikersgemak.
Laten we nu eens kijken hoe ESET’s EDR-oplossing, ESET Enterprise Inspector, het deed.
Van de 20 stappen in de detectie-evaluatie heeft ESET Enterprise Inspector alle stappen gedetecteerd (100%). Door de aanvalsemulatie terug te brengen tot een gedetailleerder niveau, van de 162 substappen in de emulatie, detecteerde ESET Enterprise Inspector 147 substappen (91%). Zoals de resultaten aangeven, biedt de EDR-oplossing van ESET verdedigers uitstekende zichtbaarheid van de acties van de aanvaller op het gecompromitteerde systeem tijdens alle aanvalsfasen.
Figuur 2 – Distributie per detectie type per stap in het Carbanak scenario (Bron: MITRE Engenuity)
Figuur 3 – Distributie per detectie type per stap in het FIN7 scenario (Bron: MITRE Engenuity)
Figuur 4 – Distributie per detectie type per substap in het Carbanak scenario (Bron: MITRE Engenuity)
Figuure 5 – Distributie per detectie type per substap in het FIN7 scenario (Bron: MITRE Engenuity)
Hoewel zichtbaarheid een van de belangrijkste statistieken is, is het niet de enige. Misschien nog belangrijker voor sommige SOC-analisten is de alertingsstrategie (geen onderdeel van de evaluatie zelf), die we later bespreken.
Een andere statistiek die voor sommigen belangrijk kan zijn, is de analytische dekking – bestaande uit detecties die extra context bieden – bijvoorbeeld waarom de aanvaller de specifieke actie op het systeem heeft uitgevoerd. Geïllustreerd door de drie tinten groen (algemeen, tactiek en techniek) in de bovenstaande grafieken. ESET Enterprise Inspector leverde deze extra informatie voor 93 van de substappen (57%).
Merk op dat ESET niet heeft deelgenomen aan het Linux-gedeelte van de evaluatie – de Linux-substappen zijn in de resultaten gemarkeerd als niet van toepassing. ESET Enterprise Inspector is momenteel beschikbaar voor Windows en macOS (macOS-bescherming is in deze evaluatieronde niet getest), terwijl de integratie voor Linux eind 2021 wordt verwacht.
Waarom we geen 100% dekking hebben bereikt
ESET Enterprise Inspector identificeerde 15 van de 162 substappen niet. Deze missers vallen in een van de twee categorieën:
- Het rapporteren van bepaalde gebeurtenissen vanuit specifieke gegevensbronnen is opzettelijk uitgeschakeld om ruis binnen het dashboard te verminderen.
- De gegevensbronnen voor de detecties zonder zichtbaarheid zijn nog niet geïmplementeerd, maar aanvullingen zijn gepland voor komende versies.
Voorbeelden van detecties die we nog moeten implementeren, zijn pass the hash, command & control verbinding naar een proxy en het monitoren van sommige API’s. We beschouwen dit laatste als een hogere prioriteit en zijn van plan deze detecties toe te voegen in de volgende release van ESET Enterprise Inspector.
De reden waarom we besloten hebben om sommige API-monitoringfunctionaliteit niet te implementeren, is te wijten aan het enorme aantal API-aanroepen dat in het systeem aanwezig is – het is niet haalbaar en ook niet wenselijk om ze allemaal te monitoren. In plaats daarvan is het belangrijk om zorgvuldig alleen die te selecteren die nuttig zijn voor de SOC-analist en die geen onnodige ruis veroorzaken.
Een voorbeeld van de eerste categorie, missers naar keuze, zijn bestandsleesbewerkingen. Nogmaals, vanwege het enorme aantal van dergelijke bewerkingen in het systeem, is het niet haalbaar om ze allemaal te loggen, omdat dit een enorme belasting van de middelen zou zijn (zowel endpoint als database). In plaats daarvan kiezen we voor een veel efficiëntere route: het monitoren van bestandsleesbewerkingen van zorgvuldig geselecteerde sleutelbestanden (bijvoorbeeld bestanden die inloggegevens van de browser opslaan), terwijl we ook het netwerkverkeer monitoren voor het bijbehorende proces.
Het belangrijkste principe bij het ontwerpen van een effectieve EDR-oplossing (en dit geldt ook voor endpoint beveiligingssoftware) is evenwicht. In theorie is het eenvoudig om een oplossing te creëren die 100% detecties behaalt – detecteer eenvoudig alles. Een dergelijke oplossing zou natuurlijk nutteloos zijn. Dat is ook waarom endpoint security testen zoals SE Labs & AV Comparatives altijd een metriek voor false positives bevatten en een echte vergelijkende test niet kan worden uitgevoerd zonder te testen op false positives. Het zou dan namelijk goedkoper zijn om een whitelisting tool aan te zetten.
De situatie is anders met EDR in vergelijking met endpoint bescherming, omdat je niet kunt monitoren of detecteren zonder te waarschuwen. Maar de principes zijn nog steeds van toepassing: te veel detecties veroorzaken te veel ruis, wat leidt tot alert-moeiheid. Dit veroorzaakt een verhoogde werklast voor SOC-analisten, die een groot aantal detecties of waarschuwingen moeten doorzoeken, wat leidt tot precies het tegenovergestelde van het gewenste effect. Het leidt af van de echt zeer ernstige waarschuwingen. Naast de verhoogde menselijke werklast, verhogen te veel detecties van minder belangrijke events ook dat de kosten voor het hosten van de oplossing omhoog gaan. Denk aan hogere prestatie- en opslagcapaciteit.
Dat gezegd hebbende, goede zichtbaarheid is een belangrijke maatstaf voor een EDR-oplossing (het evaluatieresultaat van ESET was meer dan 90%); het is gewoon niet de enige statistiek om rekening mee te houden.
De waarschuwingsstrategie van ESET Enterprise Inspector
Naar onze mening is het belangrijkste doel – en het belangrijkste kenmerk – van een goede EDR-oplossing het vermogen om een aanhoudende aanval op te merken en de verdediger te helpen bij het reageren, verzachten en onderzoeken ervan.
Zoals eerder gezegd, is alert moeiheid een van de belangrijkste problemen die een ineffectieve EDR-oplossing kan opleveren voor een SOC-analist. De manier waarop een effectieve EDR-oplossing dit probleem aanpakt – naast het prioriteren van gegevensbronnen, zoals aangegeven in de vorige sectie – is een goede waarschuwingsstrategie. Met andere woorden, een EDR-oplossing moet alle gemonitorde activiteit binnen het systeem presenteren aan SOC-analisten op een manier die zijn aandacht vestigt op de meest waarschijnlijke indicatoren van een aanval.
Vanwege de unieke kijk van elke leverancier op de waarschuwingsstrategie en de begrijpelijke moeilijkheid om ze te vergelijken, maakte dit belangrijke aspect geen direct deel uit van de evaluatie. In plaats daarvan wordt de waarschuwingsstrategie door MITRE samengevat in het overzichtsgedeelte van de resultaten van elke leverancier.
Voor ESET Enterprise Inspector wordt de waarschuwingsstrategie als volgt beschreven door MITRE Engenuity: “Gebeurtenissen die overeenkomen met analytische logica voor kwaadaardig gedrag, krijgen de juiste waarden toegewezen naar ernstigheid (informatief, waarschuwing, bedreiging). Deze alerts worden ook verrijkt met contextuele informatie, zoals een beschrijving en mogelijke referenties naar gerelateerde ATT&CK-tactieken en technieken. De events worden samengevoegd in een tijdlijn overzicht en gemarkeerd (met specifieke pictogrammen en kleuren). Dit wordt uiteindelijk gecorreleerd met data van events en systemen.”
Als voorbeeld zie je in figuur 6 een gedetailleerd overzicht van de alert bij substap 8.A.3. In deze stap probeert de aanvaller geheime toegang tot het doel te krijgen via een HTTPS reverse shell.
Figuur 6 – ESET Enterprise Inspector event details die Protocol Mismatch regel triggeren
ESET Enterprise Inspector heeft de aanmaak van deze SSL-tunnel gedetecteerd (zie figuur 6) en aanvullende contextuele informatie verzameld die nuttig is voor een SOC-analist, waaronder details over de niet-overeenkomende protocol, het niet-standaard poortgebruik, de uitvoeringsketen en procesboom – waarbij verdere gerelateerde gebeurtenissen werden benadrukt die verdacht of duidelijk kwaadaardig zijn.
Een uitleg van het waargenomen gedrag wordt gegeven, samen met een link naar de MITRE ATT&CK kennisbank, en de typische oorzaken van dit soort gedrag, zowel kwaadaardig als goedaardig. Dit is vooral handig in dubbelzinnige gevallen waarin potentieel gevaarlijke tools worden gebruikt voor legitieme doeleinden vanwege de specifieke interne processen van de organisatie, die de SOC-analist moet onderzoeken en onderscheiden.
Er worden ook aanbevolen acties geboden, evenals tools om de dreiging te verminderen door acties zoals het beëindigen van het proces of het isoleren van de host, wat kan worden gedaan binnen de ESET Enterprise Inspector omgeving.
Figuur 7 – ESET Enterprise Inspector event details voor VNC communication
In de laatste substap van het Carbanak-emulatiescenario probeert de tegenstander via VNC toegang te krijgen tot de desktop van het doelwit. Nogmaals, deze communicatie is duidelijk zichtbaar voor ESET Enterprise Inspector en het wordt dan ook gerapporteerd als verdacht, met alle relevante details. Houd er rekening mee dat het protocol wordt geïdentificeerd op basis van analyse van de inhoud het netwerkverkeer, wat betekent dat zelfs als niet-standaard netwerkpoorten worden gebruikt, het protocol wordt geïdentificeerd, en zelfs als het oorspronkelijke proces wordt verduisterd of als er maskeringstechnieken worden gebruikt, de regel binnen ESET Enterprise Inspector alsnog wordt getriggerd.
Terugkomend op het doel van een goede EDR-oplossing zoals beschreven in het begin van deze sectie, is het niet noodzakelijk om de analist te waarschuwen voor elke afzonderlijke event die wordt uitgevoerd tijdens een aanval (of substap in de ATT&CK evaluatie), maar liever om hen te waarschuwen dat er een aanval heeft plaatsgevonden (of aan de gang is) en hen daarna te helpen bij het onderzoeken ervan. Dit kan door te navigeren door de omgeving en te achterhalen wat er is gebeurd en wanneer. Dit is een functionaliteit waar we grote nadruk op leggen bij de ontwikkeling van ESET Enterprise Inspector.
Meer detecties = beter?
Om terug te komen op de vraag. Zijn meer detecties beter? Het antwoord daarop is nee. Het is voor veel organisaties belangrijk dat zij op de hoogte gehouden worden van de dreigingen in hun omgeving en dat zij hier snel en adequaat op kunnen acteren. Het helpt hierbij niet als de console uitpuilt van false positives. Hierdoor kan het zijn dat de écht belangrijke alerts over het hoofd gezien worden en dat je EDR oplossing geen meerwaarde meer beidt.