Created: 2017-02-16 04:48:36
侏羅紀
對於現如今的安全軟件市場,媒體往往反復炒作一個概念。他們將惡意軟件檢測技術劃分為兩大類,一類是“第一代”或“傳統”技術(甚至還被稱為“化石”或“侏羅紀”技術),稱其總是依賴以往病毒庫進行檢測,另一類是(所謂的)更先進技術,檢測過程中減少對病毒庫的依賴。這種解釋被一些“新技術”公司稱道,頻頻用於自身產品的營銷宣傳,但這並不能如實反映實際情況。
進化論
首先,我想先談談“第一代”技術的說法。現代主流安全軟件,已不能與早期的“單層”防護技術,例如靜態病毒庫掃描、調整檢測方法和抗病毒疫苗歸為一類 – 正如不能將Microsoft Word與早期Unix或MS-DOS系統的文本編輯器相提並論一樣。或許它們和早期應用程序之間有著相同的基本目的 – 無論是檢測還是攔截惡意軟件,或是創建和處理文本 – 但它們的功能卻全面得多。現代文字處理軟件所集成的元素,在幾十年前看來,只不過是桌面排版、制表和數據庫應用。
物種起源
現代反惡意軟件安全套裝,在其所集成的程序元素方面,種類並不那麽廣。但是,它卻涵蓋了遠超出病毒庫(甚至病毒特征庫)檢測的多級防護層。它們已進化為截然不同的新一代產品,納入了當初第一批防毒產品發布之時尚不存在的各類技術。在探討市場新產品時,將其單獨定義為超越原始病毒庫檢測技術的新一代產品,不僅概念錯誤,也純屬誤導。
病毒庫?什麽病毒庫?
現如今,即使現代化的單層付費防毒軟件,也絕非只是查找特定樣本以及樣本靜態特征。它們擴大了對已知惡意軟件家族的特定哈希值檢測範圍,納入了添加白名單、行為分析、行為攔截以及(例如)調整檢測機制等眾多元素,而這些都曾一度被視為純“分類”檢測技術。總體而言,我並不是建議人們應完全依賴單層防毒軟件,例如由一些主流公司所推出的免費產品:而是應使用其他多層防護產品,例如商業級安全套裝,或通過使用來自不同渠道的組件,含單層防毒產品在內,構建此類套裝軟件所具備的多層功效。然而,後一種方式需要用戶,對惡意軟件威脅和安全技術具備一定程度的了解,而多數個人用戶都不具備相關知識。談到這一點,並非所有公司企業都擁有本地知識庫資源可供查閱,從而使其可能受到名為技術建議、實為虛假營銷活動的潛在影響。
重提基礎知識
然一些新一代產品對自身技術的工作原理諱莫如深,使其所推出的主流安全產品貌似開源軟件,但可以確信的是,“化石”和“新一代”產品之間的區別,往往是一種說辭而不具備技術含量。我從不認為所謂“新一代”產品,除了運用查殺惡意軟件(對此Fred Cohen很早就制訂了定義,他針對所有初衷和目的,於1984年提出的“計算機病毒”介紹和定義,為反病毒產業的發展奠定了基礎)的以下基本套路之外,相比“傳統”技術產品而言,還有什麽新的手段:
- 識別和阻止惡意行為
- 檢測意外和不正當修改
- 表明存在已知或未知惡意軟件的檢測模式
自然,這些思路的應用方式已走過難以衡量的改進歷程,現如今更為先進,但進步成果並不是近年來發布的新品所獨有的。譬如,我們通常見到的“風險指標”,也可以被(相當粗略地)描述為病毒庫。不止一家廠商未能就主流反病毒軟件所采用的行為分析和攔截技術,與自身運用(例如)行為分析/監測/攔截、數據流分析技術(等),以及主流反病毒軟件應用相同技術之間的具體區別,給出令人信服的答案。不同的是,他們選擇了宣傳“化石技術”這一欺騙性論調,通過運用大量時髦技術詞匯,為自身市場營銷活動推波助瀾。
認識機器判斷原理
舉例來說,假定備受推崇的“行為分析”和“純”機器學習技術,是用以劃分新一代產品和第一代產品的界定依據。現實世界中,機器學習技術並不是某一行業所獨有的。神經網絡和並行處理等領域的進步,對於主流安全業界和其他計算機領域都是同等有益的:例如,離開一定程度的樣本分類自動化程序,我們便無法應對每天蜂擁而至的數十萬威脅樣本,難以對其分析以便生成準確的檢測特征。
然而,所謂新一代產品營銷宣傳中所使用的“純機器學習”等一類詞語,只是說辭而沒有實際技術意義。它不僅僅暗示,機器學習技術本身相比一切其他技術而言,可以保障更高的檢測率,甚至還暗示該技術效果極佳,再也無需人工介入。實際上,很久以來,機器學習技術已在反病毒業界擁有廣泛知名度並被普遍采用。如同任何其他技術一樣,它既有優點也有缺點。至少,對於機器學習技術而言,惡意軟件作者和惡意軟件檢測廠商往往有著相同層次的認識,前者不遺余力,試圖尋找逃避檢測的方式,與其在其他防毒技術上的投入並沒有不同。
關於行為分析技術
類似地,當所謂新一代軟件廠商大談特談,行為分析技術是其獨家發明時,他們恐怕還沒有弄明白:行為分析一詞及此項技術,已在過去幾十年來,被主流安全業界所普遍采用。事實上,超出靜態病毒庫檢測以外的幾乎所有檢測技術,都可以被定義為行為分析技術。
自然與不自然選擇
記者 Kevin Townsend 最近問我:
“業內有沒有什麽方法,能夠幫助用戶對比和選擇第一代[…]和第二代[…]惡意軟件檢測產品?”
撇開完全誤導性的第一代和第二代用語不談,是的,當然有。實際上,一些公司自我標榜為“第二代”,稱其技術太過先進、無需檢測,已迫不及待地試圖對比,自身產品和所謂第一代產品的檢測效果,從而將已敞開的大門進一步推開。舉例來說,至少有一家新一代廠商,已自行著手通過惡意軟件樣本,做公開演示:如果跨代產品無法在獨立檢測機構的環境下對比測試,那麽這樣的演示又怎能在公關意義上,稱得上準確呢?新一代廠商的其他誤導性營銷用語包括,“第一代產品無法檢測駐留內存中的‘無文件’惡意軟件”(我們早已做到幾十年了)。另一個尤其拙劣的例子是,以信息自由要求為基礎,試圖借助漏洞百出的調查問卷證明,“傳統”防毒軟件遭遇“悲慘的失敗”,一概無意區分攻擊和成功攻擊截然不同的本質。
測試和假測試
較為常見的是,誤用和誤讀VirusTotal(VT)的檢測結果,將該網站和同類服務視為便捷易用的“多引擎查毒服務”,實際情況卻並非如此。VT網站聲明:
“VirusTotal不應用作對比不同防毒產品檢測性能的用途。殺毒引擎為復雜工具,可內置其他檢測功能,後者在VirusTotal掃描環境下可能無法正常運行。鑒於此,VirusTotal掃描結果一概無意用作防毒產品有效性對比目的。”
籠統地說,VT是通過將文件暴露於一系列防病毒檢測引擎之下,來“檢測”文件是否有毒的。但它並非啟用相關產品中已集成的一系列完整檢測技術,因此無法準確檢測或代表產品有效性。有一家新一代廠商稱,早在向VirusTotal上傳某樣本前一個月,就檢測到勒索軟件樣本。但實際情況是,在這家新一代廠商宣布檢測結果前一個月,已有至少一家主流/傳統廠商檢測了同一哈希值。不能借助VirusTotal檢測報告,衡量一款產品的有效性,因為VT不是檢測機構,其報告只反映其所啟用的部分產品功能。否則知名主流檢測機構,例如Virus Bulletin、SE Labs、AV-Comparatives和AV-Test等,就失去存在的意義,它們在檢測方法的設計上,投入了大量精力和時間,盡可能確保橫向對比結果的準確性和具有代表性。
走向合作
2016年間的一大戲劇性演變是,VirusTotal宣布調整其網站的使用條款,增加“新一代”技術公司訪問“第一代”公司所上傳樣本的難度,以免前者在不給VT貢獻樣本的情況下,為自身沽名釣譽。以下引用VirusTotal的博客內容:
“…自現在起,所有殺毒廠商都必須在VT網站的公共頁面上,集成自己的檢測軟件,方有權獲取作為自身VT API服務一部分的防毒引擎查殺報告。此外,新加盟的防毒廠商需依照防毒檢測標準組織(AMTSO)的操作規範,首先通過安全檢測機構認證和/或獨立評測,方可享受本站服務。”
雖然很多新一代廠商最初的反應是,稱其“不公平”、“恐龍們攜起手來對付我們了”、“我們又不使用病毒庫,不需要VT服務,我們不在乎”,但貌似還是有幾家較知名廠商,準備遵守防毒檢測標準組織的加盟要求,並願意接受獨立檢測。(此處我指的是真正的檢測,不是VT的假測試)。由於新一代廠商過去一貫傾向於辯稱,其產品無法測試,尤其是無法接受由“存在偏見的”防毒檢測標準組織所實施的測試,因此這或許暗示出,並非所有用戶都會在做出購買決定之時,單純取信廣告宣傳用語的潛在積極信號。
共享與互惠互利
為何(部分)新技術廠商現又決定,需要配合VirusTotal的要求呢?這是因為,VT會和防毒廠商共享其所收到的樣本,並提供一個API,可通過VT所集成的所有殺毒引擎,自動檢測所上傳的文件。這使得防毒廠商不僅僅可以共享由主流廠商所分享的樣本,還能夠核對不確定的樣本及自身檢測結果,並在此基礎上,改進機器學習技術的算法(如適用)。
有不配合的理由嗎?這和從業已久的廠商使用VT的方式並沒有多大區別。根本差異在於,使用條款更新後,能夠提供三種收益。(任意一代技術)廠商都可以從VT資源庫訪問以及海量樣本庫中獲益。VT能夠作為信息匯總商,並從高級服務供應商角色中獲益。全球其他人員可以從存在免費的網站服務,允許其利用一系列防毒引擎,檢測單個可疑文件中獲益。將查毒引擎擴大、囊括非傳統技術,能夠提高網站服務的準確性,同時新廠商也可能會更加謹慎,在自身面臨同樣人為操控的處境下,不再誤用VT報告進行假測試和虛假營銷。
完整產品測試
近年來,與防毒檢測標準組織協作的檢測機構,已紛紛轉向“完整產品測試”,這對於公平公正非傳統產品而言,正是檢測機構需要前進的方向。(或無論如何,維護與主流產品相同的公正性。)不久以前,靜態測試法曾一度流行(一定程度上,這也是未與防毒檢測標準組織協作的檢測機構仍在采用的方法,該組織成立後,不鼓勵使用靜態測試法)。雖有各種不盡人意之處,但防毒檢測標準組織的規模,要大於(也相比更為公正)原有各類分支機構的總和,因為它集中了一系列來自防毒廠商和測試機構的研究人員,營銷人員數量並不多。因此,單個公司無論位於哪個陣營,都難以施展對該組織整體的不正當影響力,無法借此為自身牟利。如果新一代廠商能夠要緊牙關、積極配合這種氛圍,所有廠商都能夠從中受益。防毒檢測標準組織過去曾出現下屬機構的檢測日程,存在過多人為操控或甚至比這更糟糕的嫌疑,使其聲譽蒙受了一定損失,但隨著組織內部有了新老廠商和檢測機構之間的更佳平衡性,一切此類伎倆便難以再有機會得逞。
展望新生代
幾年前,我曾在為Virus Bulletin撰寫的一片文章末尾寫道:
“但我們可以想象沒有殺毒軟件的世界嗎,因為很明顯,我們已經聽到了最後的葬禮?…目前汙蔑防毒軟件的那些公司,在背負其所謂研究成果大肆宣傳的同時,是否能夠匹配現在防毒實驗室工作的科研人員技術水平?”
我想或許我們已經找到這一問題的答案。但如果自我標榜的新一代產品能夠運用自律條款來約束自己,緩和富有攻擊性的營銷策略,學會與不同實力和技術水平的其他公司協作並從中受益,我們全體從業者都會和諧局面中受益匪淺。
本文為ESET公司2017年疫情報告《安全遭遇勒索》中的相應章節改寫版。