设为主页 | 加入收藏 | 繁體中文

大数据安全分析(分析篇)

   这一篇应该是比较容易引起争议的,大家现在乐于说看见(visibility )的力量,怎样看到却是一个尚在探索中的题目。数据是看到的基础条件,但是和真正的看见还有巨大的差距。我们必要看到什么?什么样的方法使我们真正看到?

  这里提出一些个人看法。感觉到前两天宁静峰会拍砖的氛围,由衷接待大家能连续,盼望这种直率交换的气氛能带给每个人更多的思考、更多的收获。
  宁静分析和变乱响应
  网络空间的战斗和现实天下有很大的相似性,因此往往可以进行鉴戒。美国空军有一套系统理论,有十分的价值,值得深入思考并鉴戒,它就是OODA周期模型:
  视察(Observe):及时了解我们网络中发生的变乱。这里面包罗传统的被动检测方式:种种已知检测东西的报警,或者来自第三方的转达(如:用户或者国度部分)。但我们晓得这是远远不够的,还必要采用更积极的检测方式。即由变乱响应团队基于已知行为模式、情报甚至于某种灵感,积极地去主动发现入侵变乱。这种方式有一个很炫的名字叫做打猎。
  定位(Orient):在这里我们要根据相干的环境信息和其他情报,对以下题目进行分析:这是一个真实的攻击吗?是否成功?是否侵害了别的资产?攻击者还进行了哪些活动?
  决议计划(Decision):即确定应该做什么。这里面包罗了缓解、清除、恢复,同时也可能包罗选择请求第三方支持甚至于还击。而还击往往涉及到私自执法带来的风险,并且容易堕落伤及无辜,一般情况下不是好的选择。
  行动(Action):能够根据决议计划,疾速睁开相应活动。
  OODA模型相较传统的变乱响应六步曲(拜见下图),突出了定位和决议计划的历程,在现今攻击技能越来越高明、历程越来越复杂的形势下,无疑是必要的:针对发现的变乱,我们采取怎样的行动,必要有足够的信息和充分的考量。
 
  在整个模型中,视察(对应下文打猎部分)、定位与决议计划(对应下文变乱响应)这三个阶段就是属于宁静分析的范畴,也是我们下面要讨论的内容,附带地也将提出个人看法,关于大数据分析平台支撑宁静分析活动所必要害要素。
  打猎(hunting)
  近两年打猎的概念在国际上比较流行,被以为是发现未知要挟比较有效的方式。怎样做到在信息宁静范畴的打猎,也是和要挟情报一样热门的话题。
  和数据网络阶段一样,打猎中也必要“以要挟为中心”的认识。我们必要了解现今攻击者的行为模式,必要开辟有关潜伏攻击者的情报(无论是本身研究或者第三方提供),同时打猎团队也必要评估内部项目和资源,以确定哪些是最宝贵的,并假定攻击者要霸占这些资源为前提进行追捕。
  单纯地依赖这个准绳,也许并不能让你真正拥有“visibility”的本领,我们还必要担当更多的挑衅,包罗传统基于攻击特征的头脑方式必须转变,创建新的头脑方式是成功的基础。
  1、从线索出发,而不是目标或签名:宁静分析,看重相干性,然后再考虑确定性,这面前有其深层的缘故原由。误报和漏报是一对不可完全调和的矛盾,固然在个体方面存在例外(基于毛病的签名往往准确率较高,同时也可以对抗很多逃逸措施,是检测从IDS时代走向IPS的要害技能前提)。在发现未知的旅途中,要是直接考虑确定性证据,会错失很多机会。
  因此在打猎的场景之下,宁静分析员必要的是线索,线索只能代表相干性,而不是确定性,宁静分析的历程必要将一连串的线索穿起来,由点及面进而逼近真相。举个例子:超长会话连接很难确定是攻击但和CnC往往有关联,一些分析人员就会选择它作为出发点的线索。要是从这点出发、更多的线索呈现了,连接的域名是最近新注册的,并且访问量很少,还有就是流量在80端口却不是尺度的HTTP协议等,随着不断的发现,确定性在增长,最终通过进一步的方式我们可以确认攻击行为。
  2、换个角度看题目:找寻攻击相干的行为模式,可以变更多个角度,无需一直从最直接的方面着手。例如在CnC检测上,我们可以采用要挟情报或者远控东西的流量特征如许直接的方法,但也可以考虑排查之前数据中没有呈现过的新域名,或者某些域名对应IP疾速变化的情况,甚至可以采用机器学习的方式来发现那些纷歧样的域名,这些都可能是有效的方法,可以在差别情况下辨别或组合使用。
  3、白名单及行为基线:它们都是先定义什么是正常,由此来判断什么是不好的。业界某些厂商倡导的白环境或者软件白名单,都是这个思想的一种详细实践。在采用这个方法创建基线时,还是必要从要挟的角度出发,如许检测灵敏度较高并且发现异常后的指向性也较好。例如针对整体流量渐变的监控,和专门对ARP流量(内部的ARP攻击有关)或DNS流量(防火墙一般不禁止,是数据外泄的通道之一)辨别进行监控,有着完全差别的效果。
  4、统计概率:过去在讨论利用基线的方式发现异常时,经常被提出的题目是:“要是学习期间,恶意行为正在发生,学习的基线价值何在呢?”。这里面我们要是了解一些统计概率方面的知识,就晓得可以利用均值和尺度差这种方式来解决题目。统计概率知识在宁静分析中的作用很大,尤其是在机器学习和宁静分析结适时。这部分不是我擅长的专业范畴,不再多说。还想一提的是,概率知识偶然和人的直觉往往有冲突,以是为了精确的分析判断,必要了解基本的概率知识。有一个小标题,大家可以进行自测一下:某种流感测试方法,要是已患此流感,那么测试结果为阳性的概率为95%,问测试阳性者抱病概率是多少。估计没有掌握贝叶斯方法的人,很难答复出精确的答案。也许通过这个题目,会让没有打仗过此方面知识的人,感觉到其必要性。
  水无常式,法无定章,在信息宁静历程中打猎也是如此,这里只是稍微做了一些先容,也许已经给大家一种印象:打猎是一项充满挑衅、极具难度的活动。这种认识无疑是精确的,荣幸的是有了宁静分析产物的存在,使其难度有了大幅的降低,在本文最后部分会先容这方面的信息。
  变乱响应
  变乱响应不是新鲜事物,很早就存在了,但这并不意味着这方面的知识与技能已被精确掌握。即使在被动响应为主的时代,因为缺乏必要的宁静分析,难以对变乱进行定位并确定精确的响应活动,从而很多时候无法对已发现的攻击做到干净彻底地清除,更不要说进一步完善防御措施了。下面先容一个我比较认同的、行动前的分析历程[1]:
  1、确认是否为误报:这是必要起首答复的题目。在这个行业,还不晓得有什么办法可以消失误报,同时保证没有漏报。既然误报总是存在,并且在某些情况下可能比例还是比较高的,我们必要尽快的区分误报和真实的报警。报警相干的上下文信息、PCAP包等信息对辨认误报十分有效。
  2、确认攻击是否奏效:很多攻击尝试都可能失败,特别是一些自动化东西,它们不区分攻击目标的OS、软件范例和版本等。此类报警数目往往会很多,以致于有些分析师会倾向于检测攻击链的下一步。但是有些时候我们无法完全避免,例如针对driven-by下载或者水坑攻击的报警,分析师是必要了解欣赏器是否真的访问、下载了恶意代码。这时他们必要结合上一阶段相似的上下文等信息来进行判断。
  3、确定是否侵害了别的资产:要是确认攻击成功,那么必须划定变乱的影响范围,即创建受影响资产清单,其中包罗构造IT空间的任何事物:计算机、网络设备、用户账号、电子邮件地址、文件或者目次等任何攻击者盼望攻击、控制或窃取的IT资产。例如你发现攻击者可能从失陷的设备得到了一份用户名和密码的名单,我们就必要找到可能影响的主机,创建清单,进行排查。此资产清单是一个不断完善、变化的,在分析历程中可能有不断的删除或添加。
  4、确定攻击者的别的活动:在视察分析中,我们必要答复的不仅是去了哪儿,还必要了解何时做了何事。要是发现的是攻击后期的报警,那么这点就更为重要,我们必要了解从第一次毛病利用尝试开始和攻击相干的全部警报,了解我们被渗入的脆缺点,确认失陷的资产。步骤3、4往往是交互进行的。
  5、确定怎样应对这种攻击:变乱响应计谋是个十分大的话题,因为没有一个尺度可以适合全部的情况,差别范例的变乱必要差别的响应计划。即使一个管理良好的应急中心有一批提早准备好的应急响应计划,但事到临头往往还是要进行调整,这时采用模块化的方法也许是一个好的选择。从资深的IR人员了解到的信息,这个历程必要高度的技巧和经验,也允许以考虑找一个有这方面经验的顾问来帮助、引导。
  这部分就是OODA周期中的定位、决议计划的历程了,要是不考虑打猎这种积极的检测方式,它差未几就是宁静分析师的全部工作了。
  宁静分析平台
  很大水平上,一个构造检测和响应宁静变乱的本领取决于其东西的质量,一个好的宁静分析平台有可能数十倍或百倍提高分析师的效率,但遗憾的是,业界餍足其必要的产物还十分少,Splunk和Palantir是我看到比较完善的产物。
  本年RSA大会上也有更多这方面的厂商呈现,但它们还是更多从某一场景的需求开始做起,间隔完整的分析平台另有一段间隔。关于一个好的分析平台需具有的要害特性,在此我提出一些个人看法,接待大家来拍砖。
  起首必要阐明,这里不想涉及底层架构相干的题目,大数据怎样存储、备份、索引、计算;怎样保证架构的弹性扩展;怎样处理非结构化数据等等,这些业界有很多架构设计,流行的如HDP、ELK,也有一些比较小众,但具有本身特定的上风的方案,这里不再多讲。
  重点从业务层面提出餍足分析师必要的要害特性。
  1、集成相对丰富的分析模型:打猎必要基于已知攻击行为模式去查找线索,要是作为一个分析平台可以默认集成如许的模型,那么对付分析师来说,入门的本钱将会极大的降低。要是模型足够丰富,则会凌驾一些资深分析师所掌握的技能,这无疑会成为平台最大的价值点。
  2、提供接口供用户自定义:这和前两天阿里宁静峰会上道哥提到十分同等,相信总会有人比我们聪明,因此我们必要给用户空间,让他在自己的使用中,可以连续丰富这些模型,或者能够形成更适合行业特点的分析方式,这就必要以开放的心态,和用户一同来共同完善分析本领。
  3、集成要挟情报功能:作为以要挟为中心的产物,这是应有之义。考虑到现今提供要挟情报的厂商,其要害性数据重叠性不高(参考DBIR 2015[2]),就要求分析平台可以会合多个泉源的情报数据,较好的支持OpenIOC、STIX等尺度。
  4、利用数据发掘降低人的工作量:数据发掘可以帮助完成一部分人的工作,特别是当分析平台可以自动化辨认很多线索的时候,那么数据发掘就可以根据线索的特定组合判定一个变乱,这是我看到它可以提供的一个重要价值点。根据弓峰敏博士去年ISC大会的演讲以及Cyphort的产物先容推测,他们利用数据发掘主要完成的也是这方面的工作。
  这里特别想提出一个题目:数据发掘的范围性在哪儿?Palantir给出了自己的答案,可以作为一个参考[3]。他们以为某些情况下数据发掘能做到的只是将一个十分庞大的数据集减少到一个较小而故意义的集合,让人来分析,因为以下情况机器算法并不实用:
  The data comes from many disparate sources
  The data is incomplete and inconsistent
  You’re looking for someone or something that doesn’t want to be found, and that can adapt to avoid detection.
  5、针对工作流程,提供餍足场景必要的设计:在宁静分析历程中涉及到诸多的场景,差别种类线索的视察分析,变乱的确认、影响范围及关联攻击的分析等等。是否能够支持分析师的工作方式,餍足差别场景下对数据呈现、分享、交互的要求,也是必须考量的内容。
  6、可视化:可视化和数据驱动的分析是一对孪生兄弟,难以割裂,但现今很多可视化的尝试无疑是难以让人佩服,这部分我将放到下一篇文章中专门讨论。
  小结
  我们在这里讨论宁静分析的主要活动,打猎以及后续的变乱定位及决议计划,发现打猎活动和传统检测理念有很大的区别,同时也了解到宁静分析必要一个好的分析平台东西,才能使工作更有效、疾速。
  分析篇是应该是一个巨大的话题,这里只能是浅尝则止,盼望这里的话题能够起到抛砖引玉的作用,有更多相干讨论这方面的笔墨呈现。
 

    文章作者: 福州军威计算机技术有限公司
    军威网络是福州最专业的电脑维修公司,专业承接福州电脑维修、上门维修、IT外包、企业电脑包年维护、局域网网络布线、网吧承包等相关维修服务。
    版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 、作者信息和声明。否则将追究法律责任。

TAG:
评论加载中...
内容:
评论者: 验证码: