开源安全运维平台--OSSIM最佳实践

第一篇  基础篇

第1章  OSSIM架构与原理 2

1.1  OSSIM概况 2

1.1.1  从SIM到OSSIM 3

1.1.2  安全信息和事件管理（SIEM） 4

1.1.3  OSSIM的前世今生 5

1.2  OSSIM架构与组成 11

1.2.1  主要模块的关系 12

1.2.2  安全插件（Plugins） 14

1.2.3  采集与监控插件的区别 15

1.2.4  检测器（Detector） 18

1.2.5  代理（Agent） 18

1.2.6  报警格式的解码 19

1.2.7  OSSIM Agent 20

1.2.8  代理与插件的区别 24

1.2.9  传感器（Sensor） 24

1.2.10  关联引擎 26

1.2.11  数据库（Database） 28

1.2.12  Web 框架（Framework） 29

1.2.13  Ajax创建交互 30

1.2.14  归一化处理 31

1.2.15  标准的安全事件格式 31

1.2.16  OSSIM服务端口 35

1.3  基于插件的日志采集 37

1.3.1  安全事件分类 37

1.3.2  采集思路 37

1.4  Agent事件类型 43

1.4.1  普通日志举例 43

1.4.2  plugin_id一对多关系 44

1.4.3  MAC事件日志举例 46

1.4.4  操作系统事件日志举例 46

1.4.5  系统服务事件日志举例 46

1.5  RRDTool绘图引擎 47

1.5.1  背景 47

1.5.2  RRD Tool与关系数据库的不同 48

1.5.3  RRD绘图流程 48

1.6  OSSIM工作流程 49

1.7  缓存与消息队列 49

1.7.1  缓存系统 49

1.7.2  消息队列处理 50

1.7.3  RabbitMQ 51

1.7.4  选择Key/Value存储 52

1.7.5  Ossim下操作Redis 53

1.7.6  Redis Server配置详解 56

1.7.7  RabbitMQ、Redis与Memcached监控 57

1.8  OSSIM 高可用架构 59

1.8.1  OSSIM高可用实现技术 59

1.8.2  安装环境 60

1.8.3  配置本地主机 60

1.8.4  配置远程主机 61

1.8.5  同步数据库 61

1.8.6  同步本地文件 61

1.9  OSSIM防火墙 62

1.9.1  理解Filter机制 62

1.9.2  规则匹配过程 64

1.9.3  Iptables规则库管理 65

1.10  OSSIM的计划任务 66

1.10.1  Linux计划任务 66

1.10.2  OSSIM中的计划任务 68

1.11  小结 70

第2章  OSSIM部署与安装 71

2.1  OSSIM安装策略 71

2.1.1  定制IDS策略 71

2.1.2  传感器位置 72

2.2  分布式OSSIM体系 73

2.2.1  特别应用 74

2.2.2  多IDS系统应用 74

2.3  安装前的准备工作 75

2.3.1  软硬件配备 75

2.3.2  传感器部署 76

2.3.3  分布式OSSIM系统探针布局 78

2.3.4  OSSIM服务器的选择 78

2.3.5  网卡的选择 80

2.3.6  手动加载网卡驱动 80

2.3.7  采用多核还是单核CPU 81

2.3.8  查找硬件信息 81

2.3.9  OSSIM USM和Sensor安装模式的区别 82

2.3.10  OSSIM商业版和免费版比较 83

2.3.11  OSSIM实施特点 84

2.3.12  OSSIM管理员分工 85

2.4  混合服务器/传感器安装模式 86

2.4.1  安装前的准备工作 86

2.4.2  开始安装OSSIM 86

2.4.3  遗忘Web UI登录密码的处理方法 90

2.5  初始化系统 90

2.5.1  设置初始页面 91

2.5.2  OTX——情报交换系统 97

2.6  Vmware ESXi下安装OSSIM注意事项 100

2.6.1  设置方法 100

2.6.2  虚拟机下无法找到磁盘的对策 102

2.7  OSSIM分布式安装实践 102

2.7.1  基于OpenSSL的安全认证中心 102

2.7.2  安装步骤 102

2.7.3  分布式部署（VPN连接）举例 103

2.7.4  安装多台OSSIM（Sensor） 105

2.7.5  Sensor重装流程 110

2.8  添加VPN连接 111

2.8.1  需求 111

2.8.2  Server端配置（10.0.0.30） 111

2.8.3  配置sensor（10.0.0.31） 112

2.9  安装最后阶段 113

2.10  OSSIM安装后续工作 114

2.10.1  时间同步问题 114

2.10.2  系统升级 115

2.10.3  apt-get 常见操作 118

2.10.4  扫描资产 119

2.10.5  通过代理升级系统 119

2.10.6  防火墙设置 120

2.10.7  让控制台支持高分辨率 121

2.10.8  手动修改服务器 IP地址 121

2.10.9  修改系统网关和DNS地址 121

2.10.10  更改默认网络接口 122

2.10.11  消除登录菜单 122

2.10.12  进入OSSIM单用户模式 122

2.11  OSSIM启动与停止 123

2.12  安装远程管理工具 125

2.12.1  安装Webmin管理工具 125

2.12.2  安装PhpmyAdmin 125

2.12.3  用PhpmyAdmin同步功能迁移数据库 127

2.13  分布式系统查看传感器状态 128

2.13.1  设置指示器 128

2.13.2  注意事项 130

2.14  安装桌面环境 131

2.14.1  安装GNOME环境 131

2.14.2  安装FVWM环境 132

2.14.3  安装虚拟机 135

2.15  自动化配置管理工具Ansible 137

2.15.1  SSH的核心作用 138

2.15.2  Ansible配置 139

2.15.3  Ansible实战 139

2.15.4  丰富的模块 144

2.15.5  Ansible 与其他配置管理的对比 144

2.16  SIEM控制台基础 144

2.16.1  SIEM控制台日志过滤技巧 145

2.16.2  将重要日志加入到知识库 151

2.16.3  SIEM中显示不同类别日志 153

2.16.4  常见搜索信息 156

2.16.5  仪表盘显示 156

2.16.6  事件删除与恢复 157

2.16.7  深入使用SIEM控制台 158

2.16.8  SIEM事件聚合 162

2.16.9  SIEM要素 163

2.16.10  SIEM警报中显示计算机名 170

2.16.11  SIEM事件保存期限 170

2.16.12  SIEM数据源与插件的关系 171

2.16.13  SIEM日志显示中出现0.0.0.0地址的含义 172

2.16.14  无法显示SIEM安全事件时处理方法 173

2.16.15  SIEM数据库恢复 173

2.16.17  EPS的含义 174

2.16.17  常见OSSIM 安装/使用错误 175

2.17  可视化网络攻击报警Alarm分析 177

2.17.1  报警事件的产生 177

2.17.2  报警事件分类 178

2.17.3  五类报警数据包样本下载 183

2.17.4  报警分组 183

2.17.5  识别告警真伪 185

2.17.6  触发OSSIM报警 185

2.18  小结 193

第二篇  提高篇

第3章  OSSIM数据库概述 195

3.1  OSSIM数据库组成 195

3.1.1  MySQL 195

3.1.2  本地访问 196

3.1.3  检查、分析表 198

3.1.4  启用MySQL慢查询记录 199

3.1.5  远程访问 199

3.1.6  MongoDB 200

3.1.7  SQLite 201

3.2  OSSIM数据库分析工具 201

3.2.1  负载模拟方法 202

3.2.2  用MySQL Workbench工具分析 数据库 203

3.3  查看OSSIM数据库表结构解析 209

3.4  MySQL基本操作 212

3.5  OSSIM系统迁移 213

3.5.1  迁移准备 213

3.5.2  恢复OSSIM 214

3.6  OSSIM数据库常见问题解答 216

3.7  小结 226

第4章  OSSIM关联分析技术 227

4.1  关联分析技术背景 227

4.1.1  当前的挑战 227

4.1.2  基本概念 228

4.1.3  安全事件之间的关系 228

4.2  关联分析基础 229

4.2.1  从海量数据到精准数据 229

4.2.2  网络安全事件的分类 230

4.2.3  Alarm与Ticket的区别 234

4.2.4  使用Ticket 235

4.2.5  加入知识库 236

4.2.6  安全事件提取 237

4.2.7  OSSIM的关联引擎 238

4.2.8  事件的交叉关联 239

4.3  报警聚合 240

4.3.1  报警样本举例 240

4.3.2  事件聚合 241

4.3.3  事件聚合举例 242

4.3.4  事件聚合在OSSIM中的表现形式 243

4.3.5  SIEM中的冗余报警 244

4.3.6  合并相似事件 245

4.3.7  同类事件的判别 245

4.3.8  合并流程 246

4.3.9  事件映射 246

4.3.10  Ossec 的报警信息的聚类 247

4.3.11  Ossec与Snort 事件合并 248

4.4  风险评估方法 249

4.4.1  风险评估三要素 249

4.4.2  Risk & Priority & Reliability的关系实例 250

4.4.3  动态可信度值（Reliability） 253

4.4.4  查看SIEM不同事件 254

4.5  OSSIM系统风险度量方法 256

4.5.1  风险判定 256

4.5.2  事件积累过程 258

4.6  OSSIM中的关联分类 259

4.6.1  关联分类 259

4.6.2  关联指令分类 260

4.6.3  指令组成 262

4.6.4  读懂指令规则 264

4.6.5  Directive Info 265

4.7  新建关联指令 266

4.8  OSSIM的关联规则 270

4.8.1  关联指令配置界面 271

4.8.2  构建规则 274

4.9  深入关联规则 276

4.9.1  基本操作 276

4.9.2  理解规则树 277

4.9.3  攻击场景构建 281

4.9.4  报警聚合计算方法 282

4.10  自定义策略实现SSH登录失败告警 282

4.11  小结 286

第5章  OSSIM系统监测工具 287

5.1  Linux性能评估 287

5.1.1  性能评估工具 287

5.1.2  查找消耗资源的进程 289

5.2  OSSIM压力测试 289

5.2.1  软硬件测试环境 289

5.2.2  测试项目 290

5.2.3  测试工具 290

5.2.4  IDS测试工具Nidsbench 293

5.3  性能分析工具实例 295

5.3.1  sar 296

5.3.2  vmstat 296

5.3.3  用iostat分析I/O子系统 297

5.3.4  dstat 298

5.3.5  iotop 300

5.3.6  atop 300

5.3.7  替代netstat的工具ss。 300

5.4  OSSIM平台中MySQL运行状况 301

5.4.1  影响MySQL性能的因素 301

5.4.2  系统的IOPS 302

5.5  Syslog压力测试工具——Mustsyslog使用 303

5.5.1  安装mustsyslog 304

5.5.2  日志模板设计 306

5.5.3  日志标签说明 306

5.5.4  域标签举例 306

5.6  常见问题解答 307

第6章  Snort规则分析

6.1  预处理程序 323
6.1.1  预处理器介绍 323
6.1.2  调整预处理程序 330
6.1.3  网络攻击模式分类 330
6.2  Snort日志分析利器 332
6.3  Snort日志分析 333
6.3.1  工作模式及输出插件 333
6.3.2  数据包记录模式 335
6.3.3  网络入侵检测模式HIDS 338
6.3.4  输出插件 338
6.4  Snort 规则编写 345
6.4.1  Snort 规则分析 346
6.4.2  规则组成及含义 347
6.4.3  编写SNORT规则 353
6.4.4  手工修改Suricata规则 356
6.4.5  启用新建的ET规则 356
6.4.6  应用新规则 357
6.4.7  主动探测与被动探测 358
6.5  可疑流量检测技术 358
6.5.1  通过特征检测 358
6.5.2  检测可疑的载荷 358
6.5.3  检测具体元素 359
6.5.4  OSSIM中的Snort规则与SPADE检测 360
6.5.5  恶意代码行为特征分析 360
6.5.6  蜜罐检测 361
6.6    Snort规则进阶 362
6.6.1  可疑流量的报警 362
6.6.2  空会话攻击漏洞报警 363
6.6.3  用户权限获取 363
6.6.4  失败的权限提升报警规则 364
6.6.5  企图获取管理员权限 364
6.6.6  成功获取管理员权限 364
6.6.7  拒绝服务 365
6.7  高速网络环境的应用 367
6.7.1  Suricata VS Snort 367
6.7.2  PF_RING工作模式 368
6.8  网络异常行为分析 368
6.8.1  流程分析 368
6.8.2  举例 370
6.10  小结 371

第三篇  实战篇

第7章  OSSIM日志收集与分析

7.1  日志分析现状 324
7.1.1  日志记录内容 325
7.1.2  日志中能看出什么？ 326
7.1.3  日志分析的基本工具及缺陷 327
7.1.4  海量日志收集方式 327
7.2  日志消息格式与存储 327
7.2.1  日志消息格式 327
7.2.2  OSSIM下的日志查询比较 328
7.2.3  日志的导出 330
7.2.4  日志分类可视化 331
7.2.5  基于文本格式的日志 332
7.2.6  基于压缩模式的日志文件 333
7.2.7  日志转储到数据库 334
7.2.8  日志处理及保存时间 335
7.2.9  日志系统保护 335
7.2.10  日志轮询 335
7.2.11  OSSIM分布式系统中日志存储问题 336
7.3  日志协议Syslog 336
7.3.1  常见日志收集方式 337
7.3.2  日志的标准化 338
7.3.3  主流日志格式介绍 338
7.3.4  Syslog日志记录级别 340
7.3.5  Syslog.conf配置文件 340
7.3.6  用Tcpdump分析Syslog数据包 342
7.3.7  Syslog的安全漏洞 342
7.3.8  配置SNMP 342
7.4  原始日志格式对比 343
7.5  插件配置步骤 344
7.6  插件导入 345
7.7  插件注册操作实例 345
7.8  Agent插件处理日志举例 349
7.8.1  收集与处理过程 349
7.8.2  常见Windows日志转换syslog工具 352
7.8.3  Windows日志审核 353
7.8.4  收集Windows平台日志 353
7.8.5  收集Cisco 路由器日志 354
7.9  rsyslog 355
7.9.1  Rsyslog配置详解 355
7.9.2  rsyslog配置参数含义 356
7.9.3  选择合适的日志级别 356
7.10  网络设备日志分析与举例 357
7.10.1  路由器日志分析 358
7.10.2  交换机日志分析 358
7.10.3  防火墙日志分析 360
7.10.4  收集CheckPoint设备日志 362
7.10.5  Aruba（无线AP）的日志 364
7.11  Apache日志分析 364
7.11.1  日志作用 364
7.11.2  日志格式分析 365
7.11.3  日志统计举例 365
7.11.4  错误日志分析 367
7.12  Nginx日志分析 369
7.12.1 基本格式 369
7.12.2  将Nginx日志发送到Syslog 370
7.13  FTP日志分析 370
7.13.1  FTP日志分析 371
7.13.2  分析vsftpd.log和xferlog 372
7.13.3  将Linux的 Vsftp日志发送到OSSIM 373
7.14  iptables 日志分析 375
7.14.1  iptables日志分析 375
7.14.2  iptables日志管理范例 377
7.14.3  输出iptables日志到指定文件 378
7.15  Squid服务日志分析 380
7.15.1  Squid日志分类 381
7.15.2  典型Squid访问日志分析 381
7.15.3  Squid时间戳转换 382
7.15.4  将Squid的日志收集到OSSIM 383
7.16  DHCP 服务器日志 384
7.17  收集Windows日志 386
7.17.1  OSSIM日志处理流程 387
7.17.2  通过Snare转发Windows日志 387
7.17.3  通过WMI收集Windows日志 391
7.17.4  配置OSSIM 392
7.17.5  Snare与WMI的区别 394
7.18  小结 394

第8章  OSSIM流量分析与监控

8.1  用NetFlow分析异常流量 395
8.1.1  流量采集对业务的影响 396
8.1.2  NetFlow 的Cache管理 397
8.1.3  NetFlow的输出格式 397
8.1.4  NetFlow的采样机制 397
8.1.5  NetFlow采样过滤 397
8.2  NetFlow在监测恶意代码中的优势 399
8.2.1  NetFlow的性能影响 400
8.2.2  NetFlow在蠕虫病毒监测的应用 400
8.2.3  网络扫描和蠕虫检测的问题 401
8.2.4  NetFlow与谷歌地图的集成显示 404
8.2.5  其他异常流量检测结果分析 405
8.3  OSSIM下NetFlow实战 406
8.3.1  NetFlow组成 406
8.3.2  关键参数解释 408
8.3.3  Sensor中启用NetFlow 409
8.3.4  Nfsen数据流的存储位置 410
8.3.5  NetFlows抽样数据保存时间 412
8.3.6  NetFlow的读取方式 412
8.3.7  nfdump的作用 414
8.3.8  将NetFlow数据集成到Web UI的仪表盘 414
8.3.9  分布式环境下NetFlow数据流处理 415
8.4  OSSIM流量监控工具综合应用 419
8.4.1  Ntop流量采集方式 419
8.4.2  Ntop监控 420
8.4.3  数据大小分析 425
8.4.4  流量分析 426
8.4.5  协议分析 430
8.4.6  负载分析 431
8.4.7  Ntop应用-网络视频的监视 432
8.4.8  Ntop 的风险旗帜标示    434
8.4.9  升级到Ntopng 437
8.5  故障排除 439
8.5.1  多网卡问题 439
8.5.2  Ntop Web页面打开缓慢对策 439
8.5.3  “Sensor not available”故障对策 440
8.5.4  暂停Ntop服务 440
8.5.5  管理员密码遗忘对策 441
8.6  用Nagios监视 441
8.6.1  Nagios实现原理 442
8.6.2  利用NRPE 插件实现服务器监控 443
8.6.3  Nagios的Web 界面 445
8.6.4  Naigos插件 451
8.6.5  Nagios扩展NRPE 456
8.6.6  监控开销 457
8.6.7  OSSIM系统中应用Nagios监控资源 457
8.6.8  Nagios报错处理 459
8.6.9  被动资产检测PRADS 460
8.6.10  性能监控利器Munin 461
8.7  Nagios配置文件 462
8.7.1  主机定义 463
8.7.2  服务定义 464
8.8  第三方监控工具集成 464
8.8.1  OSSIM 2.3的集成 465
8.8.2  OSSIM 4.1的集成 466
8.8.3  OSSIM 4.6的集成 466
8.8.4  Sensor安装Cacti 467
8.8.5  安装Zabbix 469
8.9  硬件监控 470
8.9.1  IPMI 470
8.9.2  lm-sensors 472
8.9.3  hddtemp 473
8.10  小结 473

第9章  OSSIM应用实战

9.1使用OSSIM系统 474
9.1.1  初识OSSIM  WebUI 474
9.1.2  OSSIM 4.8界面 477
9.1.3  OSSIM控制中心：AlienVault Center 480
9.1.4  基于角色的访问权限控制 480
9.1.5 仪表盘详解 483
9.2  OSSIM的Web UI菜单结构 485
9.3  OSSEC架构与配置 487
9.3.1  OSSEC架构 487
9.3.2  OSSEC Agent端进程 488
9.3.3  OSSEC Server端 491
9.3.4  OSSEC配置文件和规则库 492
9.3.5  测试规则 494
9.3.6  分布式系统中OSSEC Agent的管理 495
9.3.7  OSSEC日志存储 496
9.3.8  OSSEC Agent安装 496
9.3.9  OSSEC触发的关联分析报警 507
9.3.10  其他HIDS应用 510
9.4  资产Assets管理 512
9.4.1  资产发现 512
9.4.2  资产地图定位 513
9.4.3  扫描控制参数 514
9.4.4  资产列表 514
9.4.5  资产管理工具 516
9.4.6  资产分组 518
9.4.7  资产快速查找 519
9.4.8  设置Nmap扫描频率 520
9.4.9  OCS检测频率 520
9.5  Openvas扫描模块分析 520
9.5.1  扫描流程控制 521
9.5.2  扫描插件分析 522
9.5.3  脚本加载过程 526
9.5.4  NASL脚本介绍 527
9.6  OpenVAS脚本分析 527
9.6.1  OpenVAS脚本类别 528
9.6.2  同步Openvas插件 528
9.7  漏洞扫描实践 533
9.7.1  漏洞库 533
9.7.2  常见漏洞发布网站 535
9.7.3  手动更新CVE库 536
9.7.4  采用OpenVAS扫描 536
9.7.5  扫描过程 541
9.7.6  变更扫描策略 543
9.7.7  Nmap与Openvas的区别 546
9.7.8  分布式漏洞扫描 547
9.7.9  设置扫描用户凭证 548
9.7.10  扫描频率 549
9.7.11  漏洞扫描超时问题 550
9.8  Openvas扫描故障排除 550
9.8.1  常见Openvas故障三则 550
9.8.2  OpenVAS故障分析 554
9.9  配置OSSIM报警 558
9.9.1  基本操作 558
9.9.2  实例 559
9.10  OSSIM在蠕虫预防中的应用 562
9.10.1  多维度分析功能 563
9.10.2  发现异常流量 563
9.10.3  蠕虫分析 564
9.10.4  流量分析 565
9.10.5  协议分析 567
9.11  时间线分析方法 568
9.11.1  时间线分析法的优势 568
9.11.2  实例 568
9.12  利用OSSIM进行高级攻击检测 570
9.12.1  误用检测与异常检测 570
9.12.2  绘制Shellcode代码执行流程图 573
9.12.3  收集异常行为流量样本 574
9.13  合规管理及统一报表输出 575
9.13.1  合规管理目标 575
9.13.2  主要技术 575
9.13.3  什么是合规？ 576
9.13.4  理解PCI合规遵从 576
9.13.5  报表类型 579
9.13.6  日志合规检测 581
9.13.7  报表合规性 584
9.14  小结 587

第10章  基于B/S架构的数据包捕获分析
 
10.1  数据包捕获 588
10.1.1  数据包捕获设定 589
10.1.2  抓包区域说明 590
10.1.3  抓包时提示“This traffic capture is empty”的解决办法
10.1.4  远程故障排除案例 591
10.2  数据包过滤种类 592
10.3  过滤匹配表达式实例 594
10.3.1  过滤基础 594
10.3.2  协议过滤 594
10.3.3  对端口的过滤 595
10.3.4  对包长度的过滤 595
10.3.5  ngrep过滤 596
10.4  命令行工具tshark和dumpcap 597
10.4.1  tshark应用基础 597
10.4.2  Dumpcap使用 598
10.4.3  用tshark分析pcap 599
10.5  使用tcpdump过滤器 601
10.5.1  tcpdump过滤器基础 602
10.5.2  其他常见过滤器使用方法 603
10.5.3  通过Traffic Capture抓包存放位置 604
10.6  针对IE浏览器漏洞的攻击分析 604
10.6  小结 611

参考文献 620