发帖
雷达卡
简介
由于目前企业客户的业务量和数据量都在不断的提高，随着企业的发展，很多企业的数据存储都不局限于同一个数据库上，如果要对这些存储在不同数据库上的数据进行处理和建模，就需要将这些存储在不同数据库之间的数据进行有效的整合，本文将介绍通过 IBM SPSS Modeler 如何对不同数据库之间的数据进行整合，然后进行建模处理。
IBM SPSS Modeler 介绍
IBM SPSS Modeler 是 IBM 在分析与预测领域解决方案的重要组成部分，它是一组数据挖掘工具，通过这些工具可以采用商业技术快速建立预测性模型， 并将其应用于商业活动，从而改进决策过程。Modeler 的界面如图 1 所示：
图 1. IBM SPSS Modeler 界面
IBM SPSS Modeler 通过节点对数据进行处理，然后将这些节点连接起来，就形成了对数据处理的一系列过程，我们将这一过程称为数据流。也可以说 IBM SPSS Modeler 是以数据流为驱动的产品，这一系列节点代表要对数据执行的操作，而节点之间的链接指示数据的流动方向。IBM SPSS Modeler 将节点分为如下几种类型：
- 源：此类节点可将数据导入 IBM SPSS Modeler，如数据库、IBM SPSS Analytic Server 数据源、文本文件、SPSS Statistics 数据文件、Excel、XML 等。
- 记录选项：此类节点可对数据记录执行操作，如选择、排序、抽样、合并和追加等。
- 字段选项：此类节点可对数据字段执行操作，如过滤、导出新字段和确定给定字段的测量级别等。
- 图形：此类节点可在建模前后以图表形式显示数据。图形包括散点图、直方图、网络节点和评估图表等。
- 建模：此类节点可使用 IBM SPSS Modeler 中提供的建模算法，如神经网络、决策树、贝叶斯网络、聚类算法、支持向量机、和数据排序等。
- 输出：节点生成数据、图表和可在 IBM SPSS Modeler 中查看的模型等多种输出结果。
- 导出：节点生成可在外部应用程序（如 IBM SPSS Data Collection、数据库、XML、IBM SPSS Analytic Server 数据 或 Excel）中查看的多种输出。
- IBM SPSS Statistics：节点将 IBM SPSS Statistics 数据导入或导出为 SPSS Statistics 数据，以及运行 SPSS Statistics 提供的功能。
IBM SPSS SDAP 介绍1. SDAP 的安装
IBM® SPSS® Data Access Pack（简称 SDAP）是在 Modeler 的安装盘附带的 ODBC 驱动程序，运行 setup.exe 文件以启动驱动程序安装，并选择所有相关的驱动程序即可。安装的 SDAP 必须和你使用的 Modeler Server 在同一台机器，也就是说如果你使用本地的 Modeler Server, 那么就安装在 Modeler Client 所在的机器，如果使用的 Modeler Server 和 Modeler Client 不在同一台机器，那么就需要安装在 Modeler Server 所在的机器。
图 2. SDAP 的安装
2. 创建 ODBC
这里以 Windows 7 为例，装好 SDAP 驱动后，从“开始”菜单中选择所有程序，选择管理工具，选择数据源 (ODBC)，在打开 的对话框中选择系统 DSN 选项卡，然后单击添加，在打开的对话了狂选择要添加的数据库的驱动，如图 3 所示：
图 3. 选择驱动
点击完成按钮后，配置数据库的信息，对于不同的数据需要输入不同的信息，本文将以主流的 IBM DB2、Oracle 和 SQL Server 为例。如图 4 所示：
图 4. 创建 DB2 ODBC
在“ODBC DB2 Wire Protocol 驱动程序设置”对话框中需要指定如下内容：
- 数据源名称（指定一个 ODBC 的名字）；
- IP 地址，指定 DB2（Oracle，SQL Server） RDBMS 所在服务器的主机名或者 IP 地址；
- TCP 端口 ( 对于 DB2，默认是 50000，Oracle 是 1521，SQL Server 是 1433)；
- 数据库的名称（指定需要连接的数据库）；
点击“测试连接”后，输入要连接数据库的用户名和密码，然后单击确定按钮。此时会显示“连接已建立！”的消息，说明配置成功。
对于 Oracle 数据库来说，如图 5 所示：
图 5. 创建 Oracle ODBC
对于 SQL Server 数据库如图所示：
图 6. 创建 SQL Server ODBC
利用 IBM SPSS Modeler 数据库源节点获取数据1.获取数据
打开 IBM SPSS Modeler 客户端，点击左下角的 Server 按钮，选择要连接的 Modeler Server，这里需要说明的就是如果你的 SDAP 装在和 Modeler Client 在一台机器，那么就选择 Local Server， 如果不在同一台机器，而是和单独的 Modeler Server 装在一台机器，就选在添加按钮，输入机器的主机名或者 IP 地址，设置登录的用户名和密码，点击完成按钮，如图 7 所示：
图 7. 连接 Modeler Server
连接上 Modeler Server 之后，在源选项双击数据库节点，然后就可以添加数据库源节点到数据流工作区，双击节点，在数据项选择添加一个数据库连接，然后 Modeler Client 会将 Modeler Server 所在机器的所有 ODBC 查询出来，找到需要连接的数据库连接信息，输入用户名和密码后，点击连接按钮，选择完成然后进入选择表，这里以 SQL Server 为例，如图 8 所示：
图 8. 添加数据库连接
点击完成按钮后，在表名列点击选择按钮，选择表名，这里我们以 dbo.Modeler_Drug1 为例，如图 9 所示：
图 9. 选择表名
选择表后，节点自动读取表结构，如图 10 所示：
图 10. 来自 SQL Server 的数据
用同样的方法再添加两个数据库节点，选择 ODBC 为 DB2 和 Oracle， 输入用户名和密码之后，就可以选择要读取数据的表名了。这样就完成了用 Modeler Client 读取数据库数据的操作，然后要进行的就是对数据的处理。
首先我们利用 Modeler 的 Merge 节点对 DB2 和 Oracle 中的两张表的数据进行合并，处理后的结果是我们得到的数据一部分来自 DB2 数据库，一部分来自 Oracle 数据库。对于来自 Oracle 数据库的数据，我们取 3 个字段的值，如图 11 所示：
图 11. 来自 Oracle 的数据
对于来自 DB2 数据库的数据，我们取 4 个字段，如图 12 所示：
图 12. 来自 DB2 的数据
2.数据处理
双击记录选项中的 Merge 节点，然后将 DB2 和 Oracle 两个节点与之连接，双击 Merge 节点，可以看到处理后的数据包括来自 DB2 和 Oracle 的 7 个字段，如图 13 所示：
图 13. Merge 后的数据
然后我们需要通过 Modeler 的 Append 节点将 Merge 后的数据追加到来自 SQL Server 数据库的数据。双击记录选项中的 Append 节点，在流工作区中将 Merge 节点和 SQL Server 数据源节点与之连接，这样得到的就是来自三个数据库的数据了。如图 14 所示：
图 14. Append 后的数据
我们还可以通过 Modeler 的其他节点对数据进行进一步的处理，比如通过选择节点，可以设置条件来选择我们需要的数据，或者通过排序节点对某几个列进行排序等等，这里就不详细介绍了。
3.建模
最后要做的就是对处理过的数据进行建模了，首先我们需要设定一个 Target 列，也就是需要预测的列。我们通过 Modeler 的 Type 节点设置 Target 列，在字段选项双击 Type 节点，在流工作区中将 Append 节点与之连接，双击 Type 节点，修改 Drug 列的角色为 Target，其他默认为 Input，如图 15 所示：
图 15. 设置 Target 列
然后就是选择我们要使用的模型了，这里以神经网络为例，在模型选择中双击神经网络节点，在流工作区中将 Type 节点与之连接，打开神经网络节点，可以看到我们是通过所有的角色为 Input 的列来预测觉得为 Target 的列，当然我们可以在这里修改 Input 和 Target，我们将年龄的角色从 Input 修改为 Target，如图 16 所示：
图 16. 设置 Input 和 Target
点击运行按钮，生成一个新的模型块，该模型块会被自动连接在流工作区，并带有指向创建它的建模节点的链接。要查看模型的详细信息，右键单击模型块并选择浏览（在模型选项板上）或编辑（在工作区上）。如图 17 所示：
图 17. 包含模型块的流
双击打开生成的模型块，可以看到哪些值对预测结果的影响最大，线条宽深说明影响越大，如图 18 所示：
图 18. 预测变量的重要性
4.模型评估
建模完成后，需要评估模型的准确度，就是对一些记录进行评分，我们这里用原始数据进行评估，并将模型预测的结果与实际结果进行比较。如图 19 所示：
图 19. 包含输出的流
要查看分数或预测值，如上图将表节点连接到模型块，双击表节点，然后单击运行。可以从表中看到，模型创建了两个名为 $N-Age 和 $N-Drug 的字段，用来显示预测值。
的时候，雨也是晴；心雨
的时候，晴也是雨！
提升卡
置顶卡
沉默卡
变色卡
抢沙发
千斤顶
显身卡
京公网安备 11010802022788号
