如何利用 Scoring Alias 和 AB 关联规则高效管理数据挖掘模型（3）

look_w

评分配置的 A/B 对比测试通过前面的介绍，相信大家对评分别名及评分配置关联集有了初步的了解，接下来本文将以实际生产环境为例，详细介绍如何利用评分别名及评分配置关联集进行 A/B                对比测试，从而对生产环境中的数据挖掘模型高效管理。在 A/B                对比测试中，用户可以保持现有评分配置处于部署状态，但将一些传入的评分请求从生产配置重新路由到潜在配置，随着处理请求越来越多，用户就可以通过查看模型所得到的预测结果进行整体评估，一旦确定新的模型优于旧的模型，将可以立即将其部署到生产环境中用于替换就的模型。
假定现有一模型"药品预测模型_A"，根据病人的各项生命指标预测其最适用的药品，该模型的输入表及输出表如表 1 所示。
表 1                主配置的输入输出表
表名：DRUG1n
输出表 Age  Integer  Required  $R-Drug  Sex  String  Required  $RC-Drug  BP  String  Required  K  Cholesterol  String  Required  Drug  Na  Real  Required
K  Real  Required
Drug  String  Required

将模型存储到 CaDS 存储库，对该模型定义评分配置，并投入到生产环境中进行实时预测分析，具体如图 5 所示。
图 5 定义评分配置当评分配置定义好后，可通评分视图查看该评分配置的各项指标，如：该评分配置的所处的状态，总评分次数、所依赖的模型类型等，具体如图 6 所示。
图 6 评分配置状态从图中可以看到目前该评分配置处于已启动状态，为保证预测分析模型对用户的透明化，接下来将为该评分配置创建别名，这样用户在提交评分请求时无须了解更多关于预测模型的细节，而只提供将评分配置所需的输入数据。在评分视图中右击该评分配置选择"创建别名…"，输入的别名即可，具体如图                7 所示。
图 7 创建别名此时在评分视图中将产生一个新评分配置，所有针对该评分配置所产生的评分请求实际上还是将由主评分配置处理。请注意，用户不能在别名上创建关联集。图 8                展示了评分视图中的别名。
图 8 查看别名现在，用户可通过访问 CaDS 瘦客户端 Deployment Portal（                http://localhost:8080/peb），找到该别名并提交评分请求，评分请求会路由到主评分配置进行处理，并实时返回预测分析结果，具体如图                9 所示。
图 9 提交评分请求                随着时间的推移，模型专家发现有两个新的算法可能能够更好地完成该预测分析工作，基于这两个新的算法，模型专家设计出了两个新的预测分析模型，即：药品预测模型_B                及药品预测模型 C，但在实际投入生产之前，专家需要比较新模型和旧模型的性能，从而进一步确认哪个模型性能最优。模型 B 和模型 C                的输入输出表如下所示：
表 2 配用配置 B                的输入输出表
表名：DRUG1n
输出表 Age  Integer  Required  $R-Drug  Sex  String  Required  $RC-Drug  Na  Real  Required  $RI-Drug  K  Real  Required  Na  Drug  String  Required  Drug


Sex


Age


K
表 3 配用配置 C                的输入输出表
表名：DRUG1n
输出表 Age  Integer  Required  $R-Drug  Sex  String  Required  $RC-Drug  Na  Real  Required  $RI-Drug  K  Real  Required  Na  Drug  String  Required  Drug


Sex


Age


K
为使得主配置的一部分评分请求能重新路由到备用评分配置处理，接下来，将为主配置创建关联集，在评分视图中，右击主配置，选择"创建关联…"选项，此时服务器会自动将所有与主配置兼容的配置列出来，具体如图                10 所示。请注意，在为保证评分请求能正常被备用评分配置处理，在创建关联集前，必须确保所有的评分配置处于已启动的状态。
图 10                兼容的评分配置                选择需要对比的配置，然后点击下一步。在本例中，将选择"备用评分配置_B"和"备用评分配置_C"。接下来，将需要为关联集中的每个评分配置指定路由百分比，然后点击完成，具体如图                11 所示。
图 11                分配路由百分比 当关联集创建完成后，在评分视图中展开主评分配置，可查看该关联集的详细信息，具体如图 12 所示。
图 12 查看关联集接下来，为了对比新模型与旧模型之间的性能，需要用户登录到 CaDS                瘦客端提交评分求情。随着时间的推移，评分请求将不断累积，模型专家可对比各个配置所产生的评分结果，从而做出决策。若对比后发现模型 C                具有最佳性能，计划用模型 C 来替代模型 A，那么只需编辑别名 "药品预测"                ，将其指向"备用评分配置_C"即可；若备用评分配置均未产生更好的结果，当前模型 A                仍为最优，则只需删除该关联集，使得所有的评分请求仍路由到"主评分配置"即可。