发布、监控和运行AI 系统在遇到更多训练数据时会进行学习。尽早且频繁地测试模型来验证它从数据中提取了洞察，这一点很重要。在添加相关的训练数据后，应该定期度量系统的性能。这些定期度量有助于确定模型性能何时未改进，这表明需要细化模型或达到某个逻辑停止点。另外建议超越传统的“F1、精确率和召回率”指标，开始更深入地将模型性能映射到其他关键条件，以便更深入地了解为什么模型按某种方式执行。这些条件可能包括：
- 每个实体类别的 F1 分数
- 为每个实体和关系使用的事实库（训练和测试）示例的数量
- 事实库中针对每种文档类型的记录数量，以便理解用于训练和评估模型的训练和测试数据在事实库中的层状分布
- 提取关键实体、关系和属性的时间
- 您可以采样、处理和测试的群体的大小
除了添加更多训练数据之外，您可能还要修改 AI 系统所使用的代码和模型。将新 ML 特征创建为假设。一些假设将会实现，另一些则不会实现。通过跟踪对系统的每次迭代，很快就能看到哪些修正有效，哪些修正无效。
与 AI 系统相关的每个工件都应该使用源代码控件进行跟踪。这包括代码、模型和训练数据本身。软件开发人员非常熟悉版本控制的优点，这使得您能准确知道何时向系统中引入了哪些更改。这些优点可以扩展到模型和训练数据中。新假设开发出来后，模型将会发生更改；发现和更正错误后，训练数据可能也会发生更改。（诚然：您可能发现您的 AI 系统性能下降了，因为提供的原始数据包含太多的错误！）
示例这是随着不断添加训练数据，对 Watson Knowledge Studio 模型准确率的跟踪记录。当准确率在 12,000 - 20,000 个单词间保持稳定时，我们知道模型已从训练数据中学到了尽可能多的差异，而且增加新训练数据不可能改进模型。
图 7. 一个 Watson Knowledge Studio 模型的准确率
持续学习在成熟的建模结果部署和集成中，数据建模工作可能是一个持续过程。例如，如果训练并部署一个模型来提高高价值客户的客户保持率，可能在达到特定的保持率水平后，需要对模型进行调整。然后，可以修改并重用该模型来留住处于价值金字塔中更低位置但仍可从中获得利润的客户。
当遇到新场景和情况时，人们会适应并学习。在认知系统投入使用并遇到新观察结果时，它们必须不断学习和进化。如果不去学习和适应，那么在部署到生产中后，训练的模型和认知系统的性能很快就会开始降低。为了能够持续学习，应该有一组工具、流程、检测和治理机制。在下图中，我们详细描述了整体方法的各个阶段（从部署到采集反馈阶段），以描绘必须使用结果反馈来持续学习的活动，包括提供一个治理流程，谨慎地确定系统必须学习哪些知识来实现业务目标。
图 8. 持续学习循环 |
