首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

浅谈大数据资源管理层中的资源碎片(4)

浅谈大数据资源管理层中的资源碎片(4)

Case 4,资源碎片的整理拼接在 Case 3 中,我们已经看到了资源碎片的拼接。在这个示例中,我们可以详细探讨下碎片的整理和再利用。首先,我们要理解一个 Proxy 负责为一种类型 Workload 的申请并管理资源。在实际的生产环境中,用户一般可以在提交任务时,配置该次任务的资源需求配比。当多次任务的资源配比不一致时,就很容易在 Proxy 中产生资源碎片。多个 Proxy 就会积攒更多的碎片,而且碎片的资源块大小一般也是不同的。这时候,每个 Proxy 会将各自的碎片放入自己建立的共享池中。Proxy 会将共享池的资源暴露给 RM,作为可用的资源,供 RM 分配。RM 一般会优先分配非碎片的资源,当有新的 Workload 请求资源,且资源不足时,RM 首先会查询各个 Proxy 中共享池资源的状态,然后将碎片以 Host 为单位进行拼接,如果该机器也有未分配出去的资源碎片,也将一同被拼接,最后将满足条件的资源快分配给新的 Workload。工作示意图如下。
图 5. 资源碎片的拼接结束语本文中只简单的阐述了一种碎片再利用的方式,而要彻底的解决多维度调度中所产生的碎片还要考虑很多其他的因素。对于文章一开始所提及的两个方向,一是如何减少碎片的产生或者优先产生易于再利用的碎片,二是如何再利用已经产生的碎片,本文所想表达的是如何再利用碎片资源,这是建立在碎片已经产生的之后的处理方式。有兴趣的读者,也可以研究下第一个方向。对于第二个方向,本文也只是一个简述,如果要真正的在产品中实现中,则还需要考虑更多的细节,如借出碎片的归还问题,以及碎片资源拼接后再次产生的碎片该如何处理等等。希望读者能从本文建立一些资源碎片处理的初步印象。
返回列表