复旦大学与中国银联电子支付研究院联合研究成果
复旦大学网络信息安全审计与监控教育部工程研究中心/复旦大学网络与信息安全研究所起源于复旦大学 1977 年建立的计算机网络实验室，近年来与中国银联的电子支付研究院一直保持着紧密合作，银联电子商务与电子支付国家工程实验室的安全技术研究中心也落地在复旦大学网络信息安全审计与监控教育部工程研究中心，双方研究者自 2012 年以来一直共同攻关，一同攻克并解决了诸多云计算和网络安全技术领域的难点问题。“下一代融合计算原型” 是双方最新研究成果。
作者:
复旦大学: 吕智慧 李智鑫 吴杰 吴承荣 叶家炜 李树楠 强浩 童宇
中国银联电子支付研究院: 王涛 翟孟冬 (指导老师: 祖立军)
一、成果简介
当前，金融机构面向互联网的业务发展迅速，数据中心云平台规模以及资源需求不断提升。与此同时金融机构营销活动期间突发的资源需求对于 IT 资源调度产生巨大的挑战，虽然我们可以通过简单的事先购买好服务器设备在活动期间来临时扩展服务资源，但是营销活动结束后，新购买的设备存在后期闲置浪费的问题，因此跨异构资源池的调度挪用成为重要的研究方向。即在资源需求量突发状态下，通过释放跑批量大数据作业的任务量，临时划拨资源来支撑实时业务交易。
在中国银联信息总中心、电子支付研究、科技事业部前期内部提出大数据服务应用于虚拟机内场景下的融合调度方案基础上，本研究考虑到当前容器技术相较于虚拟机技术，在性能和敏捷性方面的优势，同时为了进一步提升资源融合调度的效率，中国银联电子支付研究院提出下一代融合计算引擎：基于容器的大数据与虚拟化超融合架构。复旦大学与中国银联电子支付研究院基于此成立了联合研究团队，目标是在设计基于容器的大数据与虚拟化超融合架构的同时，完成相关原型的研发和试验。
二、成果内容
截至目前，通过产学研合作的形式，联合研究团队已形成 “基于容器的大数据集群技术” 与 “容器与虚拟机融合调度” 两个方向研究成果积累，四项技术创新突破。
在基于容器的大数据集群技术方面，一是研制成功业界首个支持非一致存储访问结构 (NUMA ：Non-Uniform Memory Access) 精细化管理的容器管理调度器，可避免内存共享导致的访问冲突问题，获得更好的服务器性能；二是攻克融合超权部署机制，支持大数据应用等的高赋权安装；三是实现容器本地磁盘挂载的调度管理，从而提升大数据集群服务性能。下图是容器集群架构与原有架构的性能测试对比情况。
在容器与虚拟机融合调度技术方面，原型系统基于开源框架 Placement 进行了联合调度的数据接口定制，基于容器和虚拟机服务模块的事件触发机制同步计算节点资源使用信息，并基于此重新复写了容器和虚拟机服务模块的实时调度策略，支持在融合视图下的计算资源统一调度。
同时，为了便于进一步的获得更好的用户管理体验，课题组扩展了 Dashboard（服务界面）相关功能以及 API，在 Dashboard 点击超链接可以看到弹出页面中该虚拟机或容器实例使用的 CPU 线程节点及内存使用量。
其中，创新地实现 NUMA 拓扑数据可视化，可以准确直观地看到物理机 NUMA 节点中 CPU 内存使用情况。每个实例所使用的 CPU 线程节点和内存在该页面中同样得到展示。
三、成果应用价值
基于容器的大数据与虚拟化超融合架构的实现，对于金融机构和传统企业来说，具有极大的应用价值，可以实现虚拟主机、容器、大数据各资源的异构池化融合。联合研究团队共同提出的大数据与虚拟化超融合技术方案也是在开源 OpenStack 社区首个容器与虚拟化联合调度的实践事例，这个方案的主要技术架构已经在 OpenStack2018 年 11 月柏林峰会上由复旦方吕智慧老师代表 OpenStack 金融工作组作了演讲汇报，得到与会者的一致认可。本方案相对传统方案，有以下优势：
1.提高资源利用率，降低成本
本方案采用的容器技术支撑大数据集群应用，可以大幅降低虚拟机技术应用的损耗，同时通过计算力的精细化调度进一步提升了应用集群性能。
2.资源收缩扩张便捷，提高业务可用性可靠性
使用容器运行的大数据集群无需关闭容器内的大数据集群服务即可调整资源使用量，减轻了运维人员工作量同时提高了业务的可用性和可靠性。
3.实现容器虚拟机联合调度，可直观看到资源分配情况
完成了虚拟机资源与容器资源的统一管理，实现运行大数据集群的容器和虚拟机的联合调度，虚拟机资源与容器资源互相感知。
基于容器的大数据与虚拟化超融合架构的研究，仅仅是联合研究团队本次联合研究课题的一个关键部分，我们会继续保持推进本次合作中其他子课题的关键技术研究，包括在统一存储融合、资源高效编排融合等方向的研发工作。
