Platform帮上海超算挖掘潜力，集群利用率终于有点起色了

（来源：某科技媒体平台报道）

Platform这个软件，听起来名字挺普通的，但最近它可是帮了上海超级计算中心一个大忙，怎么说呢？以前上海超算的那些超级计算机，虽然能力强大，但就像是一个巨大的、有很多个房间的豪华酒店，入住率却不高，有些房间天天爆满，用户排着长队等着用；而另一些房间却经常空着，资源白白浪费掉了，这就叫集群利用率不高，说白了就是机器没完全用起来,有点可惜。

上海超算中心的人一直为这个事情头疼，他们拥有的是国内顶尖的计算资源，每秒能进行万亿次计算，服务着来自全国各地高校、科研院所和企业的用户，项目涉及天气预报、新药研发、飞机汽车设计等等非常重要的领域，用户们都希望自己的计算任务能快点跑完，但资源就那么多，怎么分配就成了大问题，传统的管理方式有点像人工派单，效率不高，而且很难看清楚整个“酒店”的实时入住情况,无法灵活地把空闲的资源立刻调配给急需的用户。

（来源：上海超算中心相关技术人员访谈）

这时候，Platform就登场了，它不是一个简单的排队软件，而是一个智能的“超级调度员”和“资源大管家”,它的本事主要体现在几个方面：

第一是它能“看见”全部，Platform能把整个超算中心所有的计算节点（也就是那些“房间”）的状态实时监控起来，哪个节点正在忙，哪个节点闲着，闲了多久，预计下一个任务什么时候来，它都一清二楚，这就好比给酒店经理装了一个全楼层的监控大屏，一眼看过去,哪里空着明明白白。

第二是它会“智能安排”，Platform非常聪明，它不像以前那样死板地按照先来后到的顺序排队，它会仔细“端详”每个用户提交的计算任务，看看这个任务需要多少颗CPU、需要多大的内存、大概要算多长时间，它就像个精明的管家，在整个集群里寻找最合适的空闲资源，迅速把任务分配过去，一个需要大量内存但计算时间不长的任务，Platform就不会把它塞进一个正在运行长期任务的节点去排队，而是会找一个内存充足且刚好有空档的节点，让这个任务“插空”完成，这种调度方式,大大减少了任务等待的时间。

第三是它善于“填缝”，超算中心经常会有一些零碎的计算资源空闲出来，比如某个大任务提前结束了，或者某个节点只有一部分核心被占用，这些零碎资源在以前很难被有效利用，就像酒店房间不能按小时出租一样，但Platform有能力把这些碎片化的资源整合起来，分配给那些小而多的任务，或者将一个大型任务拆分成小块，塞进这些缝隙里去执行,这就极大地挖掘了潜在的计算能力。

（来源：平台统计的后台数据）

自从用上了Platform这套系统，上海超算中心的工作人员发现，集群的利用率图表开始变得好看了，以前经常出现的波谷（资源闲置时段）被填平了不少，整体曲线变得更加平稳和高耸，这意味着同样一套硬件设备，现在能承载更多的科研计算任务,服务更多的用户。

有用户反映，以前提交一个任务可能要等上大半天甚至一天才能开始计算，现在有时候几分钟、几十分钟就被调度起来开始运行了，这对于争分夺秒的科研工作来说，节省下来的时间是非常宝贵的，比如药物研发过程中，计算模拟快一天,可能就意味着新药上市的时间能提前一天。

上海超算中心的专家也说了，目前利用率的提升还只是“有点起色”，远未达到完美的程度，他们还在和Platform的团队一起，继续优化调度策略，让人工智能学习更多任务类型的特征，让这个“超级调度员”变得越来越聪明，他们的目标是让这些宝贵的国家级计算资源，每一分每一秒都能燃烧在解决科学难题和推动技术进步的“刀刃”上。

Platform平台通过其强大的资源监控、智能调度和碎片整合能力，实实在在地帮助上海超级计算中心盘活了现有的计算资源，提高了集群的整体利用率，让这座强大的“算力电厂”能够更高效地为我国的科技创新提供动力，虽然前路还长,但这个开头无疑是非常鼓舞人心的。