中国天眼建设数字基础架构 海量的数据是怎么存储的?
来源:第一财经 发布时间:2021-10-19 16:08:42

如果开启“天眼”,可以看到怎样神奇的画面?

由中国科学院国家天文台李迪教授和王培博士领导的国际研究小组在《自然》杂志最新的一篇论文显示,FAST累计发现1652次快速射电暴,超过以往文献记载数量总和。从2011年3月25日“中国天眼”开工建设再到2020年通过国家验收,投入正式运行。这不仅仅是天文科学的进步,也是建设数字基础架构的标志事件。那么,它海量的数据是怎么存储的?

中国天眼结缘浪潮存储

中国科学院国家天文台FAST数据中心组组长黄梦林经历了数据中心从无到有。

她告诉第一财经,2005年前后,FAST先跟当地的大学合作建了早期科学数据中心,“那时候的技术肯定没有现在这么发达,建一个2PB的集群得摆三个机柜”。等到FAST在2016年建成,再被称作数据中心的现场,其实是集装箱,带有实验的质。“真正开始考虑数据中心要做大规模的时候,是在2019年试运行”。

天眼搜集的数据可是大得惊人,每秒采集的数据量最多可达38G,每年新增数据量达到10PB,灵活、可弹扩展的数据基础设施成为中国天眼的刚需,首先要解决的就是存储问题。

“一个是容量要大,因为我们机房面积有限,所以需要高密度存储。而且需要稳定,因为我们的数据量大,要是异地备份需要的成本就更高。我们现在存数据,希望它的稳定非常好,非常高,保证我们只有一份数据但是也不会丢。” 黄梦林说。

在建设自己的数据中心之前,FAST还曾经租用过别人的机房。但是解决问题的响应速度不好跟上,而且成本也在水涨船高。“我们也要考虑硬件和软件的结合和以后的服务、运维方面,是一家公司协调起来更简单,可能工作起来效率会更高,就是这样。” 黄梦林说。也正是基于这样的考虑,FAST项目开始招标建立自己的数据中心

“我们看到用户在使用的时候,刚开始这么大的一个集群,也是面临一种新的场景,总归是会有需要,问题的解决处理,这个时候本土化的厂商是非常重要的。”浪潮信息首席架构师叶毓睿介绍,FAST的数据是非结构化数据,对存储的考验很大,一方面是存储的扩展,另一方面,当数据到达一定量的时候,运维管理的挑战也会凸现出来,“管理人员还是有限的,但那么多的存储怎么样更好地管理,我们有一些相应的手段”。

“装得下”也要“用得好”

天文研究是典型的大数据场景,数据存储不仅需要让中国天眼“装得下”数据,更要成为全球科学家天文大数据研究的加速引擎,让科学家们“用得好”。

黄梦林介绍,接收下来的数据都会经过预处理,这是个自动的流程。对于进一步的数据处理,根据天文研究项目负责人的意愿来决定,如果项目负责人有需要,数据中心也可以提供处理。如果不做要求,FAST就直接提供观测数据。

为了满足这些需求,浪潮存储以高能节点提升天文大数据存储、处理和分析的效率,以高密度节点“海纳”天文级数据,基于智能IO均衡、智能资源调度、智能元数据管理等软件栈算法让百万级IO均衡落盘且路径更短,从而实现数据在不同层级存储之间能够根据天文业务需求实现数据自由流动。

具体来说,浪潮存储基于超大规模分布式存储台,在一个存储台内部署高能和高密度两种节点,提供53PB容量、100G聚合带宽和AIOps智能管理,为中国天眼FAST的IT基础设施建设提供了支撑,完成了计算能超两千万亿次/秒、带宽达100GB/秒,冷热数据分层存储可以容量达53PB的自有数据中心台建设。中国天眼采用了60余台高密度节点AS13000G5-M60,单节点容量接一个PB,节省了数据中心物理空间,运营成本节省了65%。

要想用得好,前路亦有挑战。以AI为例,数据的采集、模型的训练、应用的推理还有长期的存档让整个存储行业都在面临挑战:数据吞吐能力,也就是每秒的操作数要求很高,存储介质也有变化,甚至有可能利用内存的池化去应对更高的存储需求。这导致整个IT的基础架构都在根据场景的需求不断衍生、迭代。

“在分布式存储里其实还有很多可探索的空间,像天眼是我们看到的其中一种。”叶毓睿说,随着需求增长,需要有更多的算力, “其实就是朝着一切皆计算机的方向去发展”。

关键词: 中国天眼 数字基础架构 海量数据 天文科学

猜你喜欢

抖音发现了新商机 联合快递公司解决“最后一公里”问题

抖音发现了新商机 联合快递公司解决“最后一公里

快递快而不递的现象越来越普遍:快递员不按需送货,自作主张将货物放到快递柜或者代收点……而在这...更多

2022-01-13 14:06:48
全国首次中成药联盟集中采购 预计每年可节约药品费用超过26亿元

全国首次中成药联盟集中采购 预计每年可节约药品

1月12日,北京商报记者获悉,近期湖北牵头19省联盟中成药集中带量采购开标。作为全国首次中成药联盟...更多

2022-01-13 14:02:55
全球车市遭遇芯片短缺 让国内车市重回正增长道路

全球车市遭遇芯片短缺 让国内车市重回正增长道路

连续下滑三年的中国车市终于重新画出向上曲线。1月12日,中国汽车工业协会(以下简称中汽协)放榜,去...更多

2022-01-13 14:00:27
金融统计数据报告出炉 稳健货币政策预计仍将保持灵活精准

金融统计数据报告出炉 稳健货币政策预计仍将保持

2021年全年金融统计数据报告出炉。1月12日,央行发布了2021年金融统计数据报告。整体来看,2021年12...更多

2022-01-13 13:59:04
新一轮蔬菜上市量增加 市场供应量充足价格下跌

新一轮蔬菜上市量增加 市场供应量充足价格下跌

随着疫情防控和保供稳价的推进,消费市场趋于平稳。1月12日,国家统计局公布2021年12月CPI和PPI数据...更多

2022-01-13 13:55:27
春节档受到行业的广泛关注 如何在激烈的市场竞争中拔得头筹

春节档受到行业的广泛关注 如何在激烈的市场竞争

距2022年春节已不到20天,电影市场同样摩拳擦掌。截至1月12日,定档春节档的影片共计10部,包括《奇...更多

2022-01-13 13:42:01
名企名牌加速集聚 招商引资工作取得显著成效

名企名牌加速集聚 招商引资工作取得显著成效

经济技术开发区是招商引资的主阵地。2021年,漯河经开区牢固树立项目为王、谋划为先、招商为要、落...更多

2022-01-12 11:41:26
河南多地突发疫情 全省生活必需品供应充足

河南多地突发疫情 全省生活必需品供应充足

近期,河南郑州、许昌、周口、洛阳等地突发疫情,多处区域被划为中、高风险区,部分商超、农贸市场...更多

2022-01-12 11:39:22
张掖经济技术开发区加快落实“双碳”战略 推进新能源产业高质量发展

张掖经济技术开发区加快落实“双碳”战略 推进新

2021年年底,由国家电投香港中电新能源控股有限公司独资注册1亿美元资本金的中电智慧(张掖)能源有限...更多

2022-01-12 11:35:09
国家级经开区开放创新 为全市经济高质量发展注入了示范性新活力

国家级经开区开放创新 为全市经济高质量发展注入

经开区是中国对外开放的老品牌。如何推进国家级经开区开放创新、科技创新、制度创新,激发市场活力...更多

2022-01-12 11:33:00


© 2012-2020 财经快报网 版权所有

网站联系邮箱:98 28 36 7@qq.com