浪潮分享面向第三代基因测序组装软件的高性能计算系统优化方案

2018-07-02 15:42:44 来源: 浪潮集团有限公司

日前,在德国法兰克福会展中心举行的2018国际超算大会(ISC18)上,浪潮分享了面向第三代基因测序组装软件的高性能计算系统优化方案。浪潮的FALCON优化方案使得关键步骤计算性能提升了20%左右,而浪潮并行优化的MECAT相比原单机版本获得了近10倍的性能提升,优异的性能表现引发了国际同行的极大关注。

ISC现场,浪潮AI&HPC Dr.朱红分享第三代基因测序计算优化方案

二代测序和三代测序都属于高通量测序技术,测序数据产出量很大,需要结合高性能计算技术来进行后续的测序数据处理。相较于二代测序技术,以单分子测序技术为代表的三代基因测序带来了更长的测序读长,这使得对更加复杂的物种如各种农作物和植物等的基因研究成为可能,但是相对更高的测序错误率(~15%)需要进行数据纠错,又对高性能计算带来了新的挑战。三代基因测序组装这类应用对于系统的计算性能、网络和磁盘等方案都有很高的要求。很多用户在通常的高性能计算平台来处理测序数据时,性能都不理想。

目前,由Pacbio公司开发的FALCON及中国的中山大学开发的MECAT是第三代基因测序组装领域的两款主流软件。FALCON由于把测序数据(raw data)切割成KB级别的卷来进行纠错,因而需要频繁的磁盘I/O,所以在计算过程中,磁盘I/O经常会成为系统瓶颈。浪潮专家优化FALCON软件的底层参数,优化了软件架构,降低了系统对于硬件I/O依赖,下图为处理同一测试用例时,优化前后磁盘I/O强度对比。

优化完成后,FALCON软件的核心部分性能提升了20%,而且软件的集群扩展性也有明显提升。

优化后FALCON核心部分性能提升20%

针对MECAT软件,浪潮完成了该软件从单机环境向集群环境的并行优化工作。经测试,新部署的经过浪潮并行优化的集群版本在12个节点上运行时,可以把人类全基因组组装时间从200多个小时缩短到不足24小时,相比原单节点版本获得近10倍的加速比,这表明集群版本的扩展线性度非常好。

精选 导读

外媒:韩国政府加大对加密货币交易的管控力度引公愤

据华尔街日报中文网16日消息,韩国政府试图加大对加密货币交易的管控力度,这一做法引起了韩国民众的强烈反对。周一晚间,已有近20万韩国民

发布时间: 2018-01-17 15:07
评论   2018-01-17

"24条"新规:夫妻一方以个人名义所负债务不再定共同债务

随着社会经济和文化的飞速发展,个体的独立性不断增强,夫妻之间对彼此的隐私也越来越尊重,婚姻家庭关系出现了一些新的趋势和变化。夫妻双

发布时间: 2018-01-17 14:43
(废弃)行情   2018-01-17

数字货币市场和区块链一夜间暴跌

在过去的24小时里,数字货币市场和区块链遭遇了一场浩劫。受多国政府将对数字货币进行严打消息的影响,比特币一度跌破10000美元,瑞波币跌

发布时间: 2018-01-17 14:39
(废弃)行情   2018-01-17

监管层整顿有关数字代币“出海”及“场外交易”

1月16日,21世纪经济报道记者从多家代币交易平台人士处获悉,监管层日前在一份互联网金融风险专项整治工作简报中,释放了将对比特币、以太坊等

发布时间: 2018-01-17 14:32
(废弃)行情   2018-01-17

工信部:进一步推动稀土行业秩序整顿工作,加强部门间协

中国证券网讯 1月17日从工信部获悉,为进一步推动稀土行业秩序整顿工作,加强部门间协同,2018年1月16日,稀有金属部际协调机制在京组织召

发布时间: 2018-01-17 12:00
国内   2018-01-17

国家海洋局:“十个一律”和“三个强化”

经济日报记者17日从国家海洋局了解到,2013年以来,国家海洋局与沿海地方各级人民政府按照习近平总书记把海洋生态文明建设纳入海洋开发总体

发布时间: 2018-01-17 11:48
国内   2018-01-17

数字货币继续暴跌,区块链概念股股价重挫。

截至最近一次更新,Coinbase平台显示,北京时间6点30分左右,比特币交易价一度跌破10000美元,日内跌28%。以太币24小时内一度跌去30%。

发布时间: 2018-01-17 11:21
财经   2018-01-17

近20个城市引进人才的新政策,核心是放宽购房资格

最近3个月,全国有近20个城市与地区发布了引进人才的新政策——政策的核心内容之一,就是放宽购房资格。甘肃省会城市兰州1月5日发布重磅消

发布时间: 2018-01-17 11:17
财经   2018-01-17

人民币汇率上涨1.2%,专家称全年将呈微笑曲线走势

在人民币春季上涨攻势升破6 4后,人民币汇率会处于基本稳定态势,二季度、三季度有调整压力,四季度升值预期会再起专家称全年将呈微笑曲线

发布时间: 2018-01-17 11:13
财经   2018-01-17

2017年中国GDP预计增长6.9%超过目标,企业杠杆率稳中有降

近日,媒体报道称国务院总理李克强透露,2017全年中国国内生产总值(GDP)预计增长6 9%左右。这意味着去年中国经济增长率已超过年初政府工作

发布时间: 2018-01-17 10:57
财经   2018-01-17