当前位置: 首页 > 互联网+

BT和IT的深度联姻:全基因组测序智能化云端数据生产线正式发布

发布日期:2019-05-31 17:40:25 编辑:it技术分享网 阅读次数:

摘要:本文源代码编辑舒蜀桧基因灰尘,三个小clothSlowdown的股份制改造,基因健康产业进入一个新的起点。测序成本,降低设备投资竞争政策和动力,每天可产生高达PB级的基因数据。一个主要的挑战来了:大数据的基因转换价值。除了加快建立行业标准,转化基因大数据需要上溯到数据源:数据生产,数据管理和数据安全性的智能自动化。应该BT(生物技术)和IT(信息技术)深度合作。中国科技部和GeneDock构建智能云数据的生产线是一种合作的这样一种创新探索。

本文来源蜀桧基因

编辑舒灰尘,三个小布?

\

放缓,股份制改造,基因健康产业进入一个新的起点。测序成本,降低设备投资竞争政策和动力,每天可产生高达PB级的基因数据。一个主要的挑战来了:大数据的基因转换价值。除了加快建立行业标准,转化基因大数据需要上溯到数据源:数据生产,数据管理和数据安全性的智能自动化。应该BT(生物技术)和IT(信息技术)深度合作。中国科技部和GeneDock构建智能云数据的生产线是一种合作的这样一种创新探索。
计划的重点
·传统生产高遗传数据跨区域传播的风险,长期的过程,涉及大量的人员,资源利用效率低。

·? 平衡用户体验,并在同一时间计算资源的利用率,侵袭基因的深度要求的工业应用场景。

·? BPL智能驱动线交叉的区域的数据递送,递送时间将通过的圆周天级级别被减小,单个样品的成本可以精确计量的。

从所述网络认证图

遗传数据生产业务场景和痛点

所述“基因数据的生产,”分开,第一个是基因数据,则生产。前者刚刚从研究转化为行业唯一的分子生物学信息,这是效率和工业化的工艺简单,因为追求了十年。这两个难以平衡,加上传统生产线的自动化和智能化是尚未成熟,繁琐的过程和多进程多员工的人才储备不够,使得生产的基因数据的控制和交付经验的费用,每家公司需要面对的挑战之一。

让我们来看看中国科技 - 世界上最大的生产工艺测序机构。

图,中国科学的生产工艺技术,为授权

对许多制造商的基因数据,对生产流程和业务场景的基因数据,也有一些或全部的痛点:

1)多个数据生产现场的,长编排。行业领先企业在中国的科学技术,例如,有更多的自建与国内外测序实验室合作,在中国会议实际生产业务将被分配到最近的样品测序实验室,然后汇总数据,以飞机在深圳,完成后续的质量控制数据,原始数据传送信道的分析和结果。它将生产规模出现在这样的情况下,以基因的企业,数据分析,并在多个物理站点管理流程的一定水平,有数据分布和多步骤和其他痛点的整合。

2)覆盖范围广运营商,依靠劳务合作的核心领域。在基因数据链路管理,数据处理,数据集到本地磁盘阵列,按照统一的数据标准,排序和质量控制的分析,人们发现生物信息学分析,生物信息学和质量控制人员查看报告,将数据上传到产业集群,分析过程开始运行。分析完成后,数据下载到本地备份,通知项目经理,数据分析完成,然后将数据交付给客户。其中,涉及生物信息学分析,项目管理和IT等工作,专业工作严格要求,但目前拥有的人才稀缺的专业背景。在信息管理的核心领域人工合作的过度依赖会带来显著风险。

3)依靠第三方物流,难以管理,且有一定的安全隐患。构建云数据线,多个由硬盘或网络数据传输模式概要测序测序实验室机的前。该项目TB级的数据,一般的网络传输存在很大的瓶颈,硬盘的传输目前通常依赖于传统的第三方物流,缺乏存储数据,实时跟踪和信息安全的有效的物流过程中,等等。

深度婚姻BT和IT:全基因组测序智能云数据线

如何解决上述问题?对于许多企业基因一直困扰的问题。

一方面,需要平衡用户体验和资源利用效率来计算,而另一方面,由于缺乏集中在基因数据计算厂商的解决方案,这不仅需要有IT背景的,还需要侵袭性BT业务场景和下游联动资源能力。

公司成立于2014年GeneDock,定位非常专注,“准确而可靠的医疗数据的技术合作伙伴”,核心成员来自阿里巴巴,华大基因研究院等业界领先的IT和BT公司,而投资者经纬中国,普华永道资本,壳资源代理,联想等知名投资机构的明星,基因数据生产的大型数据可以被描述为智能云状况有天时地利人和。它拥有国内几十个行业的顶尖机构和公司,其中包括中国,包括组学数据平台,提供服务,最大的技术;

2017年11月10日,深圳华大基因科技服务有限公司。有限公司。(以下简称“中国科技”)和高强度,博士总经理。北京路科技有限公司。有限公司。(在下文中称为“GeneDock”)总裁博士。在北京立Xiarong正式签署基因组解码规划战略合作协议。?目前,双方已经完成GeneDock BPL智能云数据线的开发和调试,以及数以百计的全基因组数据的基于压力测试,并投入生产。这是行业跨区域的大型基因组的数据传输和数据分析自动化生信的创新实践。

关键绩效指标

? 的平均交货时间从几周到天级水平较短的数据;

增强的并发任务数量,全基因组数据计算高达100 /天;

小于1%的压力测试任务失败率,都是非系统故障原因的理由(失败的输入质量控制数据)。

为了满足业务和管理的需要

数据的跨区域输送;

细粒度的访问控制,以确保安全;

? 基因组学多层质量控制数据;

\

直接通过GeneDock数据测序实验室数据的不同区域:基于上述业务的困难和痛点,和中国科学技术打造“智能云数据生产线”,智能化,自动化,高效的基因数据生产BPL产品解决方案GeneDock传输客户端上载从测序实验室自动化完整的云的多个区域数据到云上下机数据质量控制,又一批生物信息学分析结果出来了,是通过云数据管理GeneDock,并在同一时间使用专线交付对于本地备份。

缩短交付周期

\

通过对基因组学数据管理和传输方案的云GeneDock BPL,并更换物流快递硬,不仅缩短了交货时间,同时也保证了数据的安全。

自动化生产

通过GeneDock BPL质量控制和随后的数据分析,可靠性的分析结果,并且消除了对下载的准备之前的数据的二次分析的需求。自动化流程把生物信息学工程师从繁琐的重复性任务中解脱出来

海量数据管理

精细业务管理
BPL产品介绍节目的3GeneDock
01,数据传输
组学数据传输设备要经过测序数据下达到数据的所有者手中。GeneDock提供了一个图形数据传输客户端和命令行客户机,该机器可以直接在下面的序批载数据,消除了对数据的复制和硬链接邮寄的需要,提供传输效率。而在传输过程提供了数据压缩,加密和用户验证和访问控制等功能,以确保数据的安全性和完整性。

?图,GeneDock客户端接口

根据实验室的不同地区的网络条件下,我们把附近的不同传输方案。例如,从该平面的测序数据的概要,以不同的城市深圳。
1)跨域云:北京测序实验室将第一数据到所述云计算厂商通过云北京室内高速访问,然后通过云计算北京后云深圳的高速信道,将数据迁移到深圳。

源地址? ? ? ? ? ? ? 目的地? ? ? ? ? 平均传输速率

? 北京? ? ? ? ? ? ? ? 深圳? ? ? ? ? ? ? ?14.22MB / S

? 上海? ? ? ? ? ? ? ? 深圳? ? ? ? ? ? ? ?13.98MB / S

图,GeneDock客户端

02,数据质量控制
数据质量控制是用于数据分析必需的,数据分析是确定的直接因素的可靠性。一般都会有质量控制数据的一个专门的团队在数据生产过程。GeneDock BPL数据质量控制系统自动执行过程中,数据被从系统中上传文件后会自动触发测序实验室质量控制数据流,数据标准和质量自动检测的执行,节省了大量的人力。

地图,基本测序质量FASTQ文件的统计信息,提供授权

03,?数据分析
焦点小组研究是处理和生物信息数据的分析,在临床和科研的基因行业应用逐步深化和扩大,越来越多的样本数量,与分析过程本身相结合是高度并发进程,如何快速,高效,准确采集分析成为问题。GeneDock自主开发的调度系统,支持各种计算任务的框架(例如本地集群,阿里云,AWS等。)混合调度,用于快速,有效的数据提供底层保证强烈分析。
04,细粒度的访问控制
的组学数据应用的实际过程中,用户经常需要执行不同组织(例如,许多组织有多个测序实验室交叉区域),完成不同部门之间的分析和计算数据协作传输数据。
传统的解决方案,涉及可以直接触摸的数据大家,安全性无法得到有效保障。GeneDock权限管理提供了完整的解决方案,可以实现细粒度的访问控制,管理员可以授予不同用户不同的操作权限,例如上传数据读取,运行恒生信贷工作流程的权限,通过不同角色的访问控制,管理员可以保护数据和提高安全分析过程中,责任的组织内部分工更加清晰。
继续优化智能云数据的生产线

目前,智能云数据的生产线持续优化工作包括:

强化生产线监控云数据

包括任务状态监控,资源消耗的监测和统计报告。

提供流程改进协作云迁移到私有云部署过程更完整的人类全基因组分析会增加GATK4等权威开源工作流集成的基因浏览器进行海外扩张
后记
我一直在参与研究和开发在国内企业基因云计算系统的2012年,深知BT和IT差距,包括概念,技术和方案之间的差异。在过去的五年中,随着基因数据,在大型快速生产,每家公司的积累遗传数据的大规模应用的出现,数据管理仍然是一个艰难的一。作为管理员选择回到入口,所需的管理数据返回到生产数据的入口。只有智力的本质是不够的,需要回单样本成本核算和提升用户体验; 只是没有足够的自动化,必须解决跨专业人士诟病的区域发射工作,提高自然交付效率。不一定都熟悉的BT的结合,IT核心团队。君不见,在世界互联网大会之际,全球卫生大会被在同一个城市举行,虽然不如规模,但增长速度快,可以预见的是,健康产业将超过今天或明天蓬勃发展的互联网。因此,基因产业面临大浪冲IT巨头或湿身舞,IT企业需要一头扎进核心基因产业,“合作”。美容,局部彩色,方世界的和谐,在这方面,世界将最终成为进口数字医疗的领土“平行宇宙”洪水,那么数据的性质和智能智造基因的价值将变得更突出。

本文链接:BT和IT的深度联姻:全基因组测序智能化云端数据生产线正式发布

上一篇:BBS时代的网红是如何崛起的?

下一篇:CMU教授炮轰谷歌:一切都是商业计划,机器学习原理停留在20年前!

友情链接:

大悲咒全文 心经唱诵 线上念佛

Copyright © 2017 it技术分享网 版权所有 All Rights Reserved. 网站地图

苏ICP备18043316号