首页  >>  动态  >>  新闻
扬州万方推出基于申威CPU的国产大数据处理系统
 

        扬州万方电子技术有限责任公司(下面简称“扬州万方”)是“上海国产高性能处理器平台产业技术创新战略联盟”的核心成员,近几年来,在国家大力提倡自主可控和信息安全的大环境下,采用申威国产处理器研制了各类国产计算机、机架式服务器、刀片式服务器、大数据一体机等设备及相关系统。

 国产神威大数据机

        扬州万方基于申威处理器推出了国产神威大数据机。该大数据机集成1颗国产16核申威1610处理器,搭载国产昆仑或神威固件、国产虚拟机管理平台、国产中标麒麟系统或神威睿思操作系统,支持WFCloud云计算平台,支持Hive、HBase、神舟通用数据库以及南大通用GBase数据库,可构建全国产全类型大数据信息服务系统。

        国产神威大数据机标配64GB内存;具有20个可插拔SATA 2.0硬盘槽位,单盘容量2TB;支持RAID 0/1/5/10;集成4路10/100/1000Mbps自适应以太网。支持硬件虚拟化技术,单台大数据机最大支持三台虚拟机,虚拟机包含睿思虚拟机管理套件和睿思虚拟机操作系统,与主机系统兼容;基础开发环境支持SWGCC-4.5.3、Glibc-2.12等;JAVA环境支持SWJDK,兼容JDK7;支持SSH、Apache Web服务器、MySQL数据库等基础服务应用;系统还支持2个USB 3.0、2个USB 2.0接口;支持3路PCI-E Gen2扩展槽,1路PCI扩展槽。整机满配峰值功耗小于300W。

国产神威大数据机(正视图)

国产神威大数据处理系统

简介及特性

        国产神威大数据处理系统是扬州万方在国产大数据和云计算领域以国产神威大数据机为基础硬件平台,配套自主知识产权的WFFusion虚拟资源调度系统、WFCloud云计算平台和WFCloud数据库系统,构建的国产自主可控大数据系统解决方案。作为领先的分布式海量数据处理平台,支持TB级至PB级数据高速存储和检索,提供云计算平台接口,支持数据挖掘应用开发,支持数据的深度挖掘和商业智能分析。整机系统自主可控,集成度高,处理性能强,并具有以下特性:

1)高实时性:国产神威大数据处理系统在高效的WFCloud数据库系统的支撑下,可以实时的完成数据的分析处理,数据处理无队列拥塞,查询和分析在对应数据量上基本实现秒级操作;

2)高可靠性:国产神威大数据处理系统具有超高的可靠性,依托分布式处理架构,任意节点宕机时不会影响系统对外服务。具备自动容错,数据按比例分散在各个节点上,不会因为节点的丢失而出现数据丢失。分布式计算任务,在节点宕机后,系统自动切换并保留现有进度,保障任务的继续执行。

3)高可扩展性:国产神威大数据处理系统在不停止服务的情况下,支持一体机平台扩容和节点扩容两种在线扩容方式,扩容后系统处理容量和处理能力相应增加,数据均衡分布;

4)全业务支持:国产神威大数据处理系统配备WFCloud数据库系统,支持结构化和非结构化数据存储,海量数据可由数据库系统进行存储管理,全数据的存储和高效的数据检索,可以支撑全类型的业务应用。

系统构成

        国产神威大数据处理系统由基础硬件平台、WFFusion虚拟资源调度系统、WFCloud大数据处理系统以及运维管理系统组成。


国产神威大数据处理系统构成

        其中,基础硬件平台由国产神威大数据机和国产高性能交换组成,包含16台国产神威大数据机和2台48口国产高性能交换机,每台国产神威大数据机4个网口与交换互联,两台交换机通过光纤级联实现大数据一体机的内部互联。交换通过10Gbps光口进行系统扩展互联。


国产神威大数据处理系统一体机

        WFFusion虚拟资源调度系统可以最大程度的发挥国产神威大数据机性能,单台大数据机通过虚拟化技术可作为4个节点使用。

        WFCloud大数据处理平台包含WFCloud云计算平台和WFCloud数据库系统,其中WFCloud云计算平台提供大数据一体化解决方案,主要解决分布式存储和计算底层实现,将图算、机器学习、数据挖掘、实时数据处理等模型统一到一个平台下。WFCloud数据库系统在WFCloud云计算平台之上自主研制的大数据数据库系统,解决海量数据存储和海量数据高速检索两大难题。它利用Hadoop分布式文件系统,采用Spark内存计算替代Hadoop MapReduce,实现基于SQL on Hadoop(也称SQL on HDFS)的数据库系统,基于One Rule Them All的设计思想,统一所有数据类型,完美解决结构化和非结构化数据高效存储和检索。同时紧密结合国产申威平台,基于平台优化,充分发挥硬件性能,提升数据库性能。

        运维管理系统贯穿于整个国产神威大数据处理系统,用来管理和监控整个系统的运行,保障资源的高可用。运维管理系统提供基于Web的管理界面,此外具备基于Web的API,支持数据中心级系统管理集成。

解决方案

        国产神威大数据处理系统基于国产申威高性能处理器基础平台,搭载具有自主知识产权的WFCloud云计算平台和数据库系统,不仅安全可靠,而且还有丰富的应用接口,并根据具体需求定制系统配置,从而可面向不同应用场景提供稳定灵活的大数据、云计算解决方案。现已获得了较好的应用。


国产神威大数据处理系统解决方案

处理器情况

        扬州万方大数据机中所采用的申威1610处理器单芯片集成16颗64位核心,并集成了四路DDR3存储控制器和双路PCI-E 2.0标准接口,主频可达1.6GHz,双精度浮点性能高达204.8GFlops。

 

Copyright2016©上海高性能集成电路设计中心·All Right Reserved版权所有 沪ICP备11018195