哪些设计影响了mpp and smp in tidbDB的可扩展性

您的位置:
国产MPP数据库集群,支撑行业大数据应用
[导读]大数据时代,多种架构支持多类应用成为了数据处理技术发展的新思路。这一思路造就了目前数据库市场NewSQL、NoSQL、OldSQL三分天下的格局,其中NewSQL成为了行业大数据处理的理想数据库架构。
  ,多种架构支持多类应用成为了数据处理技术发展的新思路。这一思路造就了目前市场NewSQL、NoSQL、OldSQL三分天下的格局,其中NewSQL成为了行业处理的理想数据库架构。在新型数据库领域,国内市场能够与国外厂商直接竞争的厂商就数南大通用。南大通用自主研发的GBase 8a MPP Cluster是能够支撑PB级行业大数据分析类应用的国产新型数据库产品。日,GBase 8a MPP Cluster迎来了具有里程碑意义的新一代版本发布。
  专注行业大数据分析的MPP数据库
  区别于大数据,支撑行业大数据的软件资源较为欠缺,尤其是数据库方面。GBase 8a MPP Cluster是南大通用自主研发的国产MPP数据库集群产品,主要应用于行业大数据的分析场景。所采用的MPP技术,代表着大规模并行计算,具备高性能和性等特点。
  区别于共享,该产品采用了无Master的Shared Nothing架构,每一个均使用本地资源,节点对等扁平架构,具有良好的横向扩展能力。加之列存储、粗粒度索引等多项大数据处理技术,结合MPP高效的分布式计算模式,能够完成对PB级结构化数据分析类应用的支撑。
  日发布会上,南大通用武新博士对GBase 8a MPP Cluster充满信心。他表示:“这款产品在设计之初,就定位于细分数据库市场,将数据分析作为主要的发展方向。随着大数据的到来,国产MPP数据库的价值将得以体现。GBASE数据库未来将实现对结构化、半结构化、非结构化数据处理的全面支持。”
  图1 MPP数据库架构图
  新版MPP数据库:更高、更快、更稳定
  新版MPP数据库在技术层面已经达到国外主流数据库水平,性能较之前提升近一倍,且更加稳定易用。对于用户来说,产品保证了数据处理的强一致性、有效集成及统一查询,实现系统的持续可用。新版MPP集群增强了部分功能特性:如行列混存,高精度Decimal,自动安装部署、升级等;提升并行、并发能力;数据强一致性;7*24高可用服务:支持集群锁、HA等;异构数据集成能力:兼容、支持DBL内置全文检索;超越100节点集群部署;自动故障诊断与修复;多平台支持。
  针对GBase 8a MPP Cluster新版特性,武新博士通过几个数字进行了描述:“新版产品的研发投入达到千万级水平,南大通用经过3年的磨练,打造出国产MPP数据库里程碑式的稳定产品。新版本加入了120多项新功能,主要目标是有效支撑PB级的行业大数据应用及级数据仓库。”
  谈到大数据很多人会想到。武新博士指出:“GBase 8a与Hadoop拥有不同的技术来源。GBase 8a基于传统的关系型模型进行开发,采用C++等语言实现,同时吸收Hadoop的,使其从架构上更加完善。应用更为成熟,与Hadoop相比有着更强的数据一致性。”在谈到未来产品规划时,武新博士表示:新型数据库将逐步与Hadoop生态系统结合混搭使用,用MPP处理PB级、高质量的结构化数据,为应用提供丰富的SQL和事务支持;用Hadoop实现半结构化、非结构化数据处理。这样可满足行业对全数据处理的需求。
  图2 MPP与Hadoop技术融合架构图
  布局优势行业,产业链合作共赢
  从行业应用角度来看,GBase 8a涵盖了四类大数据分析应用:第一是管理类应用,主要针对企业运营产生的数据,例如电信行业的用户话单,流量日志等;第二是决策分析类,较为典型的是金融行业的审计系统;第三是监管类应用,如食品安全所产生的数据;第四是专业类应用,如地震数据,卫星传感数据等。
  GBASE数据库凭借技术先进、功能强大、性能稳定和安全实用的数据库产品,已为以“两张网、三桶油”为代表的300多家大中型企业、“中移动研究院”为代表的“三大电信运营商”43个省级分公司、“银监会”为代表的17个金融、“公安部”为代表的个党政部委,共计550多个不同行业领域的客户带来大数据的商业价值,帮助客户实现持续增长与盈利。
  在打造中国大数据产业链方面,南大通用已经与、、中兴、荣之联、亚信联创、中信网络等集成与应用开发商形成产品与项目级合作,与浪潮、、曙光等硬件厂商进行软硬件适配及开发合作。同时,南大通用是中关村―滨海新区大数据产业技术创新战略联盟理事单位,一直于推动中国大数据产业发展。
  新版MPP数据库集群的发布,标志着GBASE向大数据分析领域的又一次里程碑式迈进,其技术实力已经达到与国外厂商同台竞技的水平。在大数据浪潮的推动下,南大通用作为国内市场占有率最高的国产新型数据库厂商,将凭借技术积累与本地优势进一步发展壮大,带领国产基础软件突破行业垄断。
  GBASE国产MPP数据库产品发布详情可参考:http://e..com/GBase/
  GBase 8a MPP Cluster新版技术特性介绍:/3/.shtml
关键字:MPP数据库集群 南大通用 行业大数据 应用
[责任编辑:京琦]
频道最新更新
频道热门文章
经历过日本地震,我们急需对业务持续性管理着重关注。
比特网数据中心虚拟展厅下设服务器性能优化厅、存储整…
“三高一低”给家电制造企业带来的就是利润空间越来越薄……
当移动互联网这一乱世,遭遇到长城会这一良机,会有怎样的规则……
请输入邮箱订阅您选择的电子杂志:
企业信息化周刊
比特网信息化周刊为您全力奉献信息化领域每周热点新闻、时事评论、案例点评、产经动态等内容。独家点评各类热点新闻,带给您不一样的视角感受。
新闻中心热点推荐
在如今这个信息爆炸的时代里,每天都会有数不清的新闻通过各种渠道涌到我们面前,而真正有价值的应该进入我们心里的,却很可能随着日历牌的翻动被我们忽略。作为对一周新闻进行回顾的《比特网新闻中心每周热点推荐》,就是要告诉您过去的七天都发生了哪些新闻,更希望和您一起,站在七天的高度来看待过去一周的新闻。
比特网博客新闻周刊
以最快速度追踪业界热点新闻,以最全面的视角解读业界的新鲜事,以最互动的方式来倾听最广大网民的声音,打造“最快、最丰富、最好看”的一周热点评论。
数据中心热点播报
业内首个只为报道数据中心资讯内容的专业频道,是为数据中心用户及厂商而建设的专业平台。以数据中心专业技术内容为核心,贯穿新鲜资讯、技巧方法和用户案例等高附加值内容。以为网友提供最具实用价值的信息为原则,以成为用户最信赖的行业专家为目标,打造高时效、高品质、高前瞻的最全威频道。企业数据中心热点播报,为您精心奉上过去一周数据中心最精彩、权威资讯_chinabyte比特网。
chinabyte商业智选
比特网商用电脑携办公自动化频道,倾力打造最权威的企业办公设备采购指导中心和软硬件整合资讯中心。为您提供第一手的专业化资讯及深度分析,帮助商用个人与企业用户实现商务智选。
chinabyte网络周刊
向企业网管员以及网络技术和产品使用者提供关于组网、建网、网络管理、网络运维等最新技术和实用技巧,帮助网管答疑解惑,成为网管好帮手。
chinabyte服务器周刊
就服务器和数据中心领域的产业动态、技术热点、热门产品、实用技巧,向企业CIO/CTO、IT管理层、技术人员提供一周精选套餐,为数据中心决策者、使用者提供一份服务器行业以及数据中心领域最新动态及产品应用的技术套餐。
chinabyte软件视界
以数据库和管理软件为重点的全面软件产业热点、应用方案推荐、实用技巧分享等等。
chinabyte存储周刊
就存储和虚拟化领域的产业动态、技术热点、热门产品、实用技巧,向企业CIO/CTO、IT管理层、技术人员提供一周精选套餐。
chinabyte安全周刊
向企业信息安全专业人士提供安全领域最新的热点技术、热门产品、实用技巧、安全漏洞和木马病毒下载。
Copyright (C) 1999-, All Rights Reserved 版权所有 天极网络
渝ICP证B2-号 商务联系、网站内容、合作建议:010-
Powered by 天极内容管理平台CMS4i
比特网注册用户请直接登录
记住我的登录状态
使用公用电脑请勿选择该项
没有比特账号?国产MPP数据库新版发布
南大通用高级副总裁兼CTO
法国奥尔良大学和国家科研中心博士
南大通用GBase 8a数据库总设计师
世界顶级的Oracle数据库专家
获得中组部实施的国家“千人计划”荣誉
此次发布会采用在线专题视频直播的形式,您只需通过网络即可体验发布会全程。届时我们将会通过新浪微博与您互动,对于MPP数据库技术的任何问题,都可以在专题的互动区域留言,南大通用技术专家在发布会当天会解答您的疑问。
产业合作伙伴心声
高性能获主流软件厂商高度认可
――用友分析型数据引擎yonyou AE
用友软件股份有限公司
用友公司成立于1988年,是亚太本土最大的管理软件和中国领先的企业云服务提供商。中国及亚太地区180万家企业与机构通过使用用友软件和企业云服务,实现精细管理、敏捷经营。
yonyou AE和GBASE进行合作,采用GBase 8a列式数据存储引擎。双方共同基于UAP的客户群进行优化,达到快于其他传统存储引擎10倍以上的效率。将ERP、CRM等业务系统的结构化数据通过UAP的ETL工具,整合到GBase 8a中,用以建立基于UAP的数据立方体和多维数据库。
国产软硬件一体化支撑金融业关键应用
――浪潮天梭K1融合GBase 8a
浪潮集团有限公司
浪潮是中国领先的云计算整体解决方案供应商,涵盖IaaS、PaaS、SaaS三个层面的整体解决方案服务能力,凭借高端服务器、海量存储、云操作系统、信息安全技术打造领先的云计算基础架构平台。
浪潮和南大通用在银监会“现场检查信息系统”项目中密切合作,研究和验证了国产关键应用主机天梭K1与国产分析型数据库GBase 8a产品的兼容性,并完成了双方的互相认证,解决了国产关键应用主机与国产基础软件的适配和性能优化问题。
提升大数据平台整合竞争力
――荣之联选用国产MPP数据库
荣之联科技股份有限公司
荣之联成立于2001年,深交所上市公司,是国内领先的数据中心解决方案和服务提供商。荣之联在大中型数据中心建设与服务方面积累了丰富的经验,形成了全产业链管理、跨平台操作的专业化服务体系。
在电信经分系统、智慧城市建设等大数据项目中,荣之联非常重视数据平台的先进性和可靠性。经过多轮筛选,最终选用基于MPP+Shared Nothing架构,具备大规模并行计算能力的GBase 8a分析型数据库,作为荣之联大数据平台架构中支撑高效结构化数据分析查询的核心数据库。
高性能风控数据存储与管理
――GBase 8a支撑招行鹰眼系统开发
中信网络科技股份有限公司
中信网络科技于2001年在北京成立,始终致力于为中国金融机构、政府、大中型企业信息化建设提供可信赖的专业服务和解决方案。公司业务主要涵盖应用软件开发、系统集成、IT服务和IT咨询服务。
招行鹰眼系统采用多台PC服务器集群支撑百TB级别海量数据存储与管理。系统业务复杂,数据模型采用存储过程实现,并发用户数高达200。在系统的设计开发过程中,南大通用技术团队对现场问题快速响应,最终保证该项目的顺利实施与上线。
GBase 8a商业价值
查询分析类性能提升10-100倍;GBase 8a具备高效的数据处理能力,能够提升查询分析类操作性能
存储空间节省50%-90%;GBase 8a能够提供高效的数据压缩存储功能,压缩比可达1:5至1:20
软硬件投资节省50-90%,节电30%-50%;能够帮助用户降低信息化项目的建设投资
支持云计算架构,横向扩展能力;GBase 8a支持云计算架构,具有成本低、规模大、速度快等特点
集成全文检索,管理半结构化数据;内嵌全文检索功能,可以通过SQL语言直接执行无需额外购买
非结构化数据的结构化提取和转化;通过UDF扩展机制,集成多种类型非结构化数据扩展模块
统一处理结构化、半结构化和非结构化数据;GBase 8a具备行业大数据应用的全数据处理能力
GBase BI,可视化的分析平台;GBase BI帮助用户实现可视化的数据即席查询方式,简化了操作难度
GBase 8a行业案例
GBase公司介绍
GBase 8a 技术白皮书
GBase 8a MPP Cluster白皮书
GBase 8a商业价值白皮书
GBase 8a案例集
南大通用公司简介&&>&&&&>&&
MPP数据库技术支撑电信行业大数据应用  来源:  作者:在大数据时代,数据爆炸式的增长,单个SMP系统已经无法应付数据增长所带来的巨大压力。随着网络技术的发展,PC服务器的“小型化”以及Linux系统的成熟,基于MPP架构的新一代数据库技术成为各行业用户的首选。电信行业作为国家重点行业,引领着IT技术的发展方向和潮流,在高并发业务处理、海量数据分析等领域有着迫切需求,而MPP数据库技术作为未来主流的数据库技术,通过分布式并行计算、动态扩展等技术,能够在大规模事务处理和大数据分析等多种场景,满足电信业务需求,提升电信行业的服务支撑能力,真正实现低成本、大容量、高性能和高弹性。
电信行业大数据技术架构
电信行业大数据包含着大量的信息,需要通过大数据技术支撑数据价值的深度挖掘,为社会提供更多的信息便利。电信行业大数据主要面临数据规模大、关联查询复杂、即席查询多三方面的问题,在国内,电信行业解决上述问题的主流思路是:以基于MPP架构的新型数据库集群(如南大通用GBase 8a MPP Cluster)作为大数据处理平台的核心,管理结构化大数据,实现对海量数据的存储、分析等操作,支撑电信行业大数据分析类应用。使用基于Hadoop的数据处理技术管理非/半结构化大数据,并用事务型数据库(如南大通用BC-RDB系统)支撑在线业务系统,这两者同时为MPP架构的新型数据库集群提供数据支撑,实现面向全数据的电信行业大数据处理平台。
在国家的大数据战略的背景下,电信行业复杂多变的大数据应用场景引发了对开发和使用基于MPP架构数据库的强劲需求,南大通用作为国内数据库行业的领导者,是国内最早研发MPP技术和产品的数据库厂商,在电信行业拥有丰富的经验,成功帮助各大电信运营商实现业务系统的搭建和系统支撑能力的提升。南大通用在MPP技术领域的核心产品主要是面向大数据分析处理的GBase 8a MPP Cluster。该数据库集群凭借大规模并行处理、列存储、自适应压缩和智能索引等核心技术,与国际主流产品技术同步,并在各大电信运营商均有成功案例,应用覆盖上海、广东、山东、四川、辽宁、云南、安徽、天津等多个省份,为客户带来节省存储、高扩展性和服务提升等价值。南大通用通过在电信大数据领域的不懈努力,帮助电信客户挖掘数据的价值,提升服务水平,实现更大的社会价值和商业价值。关键词:

我要回帖

更多关于 mpp and smp in tidb 的文章

 

随机推荐