[01825383]大数据存储优化与复杂分析关键技术研究

项目名称：大数据存储优化与复杂分析关键技术研究 起止年月：2013年6月--2014年6月技术原理 该项目主要结合关系数据库高性能和MapReduce高可扩展性两者优点,设计优化查询器,大大提高查询执行效率,引入内存分析技术,大幅提升大数据分析系统的执行性能,为PB级甚至EB级数据的复杂分析提供技术保障,融合非共享集群MPP和MapReduce架构,具有高性能、高扩展性、高容错性和非结构化数据处理能力。 性能指标 支持大数据管理,容量不小于200TB,可扩展至PB级;支持异构存储设备;支持并行数据库处理和查询优化,支持1000个并发访问;支持非结构化数据处理;性能优化后,查询执行效率提高10倍;分布式节点个数达到100个。1.融合非共享集群MPP和MapReduce架构,提出新的大数据统一分析平台体系结构,同时具有高性能、高扩展性、高容错性和非结构化数据处理能力,在各个类型数据之间建立必要的联系,对其进行联合分析,获得更全面的数据分析结果。 2.设计MapReduce查询优化器,将Map函数和Reduce函数重写成优化的SQL查询语句,并利用数据库索引执行查询,大大提高查询执行效率。 3.将内存分析技术引入高性能大数据分析系统中,大幅提升大数据分析系统的执行性能,为PB级甚至EB级数据的复杂分析提供技术保障。技术成熟度评价为8级;适用于大数据存储优化与复杂分析。项目成果已在住建和公安行业得到应用,取得了较好的经济和社会效益。 无