📌

基于时空信息云平台的空间大数据管理和高性能计算研究

Classification
框架系统
Type
博士论文
Magazine
博士论文
Author
宋炜炜 昆明理工大学
Published
May 10, 2015
Rate
Quick Note
🦐
摘要
    🐖
    研究目标
      🐙
      研究内容
        🐬
        研究方法
          🐸
          结论
            🐥
            解决的问题
            1. 对这样大量的数据进行查询、检索、分析计算时,受到存储管理方式和传统服务器串行计算方式的影响,计算效率难以满足各行业对地理信息高效、快速的需求,这些问题主要表现在下几个方面:
            1. 数据呈现出多源、多尺度、多分辨率、多时态(3D+ time)的特征
            1. 主要存在有效存储管理,对海量存量数据的存储及对快速増长的增量数据的扩展支持的问题,急需采用高效的、可扩展的存储架构和技术来解决地理信息大数据的存储管理问题。
            1. 在地理空间科学中,数据密集型问题主要包括以下几个方面
              1. 多维度:大部分的地理空间数据都在具有特定的空间投影和地理坐标系统,其组织形式上都超过二维。
              2. 数据量大:大量地理空间多维数据通过不同的渠道生产或收集,这些数据达到并超过了TB或PB级。
            1. 计算密集问题是指基于海量空间数据的处理分析算法和模型随着观测数据范围和数量的増加及所描述的地理现象或时空演变规律变得越来越复杂,必须借助计算机进行计算,由于其计算规模大、算法复杂,要执行这些计算并获取结果需要很长的时间,并且通常由于计算的规模过大、算法过于复杂等原因,容易超出目前计算机的处理能力。
            1. 传统的计算模式下,采用了单机服务器进行串行计算,人们为了提高处理速度和计算能力,不断研究提升服务器的性能,例如:2013年,国际TOP组织公布的全球超级计算机排行榜中,中国国防科学技术大学研制的"天河二号"超级计算机峰值计算速度5.49亿亿次/秒,持续计算速度3.39亿亿次/秒的双精度浮点运算性能获得排名第一[16],但是,这样昂贵的计算设施不是一般的组织或者用户可心文拥有和使用的,且其计算能力在横向扩展时非常困难,几乎己达到服务器处理能力的极限。这些计算能力上的缺陷极大地限制了地理空间科学和应用的发展。为解决计算密集问题,需要采用新的计算框架,这个框架应能满足大规模、复杂的空间计算所需要的汁算资源,并能按需扩展。
            1. 越来越多的地理空间信息处理应用发布到互联网,并且随着Web和无线设备的广泛使用,使得大量的终端用户通过互联网访问地理空间信息系统,为地理信息服务带来了高并发访问的问题。
            🦊
            正文
            1. 伴随着IT技术、物联网技术和云计算技术的发展,将数字地球的成果与物联网整合起来,即可走向智智慧地球。
            1. 云计算研究现状
              1. 云计算定义
              2. 云计算发展历史
              3. 云计算技术特征
              4. 云计算架构
              5. Mapreduce计算框架和HDFS分布式文件系统
            1. 空间云计算
            1. 地球物理应用
              1. 煤炭资源开采
              2. 城市物探
            1. 云计算的优点(释放资源、资源合理利用)
              1. 一切都是资源,并通过网络服务的方式提供给用户
              2. 资源弹性扩展
              3. 资源池
              4. 按需自服务
              5. 资源服务可计量
            1. 私有云、公有云、混合云
            1. 支持空间大数据挖掘和决策支持
            1. 虚拟化技术
            1. 许多传统算法被用于云资源调度研巧和应用,如遗传算法、蚁群算法、模拟退火算法、贪婪算法等
            1. 自动伸缩和负载均衡
            1. 通常,只有专业的地理科学领域的专业人员才知道如何将原始的地理空间观测数据加工生产成相应的地理信息产品,这极大地限制了地理空间科学研巧和应用的发展
            1. 随着互联网的发展,越来越多的地理信息数据和服务被发布到互联网上,这些数据服务和信息服务被封装成WEB服务的方式提供,它们么间的地理信息共享和互操作需求日益迫切;另一方面,用户根据自身特定的任务需求,需要将不同的GIS WEB务组合起来,加上用户任务的特定逻辑,才能完成复杂的地理空间数据处理和服务目标。
            1. 大数据管理和应用带来的挑战
              1. 大数据时代的到来为信息技术发展和各行业的应用带来了新的思路和方向,但是这些数据要经过存储、处理、分析后才能为各类应用使用,这些要求对传统的技术架构和方法提出了新的挑战
                1. 大数据的存储和管理
                2. 大数据并行计算
                3. 大数据挖掘技术
            1. 大数据关键技术
              1. 分布式文件系统
              2. 并行计算框架
              3. NoSQL技术
            notion image
            notion image