📌

Big Earth data: disruptive changes in Earth observation data management and analysis?

Classification
数据存储
框架系统
Type
Journal Article
Magazine
International Journal of Digital Earth
Author
Martin Sudmanns
Published
March 14, 2019
Rate
⭐⭐⭐
Quick Note
地球大数据的发展
📌
地学大数据特征
  • Non-repeatability
    • 在空间和时间上是独一无二的
  • Uncertainty
    • 不同的观察和记录方法,以及间接观察和抽样
  • Multi-dimensionality
    • 广泛的数据源和复杂的分析方法
  • Computational complexity
    • 高度计算复杂度
🍎
地球观测数据存储和处理规范
  • 在 GEO 2016-2025战略计划(GEO 2015) 制定了 GEOSS 数据管理原则,概述了五个主要关键词:可发现性、可访问性、可用性、保存和管理
  • 地球大数据基于 Web 的处理的具体标准尚未制定(Big Data Value Association 2017),包括缺少算法跨平台应用、多级处理、不确定性的标准。预处理、时间序列分析,尤其是公认的分析就绪数据 (ARD) 定义(Egorov 等人,2018 年;美国地质调查局2018 年)。
  • “先时间,后空间”
  • “先空间,后时间”
🍀
地球大数据系统
  • Google Earth Engine 、aws、EarthServer、EODC、Swiss Data Cube、Digital Earth Australia、CODE-DE、PEPS、Earth Explorer、Copernicus Open Access Hub、UMETSAT Data Centre、NSIDC、PANGEA
 
💡
地球观测(EO)数据立方体
EO 数据立方体(或地理空间数据立方体,有时仅是数据立方体)来描述存储、组织、管理和分析 EO 数据的新解决方案(Baumann 等人,2016 年2018年b;Giuliani 等人。2017 年;珀斯等人,2015 年)。
📌
云计算服务
  • 地球大数据分析的支柱是某种类型的分布式计算平台(例如云)。云计算服务大致分为四种类型(Yang 等人,2011 年)):
    • 基础设施即服务 (IaaS)
    • 平台即服务 (PaaS)
    • 软件即服务 (SaaS)
    • 数据即服务 (DaaS)
🍎
自我思考
  • 云平台
 
 
🦐
摘要
  1. 破坏性因素是分析师和最终用户越来越依赖基于 Web 的工作流程。
🐖
HighLights
    🐖
    研究目标
      🐙
      研究内容
        🐬
        研究方法
          🐸
          结论
            🐥
            解决的问题
              🦊
              正文
              1. 数据立方体概念和数据立方体技术最近得到了普及,但它们是在 EO 数据以外的领域开发的(Nativi、Mazzetti 和 Craglia 2017)。除了在线下载门户,例如 USGS Earth Explorer 和 Copernicus Sentinel Hub,还有面向分析的解决方案,例如 Google Earth Engine (GEE) (Gorelick et al. 2017 ) 或 EarthServer (Baumann et al. 2016 )) 现在被专业社区使用。
              1. 尽管与 1990 年代相比,EO 数据分析工作流程的这些部分相对较新或利用了较新的基于 Web 的机会,但主要策略仍然是在本地处理下载的数据集。数据的巨大增长、云服务架构的激增以及最先进的 Web 技术的机会,现在使用户可以更轻松地访问遥感数据。
              1. 在 2016-2025 年 GEO 战略计划(GEO 2015) GEOSS 数据管理原则的制定概述了五个主要关键词:可发现性、可访问性、可用性、保存和管理
              1. 地学大数据分析系统
                1. Name
                  Funding
                  Data structure
                  Available data
                  Geographic coverage
                  Google Earth Engine
                  Private
                  Container of 2D gridded raster bands
                  Satellite Imagery; Satellite-derived data products
                  Global
                  Amazon Web Services
                  Private
                  Image files
                  Satellite Imagery; Satellite-derived data products
                  Global
                  Earth Server
                  Private/public
                  Data cube
                  Satellite Imagery; Satellite-derived data products; Model outputs
                  Global
                  EODC
                  Private/public
                  Image files
                  Satellite Imagery; Satellite-derived data products
                  Global
                  Swiss Data Cube
                  Public
                  Data cube
                  Satellite Imagery; Satellite-derived data products
                  Switzerland
                  Digital Earth Australia
                  Public
                  Data cube
                  Satellite Imagery
                  Australia
                  CODE-DE
                  Public
                  Image files
                  Satellite Imagery
                  Global
                  PEPS
                  Public
                  Image files
                  Satellite Imagery
                  Global
                  Earth Explorer
                  Public
                  Image files
                  Satellite Imagery; UAS Imagery; Data Products; Digital Maps
                  Global
                  Copernicus Open Access Hub
                  Public
                  Image files
                  Satellite Imagery
                  Global
                  EUMETSAT Data Centre
                  Public
                  Image files
                  Satellite Imagery; Satellite-derived data products
                  Global
                  NSIDC
                  Public
                  Raster data; point data; vector data
                  In situ data sets; Model outputs; satellite-derived data products
                  Global (specific focus on polar regions)
                  PANGEA
                  Public
                  Raster data; point data; vector data
                  Satellite-derived Data Products; Model outputs
                  Global
              1. 地球大数据的最新技术强调基于 Web 的处理而不是下载驱动的方法。
              1. 数据立方体代表了用于存储和分析大地球数据的新兴高效技术之一。
              1. 地球大数据的跨学科机会的增长速度几乎与数据量一样快。
              1. 云计算服务大致分为四种类型:基础设施即服务 (IaaS)、平台即服务 (PaaS)、软件即服务 (SaaS) 和数据即服务 (DaaS) (Yang et al. 2011)。IaaS 通过互联网提供可用于存储、备份或大数据分析的虚拟化计算资源,采用即用即付结构。PaaS 通过 Internet 提供应用程序开发、测试和交付所需的硬件和软件工具。Microsoft Azure 和 Google App Engine 是一些最受欢迎的 PaaS。SaaS 通常被称为“按需软件”,其中云提供商通过 Internet 交付软件应用程序,通常以订阅为基础。SaaS 的常见示例包括 ArcGIS Online (ESRI) 云实施、Microsoft Office 或 Google Gmail 和应用程序。DaaS 提供对数据发现、访问和利用的访问,包括解释数据所需的软件(Olson 2009;Yang et al. 2011)。
              1. 如果信息没有在正确的时间生成并与正确的人共享,那么研究本身就没有价值。除了科学论文之外,其他形式的成果共享也变得越来越重要,包括可访问性和全面的描述,例如在基于 Web 的环境中。
              1. 总体而言,多维和多时态数据、跨学科研究和新发展动态的庞大数量使得不同领域的专家和非专家用户之间共享结果、算法和知识变得至关重要。
              1. 使用地球大数据的社会影响正在迅速增长,并有助于为消费者打造一个更加透明的社会。
              1. 地球大数据的口号是“让用户看到数据,而不是把数据带给用户”,这种口号被广泛使用,并且大多是从技术意义上理解的。
              1. 单一数据源到空间和时间分辨率不同的多个数据源
              1. 多维和多时态数据、跨学科研究和新发展动态的庞大数量使得不同领域的专家和非专家用户之间共享结果、算法和知识变得至关重要。