地学大数据特征
- Non-repeatability
在空间和时间上是独一无二的
- Uncertainty
不同的观察和记录方法,以及间接观察和抽样
- Multi-dimensionality
广泛的数据源和复杂的分析方法
- Computational complexity
高度计算复杂度
地球大数据系统
- Google Earth Engine 、aws、EarthServer、EODC、Swiss Data Cube、Digital Earth Australia、CODE-DE、PEPS、Earth Explorer、Copernicus Open Access Hub、UMETSAT Data Centre、NSIDC、PANGEA
云计算服务
- 地球大数据分析的支柱是某种类型的分布式计算平台(例如云)。云计算服务大致分为四种类型(Yang 等人,2011 年)):
- 基础设施即服务 (IaaS)
- 平台即服务 (PaaS)
- 软件即服务 (SaaS)
- 数据即服务 (DaaS)
自我思考
- 云平台
摘要
- 破坏性因素是分析师和最终用户越来越依赖基于 Web 的工作流程。
HighLights
研究目标
研究内容
研究方法
结论
解决的问题
正文
- 数据立方体概念和数据立方体技术最近得到了普及,但它们是在 EO 数据以外的领域开发的(Nativi、Mazzetti 和 Craglia 2017)。除了在线下载门户,例如 USGS Earth Explorer 和 Copernicus Sentinel Hub,还有面向分析的解决方案,例如 Google Earth Engine (GEE) (Gorelick et al. 2017 ) 或 EarthServer (Baumann et al. 2016 )) 现在被专业社区使用。
- 尽管与 1990 年代相比,EO 数据分析工作流程的这些部分相对较新或利用了较新的基于 Web 的机会,但主要策略仍然是在本地处理下载的数据集。数据的巨大增长、云服务架构的激增以及最先进的 Web 技术的机会,现在使用户可以更轻松地访问遥感数据。
- 在 2016-2025 年 GEO 战略计划(GEO 2015) GEOSS 数据管理原则的制定概述了五个主要关键词:可发现性、可访问性、可用性、保存和管理。
- 地学大数据分析系统
Name | Funding | Data structure | Available data | Geographic coverage |
Google Earth Engine | Private | Container of 2D gridded raster bands | Satellite Imagery; Satellite-derived data products | Global |
Amazon Web Services | Private | Image files | Satellite Imagery; Satellite-derived data products | Global |
Earth Server | Private/public | Data cube | Satellite Imagery; Satellite-derived data products; Model outputs | Global |
EODC | Private/public | Image files | Satellite Imagery; Satellite-derived data products | Global |
Swiss Data Cube | Public | Data cube | Satellite Imagery; Satellite-derived data products | Switzerland |
Digital Earth Australia | Public | Data cube | Satellite Imagery | Australia |
CODE-DE | Public | Image files | Satellite Imagery | Global |
PEPS | Public | Image files | Satellite Imagery | Global |
Earth Explorer | Public | Image files | Satellite Imagery; UAS Imagery; Data Products; Digital Maps | Global |
Copernicus Open Access Hub | Public | Image files | Satellite Imagery | Global |
EUMETSAT Data Centre | Public | Image files | Satellite Imagery; Satellite-derived data products | Global |
NSIDC | Public | Raster data; point data; vector data | In situ data sets; Model outputs; satellite-derived data products | Global (specific focus on polar regions) |
PANGEA | Public | Raster data; point data; vector data | Satellite-derived Data Products; Model outputs | Global |
- 地球大数据的最新技术强调基于 Web 的处理而不是下载驱动的方法。
- 数据立方体代表了用于存储和分析大地球数据的新兴高效技术之一。
- 地球大数据的跨学科机会的增长速度几乎与数据量一样快。
- 云计算服务大致分为四种类型:基础设施即服务 (IaaS)、平台即服务 (PaaS)、软件即服务 (SaaS) 和数据即服务 (DaaS) (Yang et al. 2011)。IaaS 通过互联网提供可用于存储、备份或大数据分析的虚拟化计算资源,采用即用即付结构。PaaS 通过 Internet 提供应用程序开发、测试和交付所需的硬件和软件工具。Microsoft Azure 和 Google App Engine 是一些最受欢迎的 PaaS。SaaS 通常被称为“按需软件”,其中云提供商通过 Internet 交付软件应用程序,通常以订阅为基础。SaaS 的常见示例包括 ArcGIS Online (ESRI) 云实施、Microsoft Office 或 Google Gmail 和应用程序。DaaS 提供对数据发现、访问和利用的访问,包括解释数据所需的软件(Olson 2009;Yang et al. 2011)。
- 如果信息没有在正确的时间生成并与正确的人共享,那么研究本身就没有价值。除了科学论文之外,其他形式的成果共享也变得越来越重要,包括可访问性和全面的描述,例如在基于 Web 的环境中。
- 总体而言,多维和多时态数据、跨学科研究和新发展动态的庞大数量使得不同领域的专家和非专家用户之间共享结果、算法和知识变得至关重要。
- 使用地球大数据的社会影响正在迅速增长,并有助于为消费者打造一个更加透明的社会。
- 地球大数据的口号是“让用户看到数据,而不是把数据带给用户”,这种口号被广泛使用,并且大多是从技术意义上理解的。
- 单一数据源到空间和时间分辨率不同的多个数据源
- 多维和多时态数据、跨学科研究和新发展动态的庞大数量使得不同领域的专家和非专家用户之间共享结果、算法和知识变得至关重要。