Res DL1:深度学习简介

论文地址： https://www.nature.com/articles/s41586-019-0912-1 下一阶段，解决地球系统科学问题将采用混合模型 - 包含物理过程的模型和许多data-driven机器学习模型相结合。 地球系统数据满足"big data"的4V特征：volume, velocity, variety, and veracity. 未来的两项主要任务： 1）从海量数据中提取信息 2）发展模型从数据中学习更多（优于原先的数据同化方法） Part 1: 机器学习在地学领域的最新进展 最早采用神经网络和高分辨率卫星数据对地表覆盖类型和云进行分类；而后机器学习方法应用在地学和遥感问题中。而在过去几年，深度学习被用来挖掘数据的时空结构。 除分类问题外，机器学习在回归问题上的表现也很成功。对土壤性质和特征的预测，biogeophysical参数，这些相对静态。而机器学习也能学习动态的特征，比如用ANN预测CO 2 _{2} 2 ​ 通量的昼夜和季节波动；用data-driven方式估算全球陆地photosynthesis和ET。这些机器学习预测结果的空间、季节、年际或年代际波动通常被用来benchmark机理地表模型。 caveats and limitations: 外插或采样偏差；用因果关系解释统计结果；多重假设检验问题。 经典的机器学习方法有赖于人为提取特征，对时空特征挖掘的并不全面。 Part 2: 深度学习在地学领域中的机遇 对极端天气如飓风的探测，DL可提取空间特征来定义和区分极端事件，该方法可快速检测，毋需人为主观标注。基于遥感数据，采用DL自动提取特征来对划分urban区域，准确率超过95%。 DL分为序列学习和空间学习，但两者也可结合。 计算机视觉和地学领域problem有共性（见下图）。 Part 3: 深度学习在地学领域中的挑战 有共性也有很大差异。计算机视觉领域图像识别，仅RGB三个通道； 地学领域，高光谱遥感影像，数据量巨大。地学很多数据没有被labeled，一是因为数据量巨大，二是因为label本身过程的困难，识别一只猫要比探测干旱事件要难。地学问题还会受到外插的困扰。 地学领域五大主要挑战： 1）解译性 解译性不足是DL一大不足，但现在ESM的复杂结构也影响了它自身的可解译性。 2）物理上的一致性 DL可以很好的fit观测，但会因为外插或观测偏差的影响，预测往往是不一致的。 3）复杂且不确定的数据 变量间的因果关系不是很确定，可用贝叶斯方法解决模型的不确定性。 4）label的有限 非监督和半监督方法 5）计算的需求 比如google earth engine。 DL将会是地学领域中分类和预测空间-时间结构的主要方法。除了使预测最优，如何使模型能最大限度地从数据中学习，同时考虑物理和生物理论是更为挑战的一项任务。一个可能但尚未得到验证的方法是将机器学习与机理模型整合。 Part 4: 与机理模型的结合 两类模型是互补的。 1）改进优化参数 不按PFT指定植被参数，而是从一些合适的statistical covariates中学习。一个例子，流域环境参数是通过学习几千个流域观测数据的表现然后放入hydrological model。 2）用机器学习模型替代机理子模型 对于一个半经验行的子模型，理论基础很少，同时有大量相关观测数据，这部分可被机器学习模型替代。 3）分析模拟和观测mismatch部分 机器学习可以探测到机理模型与观测不符的部分，有助于机理模型的改进。也可以校正动态变量的模拟偏差。 4）子模块constraining 采用机器学习的输出来驱动子模块，解决耦合的子模块之间误差传递。这有助于简化和减少模型参数校正的偏差和不确定性。 5）surrogate modelling或emulation machine learning emulator快于原来的机理模型，准确性不会损失太多，有助于快速敏感性分析，模型参数校正，得到估算置信区间。 考虑到机理模型的复杂，emulation能够用于检验机器学习和深度学习外插能力。 将机器学习整合到一个系统模型中：整体network的设计，对于优化过程使用的损失函数，加physical constrain（可避免物理意义上不合理的预测）；或训练数据在欠采样地区的扩展。 physical aware的机器学习模型对于过拟合处理的更好，尤其是中低体量的数据。 机器学习和机理模型的融合：概率编程（probabilistic programming）和可微分编程（differentiable ...