大数据时代对地观测卫星的发展现状与趋势论文
一、前言
对地观测是人类利用卫星、飞船、航天飞机、飞机以及近空间飞行器等空间平台和地面、地下的各种传感器设备获取观测数据，结合各个学科的专业知识，对地面物体和地理过程进行监测和预测的科学活动，其目的是更加深刻和科学地揭示人类社会活动所依赖的地球环境和人地环境的规律和变化，增强人类对地球的利用和适应能力。对地观测研究工作具有非常明显的信息学特征。因此，除了地球科学方法论外，信息科学方法论也对对地观测科学活动有非常重要的指导意义。对地观测研究很大程度上是围绕着“信号—数据—信息—知识”的数字化信息过程来展开的，并构成了“信息获取—信息传输—信息存储—信息加工—信息挖掘—信息呈现”的数据全生命周期。
从信息科学的角度来看，对地观测领域知识发现的方法主要是确定模型分析方法。在遥感技术的发展初期，观测数据量较小，用于数据挖掘分析的理论和模型也不够成熟，因此更多是依靠专业人员的目视判读进行信息解译和勾绘制图，然后再利用其他学科的知识对获得的信息进行修正。这种方法显然不能满足日益增大的观测数据量和日益复杂的应用模式需求。在数据量不断增大、信息提取精度不断提高的情况下，依赖于计算机处理的数据分析新模式出现了。遥感信息反演的定量化成为对地观测信息深度应用的趋势，这种能力也随着计算机处理能力的提升不断提高，逐步满足了 MB(220 字节)、GB(230 字节)、TB(240字节)甚至部分 PB(250 字节)量级的数据分析和信息挖掘工作，从应用上解决了较大地理尺度上的复杂地学问题。提升计算机的处理速度和存储设备的规模已经成为解决观测数据量增大和信息模型复杂化所带来的问题的一个很好的途径。进入 21 世纪以后，对地观测技术又呈现出很多新的发展趋势，其中大数据的出现给对地观测的研究带来了全新的挑战和发展机遇。近年来，随着对地观测需求的增加和技术的进步，各种类型传感器获取数据的能力不断提高，使得国内外以专业化、行业化为特征的各类数据中心迅速崛起，对地观测领域成为数据密集型计算的一个典型应用。整个对地观测系统流程突出体现了“需求牵引—知识驱动”的概念和原则，形成了以社会需求为先导来发展对地观测卫星、传感器、平台、数据传输、信息处理、应用模型及相应科学理论的发展模式。
二、对地观测领域的大数据现象
在对地观测领域，各类分辨率的卫星产生的遥感信息无疑属于大数据。以我国遥感卫星为例，2008 年发射的风云三号 A 星搭载着 20 通道的中分辨率光谱成像仪和 10 通道的可见光近红外扫描辐射计，实现了对整个地球进行连续观测，随后与 2010 年和 2013 年发射的风云三号 B 星和 C 星组网，对地球开展每天 6 次的观测。卫星观测数据切割成 5 分钟段的数据文件，又将 250m 和 1000m 中分辨率光谱成像仪的数据分别存放，每天产生的数据文件和数据量均非常巨大。要管理、处理和分发这些全球数据需要运用“大数据”的方式，而且需要大量的数据科学家开展基础研究工作，研究算法，从数据中实时提取地球参数信息，进而为科研、业务的数据信息需求服务。这一事实充分说明了从海量遥感数据的获取、存储、提取与分发、数值处理，到数据挖掘和知识发现，对地观测活动的整个生命周期体现了大数据的“4V”特性：数据体量大 (volume)、数据来源和类型繁多(variety)、数据的真实性难以保证(veracity)、数据增加和变化的速度快(velocity)。
国际上，美国和欧洲处理和分发中分辨率数据较中国稍早几年，美国处理 MODIS 数据和产品的方式、欧洲处理 ENVISAT/MERIS 数据和产品的方式可为我们借鉴。由于美国没有 MODIS 的后续卫星计划，数据的供给将随着传感器的失效而终止。欧洲的 ENVISAT/MERIS 于 2012 年失效，只能提供 2002-2012 年间的数据。中国风云气象卫星规划已持续到 2020 年，因而，在未来几年，中国的风云卫星中分辨率遥感数据在国际上将是重要的数据源，向全球用户提供优质的数据和产品，将是中国数据科学家肩上的重任。
1. 观测平台和传感器的数据获取
遥感数据获取是由载有成像传感器的遥感飞行平台来完成的。遥感飞行平台的发展体现在：①先进的卫星对地观测系统，包括大型的综合卫星平台与小卫星星座;②先进的集成高—中—低空飞行作业的航空遥感平台;③全面一体化的对地观测综合系统。未来的传感器搭载平台将是由相辅相成的高中低轨道上的大小卫星平台和高中低航空平台组成的，天地一体化、全球性、立体和多维的观测体系。与此同时，对地观测传感器的数据获取能力将向着“三高”(高空间分辨率、高光谱分辨率和高时相分辨率)和全天候方向发展。遥感平台和传感器的技术进步使得获取的数据量大幅度增大。比如刚刚退役的 Landsat -5 卫星在其29 年的在轨工作期间，平均每年获取 8.6 万景影像，每天获取 67GB 的观测数据。而 2012 年发射的资源 3 号卫星，每天的观测数据获取量可以达到 10TB 以上。类似的传感器现在已经大量部署在卫星、飞机等飞行平台上，未来 10 年全球天、空、地空间中部署的百万计传感器每天获取的观测数据将超过 10PB。
2.天- 空- 地一体化的对地观测数据网络传输
巨大的观测能力需要通过覆盖天-空-地的高速数据传输网来实现对地观测平台和全球地面接收站网络之间的数据传递。这种传输能力要通过一个由光缆、地面微波、蜂窝移动通信和低、中以及静止轨道的卫星通信系统组成的、服务于全球的、无缝隙覆盖的、全球一体化的高速天-空-地对地观测数据传输网络实现。现在，单个传感器的信号下传速率已经突破了 Gbit/s。
3. 海量数据的快速处理
标准遥感产品的快速生成需要高吞吐量、高精度及自动化的分布式数据处理能力，以满足规模化、业务化的标准产品生产的要求。标准产品快速处理的突出特点是即时性和大吞吐量，兼有数据密集、计算密集的性质。海量遥感数据的处理需要利用庞大的网络计算资源，通过并行计算、分布式处理以及集群计算技术来实现网络化大数据量处理及多机分布式并行处理，以满足应用的需求。我们可以利用网格技术把分散在不同地理位置的计算机组织成一个“虚拟的超级计算机”，来提供高性能和高吞吐量的计算环境，为完成计算密集型任务提供有力的手段;同时充分利用网络上多种闲置计算设备的处理能力，完成传统计算模式下不能完成的各种大数据量的计算任务，从而保证标准产品的快速处理和生成。
4. 下一代空间数据设施
下一代空间数据设施建设将以全球尺度问题求解和多样化实体数据设施建设为前提，基于传统空间数据设施和联邦数据设施，通过松耦合形式建立一种非中心化、虚拟化、按需服务化和全球化的数据服务体系。分布在世界各地的各种对地观测数据中心，将在下一代空间数据设施的连接下，面向特定专题，与高性能的信息化设施结合，动态形成大量专业化的虚拟数据设施。这些设施不仅可以汇聚和提供超大规模的数据，还具备对数据进行深度加工和挖掘的计算能力。地球观测组织(GEO)所推动建立的全球综合地球观测系统(GEOSS)就是一种下一代空间数据设施，这种设施管理和处理的都是超大规模的对地观测数据和空间数据。
5. 数字地球与未来地球
作为和对地观测衔接的科学框架，数字地球是一个广泛的以信息高速公路和空间基础设施为依托的概念，其核心思想是用数字化手段整体性解决地球的各种科学问题，并最大限度地利用信息资源。未来的数字地球不再局限于进行地学数据的表达和呈现，而将成为一种对地球的各种学科的数据和模型进行综合分析的平台。同时，由国际科学理事会(ICSU)和国际社会科学理事会(ISSC) 共同发起的“未来地球”计划将多学科交叉研究推向更加重要的位置。不论数字地球还是未来地球，其多学科的高度数据复杂性是非常显著的信息特征。和常规的单学科研究不同，在这种综合研究场景中，信息技术要面对的是多学科复杂数据类型之间的数据建模、数据发现和数据整合问题。
三、大数据在对地观测领域应用的典型案例
大数据时代的对地观测技术为发展空间地球信息科学奠定了基础，从对地观测过程的信息学特征可以清晰地看到此领域大数据的发展趋势。但目前大数据研究普遍存在着“只有数据、没有利用”的问题，导致搜集数据、存储数据付出的成本被浪费。据报道，通过遥感卫星获得的影像数据中，目前得到应用的不到 5%，多半数企业不知如何从数据中获得价值，因此这个问题急需解决，下面将介绍一些国内外创新企业利用大数据技术为遥感图像应用找出路的典型案例，希望能够扩宽我们的视野并从中得到有价值的借鉴。
1.Digital Globle: 遥感图像 + 大数据分析助力寻找马航 MH370 迷踪
马航失联客机 MH370 去哪儿的问题，牵动着全世界的心。为了找出谜题的答案，寻回239名乘客的信息，各方为此动用了许多手段，包括直接分析飞机上设备发出的各种信号，卫星和雷达的天罗地网等先进的科技方式，调遣各类船只前往可能事故区域搜网式调查，可惜都无果而终，就在失联事件发生的 12 天后，澳大利亚宣布从卫星影像中找到了疑似马航 MH370 失联航班残骸，广袤的洋面找一架飞机如同大海捞针实属不易，虽然还未能确定残骸是否来自于 MH370，但在短短几天内在能够通过海量的卫星图片发现如此重要的线索可见其背后的数据分析能力之强大，支撑这一能力的正是大数据技术，快速定位残骸坐标体现了大数据技术在处理海量高分遥感图像上的速度优势，展示了大数据与遥感技术的融合将在灾难救援方面的关键作用。
2.Skybox Imaging：迈向大数据时代的商业遥感成像公司
Skybox 成像公司成立于 2009 年，目前员工不到 60人，是名副其实的“小”公司，但却在多轮融资中备受风投的青睐，麻省理工学院技术评论将其评为 2012年最具“摧毁性”的 50 家公司之一。
3. 禾讯科技：商业化卫星遥感服务现代化农业生产
农业是生命之源、发展之基。由于农业资源、环境及多样化的生产经营方式，农业大数据涉及到水、土、光、热、气候资源，作物育种、种植、施肥、植保、过程管理、收获、加工、存储、机械化等环节会产生大量结构化和非结构化数据，而且随着农业科技创新发展和物联网的应用，非结构化数据呈现快速增长的势头，其数量将大大超过结构化数据，为保障“舌尖上的安全”，利用大数据技术对不断产生的大批非结构化数据的信息获取、挖掘、存贮、处理与智慧应用是农业现代化不可或缺的手段。
四、大数据情境下对地观测研究的发展趋势
1.从量变到质变
对地观测领域的大数据现象，在不同尺度上对现有的技术水平提出了挑战。对地观测领域的大数据现象包括 4 个方面：①数据量剧增，已经达到 PB 量级;②数据类型多样，来自空基、天基的各种不同成像机理及数据获取方式、不同时空分辨率和光谱特性的传感器数据和地面台站的观测数据及实验模拟数据、统计数据等构成了纷繁复杂的数据类型;③应用场景众多，目前对地观测数据在气象、水文、能源、农林种植、工矿开发及灾害应急等诸多领域体现了其应用价值;④应用服务时间尺度多种多样，天气预报、灾害应急等需要实时或准实时的数据分发反馈，而地图测绘、土地变化等则需要中长期的对地观测数据，不需要高时效性。
2.多数据中心协同处理
传统的对地观测知识发现的科研模式在大数据情境下已经不再适用，原因是传统的科研模型不具有普适性且支持的数据量受限，受到数据传输、存储及时效性需求的制约等。因此，新知识正更多来自于大数据的使用，数据生命周期中信息学流程的变化正引发传统科研模式的变化。以“用户需求”为导向的对地观测活动，需要为有不同应用需求的用户提供恰当的数据产品及信息资源，要求对地观测数据实时处理及快速分发。实现这一目标的关键是多中心协同计算，通过构建分布式多中心计算环境，将大量松散绑定或独立的数据处理任务动态分配给闲置计算资源，实现资源动态调度及任务分配。目前需要解决的问题是如何实现有效地调度计算资源及跨异构系统计算时如何维持系统的高性能等。
3.模型驱动到数据中的知识发现模式
传统的数据生命周期信息学流程是从数据到信息，再通过模型进行知识发现。而随着数据量的爆炸式增长，可用模型已不能对海量数据进行模拟推演，因此由模型发现知识的传统方法已经不能适应大数据时代的需求。
4.多学科交叉的科学研究
全球性的资源、环境问题日益凸显，使得全球变化问题和可持续发展成为全世界科学家关注的焦点和研究的重点。全球变化的研究对象包括大气圈、水圈、生物圈、人文圈并涉及外层空间，需要理解并掌握这些圈层中各个要素之间的物理、化学、生物、人文的影响过程和规律，需要自然科学、社会科学和工程科学相融合的面向大数据的新科学研究方法，也需要科学数据和互联网数据之间的全新耦合和整合方法。
本文标签：
[!--temp.ykpl--]