美军从上世纪60年代起就认识到数据共享和集成管理的重要性,投入大量资源进行数据建设,并于1997年提出“大数据”的概念,自伊拉克战争爆发后不断在实战中探索“大数据”的运用。美军认为,太空态势感知是控制空间、掌握制天权的根本前提,快速高效地获取空间“大数据”是控制空间、掌握制天权的关键。为此,美军建立了完善的太空态势监视系统,包括地基主动红外激光雷达和分布式相控阵雷达、光电深空望远镜和天基空间目标监视系统等。
然而,空间“大数据”为美军提供便利的同时,也带来了诸多困扰和挑战。美军在近几场战争和非战争军事行动中,各级指挥系统均不同程度地遭遇到空间“大数据”的困扰。在这些行动中,数据“难以用现有的数据库管理工具来驾驭,困难存在于数据的获取、存储、搜索、共享、分析和可视化等诸多方面。”
一是空间“大数据”的数量呈现爆炸式增长。美军各级指挥机构及作战部队在军事行动前可同时得到5个渠道的战场数据支持,即:国家情报系统提供的战略及战术情报数据,远程侦察监视系统自动报告的数据,作战部队蓝军跟踪系统自动报告的数据,相关数据库自动报告的数据,全球资源系统、训练系统及其它资源产生的数据等。不仅如此,美军还大量采用商用数据,使用“数字地球”和“地球眼”提供的卫星图像,利用谷歌地球和影视业提供的数字图像产品。因此,美军各级指挥控制机构所获得的数据已经不能以通常的G和T为单位来衡量,而是要以P(1024个T)或E(1024个P)来计算。
二是空间“大数据”的高效存储和高速传输压力巨大。经过多年的全球信息栅格基础设施建设,美军的网络传输能力已达到空前水平。但是,由于各类侦察卫星、测绘无人机、激光雷达等军事测绘传感器每天都要采集大量的情报数据,海量数据不仅在重要关头阻塞了关键网站,更使指挥官和参谋人员陷入了信息的“海洋”。数据无法及时转变成为明晰易懂的报告和指令,严重影响了作战效能,阻碍了作战进程。这就需要提供虚拟化存储技术和超大容量数据高速传输技术,解决空间“大数据”的组织、管理、存储和传输等问题。
三是空间“大数据”与通用情报进行融合的难度巨大。为了提高效率,美国陆军作战指挥系统需要访问最新的、精确的和存储于共享和分布式地理空间数据库的通用地理空间数据,这些数据构成通用作战图的基础。由于空间“大数据”包含物体及其相对地球表面的结构化数据,其格式繁多、数据量庞大,处理困难,严重制约着通用情报的融合。要实现基于网络的数据、信息和情报共享,就要求地理空间位置、时间参考框架以及测试度量标准一致。因此,美军需要制定并推行与之相对应的量测方法和度量标准,并建立与C4I、情报单位和作战部队的紧密联系。
四是现有数据架构无法满足快速决策要求。大量的网络服务从单一的文字形式转向图片、语音和影像等多媒体形式,促使数据量大增。在这种大背景下,美军现有数据架构不仅仅要处理、存储“结构化”数据,还要应对各类报表、图片、文档、文本、音视频、可扩展标记语言和超文本标记语言等“非结构化”数据,因此读取和处理效率也越来越低。长期以来,美军各级指挥控制机构及专业人员要时刻面对数据超载的巨大压力,由于需要处理的数据量太大,以致耗费大量时间。
而实际上,美军各级侦察机构使尽浑身解数收集来的信息中,有相当一部分从未经过彻底分析,因此这些数据也就从来没有派上过用场。地理空间数据、影像和影像情报、视频情报等富媒体数据不像电话簿那样,可以用二维数据来表达,它们属于非结构化数据。现有的数据架构在“大数据”之下更是搜索困难、速度缓慢,无法满足快速决策的要求。
为此,美军地理空间部门把重心放在虚拟存储技术上,着力解决空间“大数据”的存储、网络传输和服务问题,目的是以更大的数据量、更多的数据种类和更短的响应时间,提供更快、更好的地理空间信息和影像。同时,为了推动空间“大数据”的应用,美国国家安全局正在兴建一座超级情报数据中心,用于存储国家安全局的侦察卫星、无人机、海外侦察站以及遍布全美电信设施的监控中心所收集的海量情报数据。
此外,美国情报界正在研发一些能抓取“谷歌地球”图像的空间“大数据”处理工具,美国海军和海军陆战队也在试验一种被称作“语义维基”的“大数据”分析方法,可以搜索视频、情报以及卫星影像,还可加入视频流。而更有发展前途的是 “防务情报信息企业系统”,它利用空间“大数据”技术,从众多传感器和数据库中收集、处理、分析信息,提高数据处理的效率。