海洋大数据的内涵、现状与发展趋势展望

灰暗的星星灰暗的星星灰暗的星星灰暗的星星灰暗的星星
 

海洋孕育了生命,联通了世界,促进了发展。当今,海洋已成为世界沿海各国争取和实现发展利益极其重要的战略空间。党中央国务院高度重视海洋工作,提出了“建设海洋强国”的战略目标。我国现已具有海洋观测、调查、监视监测、卫星遥感、统计核算、预测预报等多种海洋及泛海洋数据信息获取手段,快速积累了海量的海洋自然科学数据及商业金融、旅游、交通、海洋经济、海洋生态、海洋舆情、海洋文化、海洋战略等海洋社会科学类数据,海洋已进入大数据时代。习近平总书记在2017年12月8日主持中共中央第二次集体学习时强调:“大数据发展日新月异,我们应该审时度势,精心谋划,超前布局,力争主动,深入了解大数据发展现状和趋势及其对经济社会的影响”。海洋大数据发展从时代背景到战略部署,正处于一个前所未有的双重机遇期,发展海洋大数据是因势而动、顺势而为。深刻理解海洋大数据的内涵和外延,把握海洋大数据发展“脉搏”,超前布局国家海洋大数据建设,对于促进海洋高质量发展、实现海洋强国战略目标具有重要意义。

 本图来自《海洋信息》(20181

一、海洋大数据的内涵

⒈大数据的内涵与特征

数据在我们的身边已经无处不在,无时不在。爆炸式增长的数据,是孕育大数据的温床。云存储计算降低了单位数据量的存储成本,为大数据技术的广泛使用创造了条件。互联网的广泛应用不仅点燃了信息“爆炸”式增长的导火线,更为海量数据的采集和融合提供了传统数据无法比拟的“即时”优势。同时,硬件提供的计算能力飞速提升,单位时间的计算价格正在迅速“平民化”。大数据向每一个行业的渗透,已经成为必然。可以说,大数据开启了一次重大的时代转型,改变了人们生活和理解世界的方式。

国内外诸多研究机构和学者对大数据都曾有过各种不同角度的理解和定义(表1)。从表中对大数据的描述可以看出,目前对大数据已形成3个方面的共识:第一,大数据所涉及的数据量规模巨大,无法通过常规方法在合理时间内处理管理和提取分析,强调处理能力;第二,大数据是一种不用抽样数据而直接采用所有数据进行分析的方法;第三,大数据是需要采用新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产,强调应用价值。早期对于大数据的理解更多的是从大数据的特征角度出发,大数据具有数量巨大(Volume)、数据类型复杂多样(Variety)、快速甚至实时采集处理数据并做出正确的反馈(Velocity),数据价值发现难度大(Value)、数据判断真实可靠(Veracity),即我们所熟悉的“5V”特征。随着大数据应用愈发广泛,越来越多的机构和学者更倾向于从广义、系统的角度去理解大数据。越来越多的学者认为,“大数据”并非一个科学、严格的概念,大数据的内涵不仅仅是数据本身和数据量,还包括了大数据技术及应用。从国家信息化发展的角度来看,定义大数据并不重要,能够利用大数据提升全民数据意识、发展数据文化、释放数据红利、打造数据优势才是硬道理。

表1 国内外研究机构和人员对大数据的定义和理解

⒉大数据发展现状与趋势

国际上,美、德、英等世界发达国家都已将大数据作为夺取新一轮竞争制高点的战略抓手。我国也将大数据发展提升为国家战略,全面布局国家层面和各地方行业大数据发展应用(图1)。

图1 国家海洋大数据总体框架

党的十九大报告提出,“推动互联网、大数据、人工智能和实体经济深度融合”。习近平总书记多次在中共中央政治局集体学习时指出,“要建立全国一体化的国家大数据中心,推进技术融合、业务融合、数据融合,实现跨层级、跨地域、跨系统、跨部门和跨业务的协同管理和服务”。党的十九届四中全会首次提出,把数据作为生产要素按贡献参与分配。“十三五”以来,国家、行业、省市出台的大数据政策文件达百余部。我国大数据政策体系愈发完善,大数据从国家层面的总体规划,逐渐向地方、行业和领域延伸,大数据在国民经济建设中的应用效能正在快速提升。绝大多数政府部门均已开始运用大数据,同时也推动了大数据在金融、工业、科技、商业、民生等多领域、多行业应用的逐步深入。大数据已不仅仅是一种技术,更是一种含整体思维、相关思维、容错思维、多样思维、智能思维、开放思维和资源思维的思维方式。

⒊海洋大数据的内涵和特征

海洋数据生产仪器和平台多达上千余种,记录格式各异;数据空间覆盖空天地海潜、全球大洋和极地;记录时间最早起于1662年;数据形态涉及结构化、非结构化、半结构化等。随着海洋观测精度的不断提高、时间间隔的迅速缩短,以及海洋观测网络节点的迅速增长,海洋数据量增长速度较其他行业大数据的增长更快。王辉等预计2030年全球各种海洋数据总量将达到275PB。目前国家海洋综合数据库管理的数据记录已经超过3000多亿条,并且保持每月3亿条增量。总体上,海洋数据具有大数据“5V”特征,是一个典型的大数据系统。同时,基于海洋本身的属性和机理,海洋大数据还具有强关联、高耦合、高变率、多层次性、高规律性等典型特点。强关联性体现在每一个海洋数据都有自己明确的时空属性特征和意义,多个数据之间更是存在时间和空间上的关联。高耦合性是指海洋与陆地、大气、人类活动等都有着各种复杂的相互作用,相互之间存在着强烈的耦合性。海洋是瞬息万变的,同一要素在同一地点、不同时间都在不断地变化,多个要素不断发生相互作用,也会产生出变化的环境和现象,即高变率。多层次性是指海洋存在着混合层、温跃层、声障层、温度锋、盐度锋、涡、内波等现象,其四维结构特征导致海洋数据存在时空上的连续和强烈变化。另外,从宏观上看,海洋环境、海洋生态等系统都存在着月、季、年、年代际等周期性变化,海洋数据存在着多周期叠加的规律,即高规律性。

与大数据一样,海洋大数据也尚未有统一定义。近年来,研究机构和学者从不同角度、不同层次给出了海洋大数据的定义(表2)。可以看出:首先,所有的定义都提到了数据,随着海洋观测调查等技术手段的不断增强,海洋数据已经形成了一个庞大的数据集;其次,技术方面强调了大数据是当前技术所不能的,这里的“不能”是指“不能在希望的时间内”做到,在技术层面已有越来越多的大数据技术应用在海洋问题研究之中;最后,海洋大数据是用来解决海洋相关决策问题的,是一个基于庞大的海洋数据集和大数据技术的海洋决策应用,改变着我们认识海洋、利用海洋的决策方式。因此,数据、技术和应用是海洋大数据的3个要素。可以说,海洋大数据本身隐含巨大价值,我们应通过海洋大数据技术发现海洋数据潜在价值,通过海洋大数据应用实现价值增值。

表2 一些研究学者对海洋大数据的理解和定义

海洋大数据和常规海洋数据的区别主要体现在两个方面:一是管理模式上的区别,传统海洋数据库主要是事务型数据库,数据需要进行前期结构化处理,并记录在相应的数据库中,且只能进行少量数据分析。而海洋大数据管理是基于分布式阵列存储,以及批流式计算技术,能够存储和处理PB级的结构化、非结构化和半结构化等各种海洋数据结构,对于海洋数据的结构要求大大降低。对海洋观测调查数据、模式产品、卫星遥感影像、航次报告、栅格数据等都可以实时处理,无论是存储对象范围还是计算速度,都是传统海洋数据库无法比拟的。二是数值计算上的区别,传统的海洋数值模式非常依赖模型以及算法,如果想要得到精准的结论,需要建立模型来描述问题,同时需要理顺逻辑、理解因果,设计精妙的算法得出接近现实的结论。而海洋大数据算法能够有效减少对算法和模型的依赖,利用海洋数据本身即可帮助我们得出结论。海洋大数据弱化了因果关系,利用大数据分析可以挖掘出不同海洋要素/现象之间的相关关系,在处理错综复杂的海洋数据过程中,这样的应用将大大提高效率。

综上所述,可以从以下几个方面来理解海洋大数据。第一,海洋大数据是一种将“现实海洋”映射到“数据世界”之后,在“数据层次”上研究“现实海洋”的问题,并根据“数据世界”的分析结果,对“现实海洋”进行预测、洞见、解释或决策的全新研究方式。第二,海洋大数据是以海洋数据资源为基础,并以数据统计、机器学习、数据可视化等为手段,主要研究海洋数据加工、海洋数据管理、海洋数据计算、海洋数据产品开发等活动的交叉学科。第三,海洋大数据是以实现“从数据到信息”“从数据到知识”和(或)“从数据到智慧”为主要研究目标,致力于“数据驱动”“海洋数据业务化”“海洋数据洞见”“海洋数据产品研发”“海洋数据生态系统建设”的独立学科。第四,海洋大数据是以“大数据时代”面临的新挑战、新机会、新思维和新方法为核心内容,包括新的理论、方法、模型、技术、平台、工具、应用和最佳实践在内的一整套知识体系。

⒋海洋大数据面临的关键问题

由于海洋数据的强时空关联、多源广域、多维度、多时效等特点,利用大数据方法解决海洋领域的问题,必须解决海洋大数据低质性、碎片化和隐匿性3个方面的关键技术问题。低质性问题是指海洋大数据强调分析结果的精确度,对数据本身的质量要求以及对结果的容错性,均远远高于互联网大数据。众所周知,海洋数据的质量与观测仪器、方式、时间、海况等要素密切相关,并且在很大程度上难以完全掌控。解决这个问题,要利用大数据技术,发展适用于海洋专业性数据的提炼转换、标准处理、不确定性分析和量质融合等技术。碎片化问题是指绝大部分海洋数据呈现缺失、分散、断续等特点,必须考虑海洋大数据采用样本的全面性,这就需要最大化挖掘涉海数据资源,增强数据融合处理检索能力。隐匿性问题是指海洋本身具有高耦合、强关联、多规律等显著特征,同时又隐藏了诸多随机和不确定的相互扰动问题。因此,海洋大数据还要结合物理驱动和自学习技术,挖掘数据潜在机理机制、物理意义和科学关联,揭示数据中隐匿的信息。这就需要从数据关联模式构建、分析挖掘模型、多维可视分析等多个角度寻求解决方案。

二、海洋大数据应用现状和发展趋势

⒈应用现状

海洋大数据是覆盖数据采集、通信传输、处理分析、存储管理、共享服务和应用研发及质量、标准、安全等环节的完整的业务和技术体系。在海洋大数据采集更新方面,随着各类新型技术和设备的不断更新应用,海洋观测体系已发展成为包括卫星遥感、海洋调查船、观测站、浮标阵列等在内的全球多尺度的、多学科要素的综合立体化海洋数据感知与探测网络。海洋感知与探测技术向着自动、长期、实时观测和高分辨率方向发展,形成了涵盖沿岸、水面、水下、海床的立体多学科观测网。同时,国内外海洋数据汇集机制持续健全,通过业务化观监测、专项调查、监视监测、极地大洋科考调查、统计核算和国际合作交换等业务实施,以及互联网信息搜集等渠道,各类海洋数据资料有效汇集。数据类型覆盖海洋全业务领域和全学科。

在海洋信息通信传输方面,我国已建成全国海洋信息通信“一张网”,实现了全网各级节点技术体制统一、运行管理统一和出口物理线路统一,建成了纵向覆盖沿海省区市和涉海机构,横向连接涉海部委和相关企业的全网通信链条。在此基础上,建成了运行监控中心,实现全网运行状态和安全风险的自动化汇集分析和监控预警。

在海洋大数据处理分析方面,建立健全了海洋全学科数据处理流程和技术标准规范,自主研发了海洋基础数据处理分析系统,开展了海洋环境与基础地理数据标准化、精细化质量控制、检验评估和综合分析业务化工作,基本建成我国新一代海洋综合数据集,覆盖海洋水文、海洋气象、海洋生物、海洋化学、海洋底质、海洋地球物理、海洋声学、海洋光学、海洋基础地理和海洋遥感等10个学科共36个要素,数据总量超7亿站次。研制了系列中国近海海洋环境统计分析产品和不同时空分辨率全球海洋环境背景场信息产品。开展了我国利益攸关区、海上关键通道、深海大洋、极地考察等海洋数据资料综合分析,为国家相关总体战略布局提供参考依据,进一步提升“让数据说话、用数据提建议”的能力。

在海洋大数据存储管理方面,我国已整合建设了国家海洋云平台,实现了计算、存储和方法模型资源的统一管理和运维调度。为国家机关决策、海洋权益维护、海洋经济统计、预报减灾、生态保护、科研和公众科普等,提供了良好的软硬件条件和计算能力支撑。同时,采用阵列式存储、分布式、并行和虚拟化等复合型数据管理模式,建设运行国家海洋综合数据库,从根本上解决了传统数据库管用混杂、数据库表结构冗余、僵尸库、死库等问题,大幅提升了海量数据查询检索时效和数据库运行稳定性。

在海洋大数据共享服务方面,建立健全了海洋数据申请使用和共享服务工作机制,深化拓展海洋数据、信息产品、系统应用一体化服务链条,基本形成国家海洋治理的精准化信息服务能力。面向辅助决策,建设运行海洋综合监管平台,现已部署至自然资源部机关运行服务,有力支撑了海洋综合管理工作。面向业务需求,有序办理海洋资料申请使用审批,每年及时免费服务数据百余批次,基本形成跨部门、跨行业和跨区域海洋数据应用服务格局。面向社会公益,建设运行海洋科学数据共享服务平台等服务系统,在线开放共享5亿条海洋数据和信息。面向专题应用需求,有针对性开展产品级和系统级服务保障,积极推进海洋数据信息和关键技术成果转化。面向行业应用,业务化开展与中国气象局等部委资料共享,积极推进全国海洋、气象、遥感等数据和预警报信息产品共享。面向地方发展,业务化向沿海11个省(自治区、直辖市)实时分发共享全国海洋观测数据,每分钟推送1次,满足海洋预警监测和应急服务保障等需求。面向国际合作,建设运行全球海洋和海洋气候资料中心-中国中心(CMOC/China)、全球和区域海洋数据国际合作共享平台,代表国家履行国际职责,有序开展海洋数据共享交换。基本形成了国家海洋数据共享“一盘棋”格局。

在海洋大数据应用研发方面,建设海洋大数据分析预报系统,实现了三维温盐、赤潮、台风等大数据分析预报,已列装至海上装备,并纳入我国海洋预报减灾业务体系试运行。研发基于大数据的海洋生态分类分区技术,形成我国近海海洋一、二、三级生态分区,为生态预警监测工作提供基础框架。基于数据驱动,推进不同维度下的海域海岛大数据资源的有序管理、全流程管控和高效应用,实现用海用岛疑点疑区监测“15天一覆盖”。利用分词和深度学习等技术,分析区域海洋经济和重点海洋产业的企业分布的时空变化。基于手机信令大数据,挖掘分析海洋旅游业运行态势。通过人工智能支撑,定期开展海洋和自然资源舆情大数据分析研判。采用随机森林、神经网络、多元逻辑斯蒂回归等大数据分析方法,为我国深海矿床资源评价和区域选划、履行勘探合同义务和深海矿产资源开发利用等提供基于大数据技术的解决方案。基于区块链和安全沙箱等技术,推进海洋数据的共享开放,并已在浙江省智慧海洋大数据中心落地应用。总体上,大数据、云计算、区块链等新一代信息技术在海洋领域的融合应用,已经取得良好成效。

另外,建立了包含基础通用标准、技术标准、平台和工具标准、管理标准、安全标准和应用标准在内的海洋大数据标准体系框架,指导海洋大数据标准建设工作。建立了涵盖海洋大数据平台安全、海洋大数据安全监管、海洋大数据安全共享和可信服务3个部分的海洋大数据安全技术框架。不断加强海洋大数据质量管理和质量评估,建立海洋数据全生命周期质量监控管理流程和技术体系。

⒉发展趋势

第一,海洋强国战略对海洋大数据提出了迫切需求。世界各国均高度重视海洋大数据相关研究和建设,政府间海洋学委员会和世界气象组织2017年联合提出了发展海洋大数据计划并纳入未来10年发展战略,国外海洋大数据已由最初的概念理论研究,逐步走向实体建设和应用服务阶段。新形势下,加快推进全国海洋信息资源互联互通、高效共享和智能应用,持续提升国家海洋大数据应用服务能力,对于落实党中央国务院关于大数据中心等新基建部署,构建包含数据在内的更加完善的要素市场化配置体制机制,助力海洋强国战略实施,具有十分重要的意义。

第二,海洋大数据是国家“智慧海洋”工程的灵魂。我国已开展了“智慧海洋”感知通信能力等多个示范区建设,沿海地方省区市积极开展“智慧海洋”工程论证。但在工程推动过程中,不同工程的组织管理形式、项目落地实施和资源共建共享等仍有较大差距,仍需强化需求统筹、软硬统筹、近期与长期统筹的高效建设和运行机制。亟须利用工程总体、系统化工程思想,开展国家海洋大数据中心顶层设计和体系框架演进研究,制定标准规范体系和质量管理体系,统筹推进工程体系化、规模化建设,形成国家和地方海洋大数据统筹建设发展布局。

第三,海洋大数据应用的深度和广度将不断提升。总体上我国海洋大数据技术仍处于起步阶段,“卡脖子”的海洋大数据关键技术尚未突破,算法自主创新率不高,在生态保护与经济发展、人与自然和谐共生等领域的整体解决方案研究深度还不够。面向海域海岛、海洋经济、海洋权益、海洋空间规划等领域迫切的应用需求,加强海洋大数据关键技术研发和创新应用,已经成为当前及今后提升海洋信息产业发展的必然趋势。同时,还需要进一步利用区块链、可视化分析等技术,创新数据共享服务技术和服务模式,打通“数据-知识-生产力”海洋信息服务产业链条,释放海洋数据在科技创新和经济发展的红利。

三、海洋大数据中心发展展望

⒈发展需求

当前,我国的海洋大数据基础能力有了一定积累,但跨业务、跨领域、跨部门和交叉学科融合的海洋大数据联合应用案例不多。与金融、商业、制造业、气象等领域的大数据应用相比,海洋大数据在技术体系、应用规模、价值效益方面还有差距。海洋大数据发展应用面临的主要问题,一是在数据汇集管理方面,跨部门、跨领域的海洋数据尚未实现完全统一标准、汇集管理、协同处理;二是在数据共享方面,“数据孤岛”仍然存在,如何解决数据共享难题,避免信息系统的重复建设及资源的浪费是一个难题;三是在数据融合方面,海洋涉及的学科众多,将各学科融会贯通,突破关键通用大数据分析技术,实现泛海洋数据一体化的分析能力还有待提升;四是在创新应用方面,如何实现海洋大数据的一体化产业化应用,更好地为政府部门提供决策支撑,促进海洋大数据解决民生、国防、安全、环保等领域问题,还需要继续做深入研究和实践。

⒉总体布局

通过“十三五”期间智慧海洋等工程论证实施,基本确立了国家海洋大数据的总体框架(图1),在海洋大数据资源采集传输基础上,建设国家海洋大数据云平台,开展海洋大数据处理分析,建立海洋数据综合管理体系,开展海洋大数据共享服务,面向应用需求提升海洋大数据智慧应用能力。

当前,仍需进一步建设夯实国家海洋大数据功能架构和业务布局,建设完善国家海洋云、海洋大数据智能应用和开放创新服务3个平台,深入研究建设海洋大数据关键技术、标准和安全3个体系,搭建海洋大数据资源池。同时,深入推进集中式的国家海洋大数据中心和分布式的海区信息应用服务中心及若干海洋业务体系数据节点建设,构建分类分级、协同联动的国家海洋大数据主体架构。在此基础上,对接涉海部委、地方省市、企业等海洋数据资源,进行互联互通和数据共享,最终实现国家全部涉海行业信息基础设施的集约利用,以及海洋信息资源的融合集成与共享开放。

⒊重点发展方向

一是持续夯实海洋大数据资源池。持续完善海洋数据汇聚更新体系,对于汇集到国家中心的数据,按照大数据理念和业务流程,构建数据采集、处理整合和集中管控体系,建设分类分级、协同联动的海洋大数据管理架构。对于数据资产归属相关部门、行业的数据,积极完善数据交换机制,并推进区块链技术的研发应用和全国涉海数据资源的在线调度、交换共享。

二是大力推进海洋大数据处理分析等技术研发,促进海洋大数据的提炼转换、标准处理、融合分析、深度挖掘和预测预报,建立完善海洋大数据分析应用关键技术体系。

三是全力打造海洋大数据共享服务平台。在此基础上,面向海洋安全和权益维护、海洋开发利用、海洋生态文明等建设需求,全力打造海洋大数据智慧应用平台,综合集成海洋数据、信息产品、方法模型、地理底图、知识情报、图书文献等信息资源,以及各类业务应用系统,加强海洋大数据标准和安全体系建设,强化海洋大数据挖掘分析和智能应用,综合提升海洋大数据服务效能。

四是深入拓展海洋大数据开放创新。着力推进海洋信息产业发展,进一步推动创新性研究和产学研合作,积极推进产业集群升级、需求引智创新、技术引进以及政府和社会资本合作等多元特色发展模式,打通智慧应用发展的关键环节,促进海洋经济的产业升级和快速健康增长。

五是努力推进海洋大数据融合应用。基于海洋大数据的汇集、处理,以及挖掘分析等关键技术研发,结合海洋安全与权益维护、海洋政务管理、海洋开发利用、生态文明建设和海洋公共服务等海洋信息应用服务需求,开发专业化、精细化、智能化的大数据服务产品,建立完善开放包容、共享协作的海洋大数据智慧应用服务体系,拓展海洋大数据应用服务能力,为政府、社会提供安全、智能、开放、便捷的信息应用和辅助决策服务。海洋安全方面,重点提升空海态势感知、情报自动研判分析、协同指挥以及公共安全事件应急等智能应用服务能力。海洋政务管理方面,围绕海洋综合管理和行业管理服务需求,基于多领域大数据融合分析与挖掘,加强海洋综合管理、海上交通、海洋渔业、海洋气象等行业事务科学决策与精细化管理服务水平,提升国家海洋政务综合管理服务能力。海洋开发利用方面,发展“互联网+”海洋大数据信息服务,建设海洋智慧旅游、智能深海渔业牧场、智能船舶、海上岛际智慧通航、智能化海洋资源能源开发等应用服务。海洋生态文明建设与公共服务方面,发展海洋大数据分析预报技术,提升海洋环境与气候变化智能挖掘,提升海洋综合整治与生态修复智能水平,完善海洋大数据公共服务体系,提高海洋旅游、文化、科普等公共信息资源的便民利民服务效能。

六是积极开展海洋大数据国际合作交流。基于我国海洋国际合作基础,建设和发展全球和区域国家中心,围绕21世纪海上丝绸之路、中国东盟等合作机制,寻求建立常态化的双/多边合作渠道,进一步推动我国海洋大数据的理念和标准走出去。在此基础上,围绕蓝色经济、海洋预报减灾、海洋环境保护、海洋空间规划等主题,深化面向应用的区域性和全球性海洋大数据合作研究。

四、结语

大数据在商业、工业、科技、民生等领域都已经得到了广泛应用,典型案例层出不穷。相比而言,海洋大数据尚处于探索阶段,充满机遇和挑战。今后,需强化政府主导和战略引领,提升海洋大数据建设整体成效;强化政策和资金持续投入,提升可持续发展能力;加强政策和机制创新,激发新动能;引领地方分节点建设,带动国家海洋大数据落地实施。


Please publish modules in offcanvas position.