2020大数据行业市场发展前景分析,随着技术体系日渐完善技术融合促进潜力释
大数据技术体系纷繁复杂,一方面社交网络的流行导致大量非结构化数据出现,传统处理办法难以应对,数据处理系统和分析技术开始不断发展创新;另一方面,大数据体系的底层技术框架已基本成熟,大数据技术正逐步成为支撑型的基础设施,其发展方向也开始向个性化的上层应用聚焦,技术融合趋势明显。
大数据技术体系主要由数据分析技术、数据流通技术和事务处理技术构成。数据分析技术生态主要有五个发展方向,包括数据采集与传输、数据存储与管理、计算处理、查询与分析、可视化展现。经过10多年发展,数据分析技术融合了传统数据库和MPP数据库的优点,正朝着流处理加强、SQL支持、深度学习支持等方向演进。在数据流通方面,安全多方计算和区块链是近年常用的技术框架,同时还涌现出同态加密、零知识证明、差分隐私等多种数据流通工具。随着底层硬件和上层应用的不断变化,以集中式数据库等单点架构为主的传统事务技术模式逐步被分布式架构取代,新一代分布式数据库技术应运而生。
图表:大数据技术与融合应用
目前,技术融合主要体现在以下六个方面。一是算力融合,以CPU为调度核心,协同GPU、FPGA、ASIC及各类用于AI加速的“xPU”异构算力平台和以GPU为代表的计算加速单元,能够极大提升计算效率,成为行业热点解决方案。二是流批融合,先后提出以微批处理的思想实现流式计算和使用流处理的思想,来实现批处理两种思路的融合计算方法,不断在向更实时更高效的计算推进。三是TA融合,混合事务/分析处理(HTAP)架构可以避免频繁的数据搬运操作给系统带来的额外负担,减少数据重复存储带来的成本,及时高效地对业务操作产生的数据进行分析。四是模块融合,一站式数据能力复用平台通过连接下层的数据和上层的数据应用团队,形成敏捷的数据驱动精细化运营的模式,能更快地使用数据驱动决策。五是云数结合,大数据基础设施向云上迁移和云原生的产品开发概念将降低硬件和网络维护成本,能够更专注于数据和业务逻辑,大程度降低大数据技术的学习成本和使用门槛。六是当前最受关注的数智融合,主要体现在大数据平台的智能化与数据治理的智能化。大数据平台支持机器学习算法和AI类应用是实现智能化的重要手段。另外,AI使能数据治理,通过智能元数据感知和敏感数据自动识别,对数据自动分级分类,形成全局统一的数据视图;通过智能化的数据清洗和关联分析,把关数据质量,建立数据血缘关系,在降低数据治理复杂性和成本的同时,得到智能的数据。
1、大数据行业应用不断深化新兴业态酝酿形成
从大数据的应用市场来看,我国大数据应用正处于高速发展时期,大数据市场陆续出现新商业模式。随着大数据底层设施逐渐成熟和技术融合的催化,大数据分析开始结合具体行业,向下游垂直行业应用延伸。各行业数字化、网络化、智能化进程明显提速,促进产业格局重构,驱动生产方式和管理模式变革,新业态正在酝酿形成。
图表:2019年大数据应用市场AMC模型
目前,与大数据结合紧密的行业逐步向工业、政务、电信、交通、金融、医疗、教育等领域广泛渗透,行业应用逐渐向生产、物流、供应链等核心业务延伸,“脱虚向实”的趋势明显,大数据与实体经济深度融合不断加深,行业应用正在从消费端向生产端延伸,从感知型应用向预测型、决策型应用发展。
图表:不同行业的大数据未来应用看点
在大数据的带动下,我国制造企业对数据的采集、汇聚与挖掘能力显著提升,助力制造业向智能化、绿色化、服务化、高端化转型。对于传统制造业,大数据在生产现场实现多方要素覆盖,加速优化产业链各环节,提升管理能力,实现产品敏捷规划,推进制造业智能化发展。同时,大数据推动了个性化生产加速落地,企业生产模式从同质化生产向定制化生产发展。针对绿色化转型,大数据技术能够精准判断和调控生产线的能耗状况,有效帮助企业实现生产过程的节能降耗,并用于优化产品设计,实现生命周期的绿色节能。另外,大数据赋能“中国制造”,传统工业产品正在被大数据赋予更多高端化功能与性能,车联网+互联网不断推进发展。在数控机床领域,部分企业开始利用大数据技术实时分析工件质量;在工程机械领域,通过大数据技术在海量的实时工程数据中挖掘潜在价值;在虚拟空间中分析装备的运行趋势和模式,从而提升产品性能。
3、大数据助力服务业新业态蓬勃发展
大数据在服务业的应用不断向纵深拓展,在以金融、物流为代表的生产性服务领域,以零售、文体为代表的生活类服务领域正在形成智慧服务模式。面对金融业,大数据助力投资决策、风险管控、产品定价和普惠服务,推动金融体系建设完善。例如大数据智能投顾平台帮助用户创建投资组合,大数据风控模型及时发现交易风险,大数据分析实现金融产品和金融衍生品的合理定价,金融科技手段推动惠普金融服务高效展开等。在物流领域,大数据技术帮助精准匹配货源与运力、智能调度物流路线、主动感知物流储运、提升物流行业协同能力,全面降低物流成本。在零售行业,大数据助力门店运营、精准营销、供应链效率和垂直市场拓展,不断增加零售行业优质补给。随着社交网络用户数量的不断扩张,利用社交大数据来做产品口碑分析、用户意见收集分析、品牌营销、市场推广等“数字营销”应用,将会是未来大数据应用的重点。电商数据直接反映用户的消费习惯,帮助企业更高效地触达目标用户,具有很高的应用价值。另外,大数据的创新服务理念提高文化体育生活质量,推动大众文化消费需求精准对接、运动竞技训练智能化,并对改善公众运动健康发展提供数据分析支撑。
(1)大数据支撑公共服务智慧高效进行
大数据技术在公共服务领域发挥的作用愈发明显,通过多元挖掘数据和广泛互联共享,推动着政务、教育、医疗、扶贫等公共服务加速向创新、开放、高效、便捷、精准等方向发展。医疗健康方面,医疗大数据成为2019年大数据应用的热点方向。2018年7月颁布的《国家健康医疗大数据标准、安全和服务管理办法》为健康行业大数据服务指导了方向。电子病历、个性化诊疗、医疗知识图谱、临床决策支持系统、药品器械研发等成为行业热点。在政务领域,公共资源交易平台提升政务数据化管理水平,数据共享交换平台提升公共服务数据共享和业务协同,政府数据+市场技术实现政企民多方共赢,并利用社会数据有力支撑政府决策。在教育领域,大数据加快推动教育资源广覆盖,助力“因材施教”深入推行,驱动在线教育蓬勃发展。另外,大数据助力一体化扶贫平台建设,助推扶贫识别的精准化;利用大数据技术剖析各地贫困因素,实现差异化帮扶;大数据系统实现了线上大数据校验,并助力线下精准审核和资源精准供给,为精准帮扶工作的开展建立基础。
3、大数据行业痛点指引成长方向,完善布局助推提质发展
目前,我国大数据发展仍存在诸多问题,如技术和产品的原创性不足、数据开放水平低、数据安全管理薄弱等,这些问题的有效解决需要大数据从业者们在大数据理论研究、技术研发、行业应用、安全保护等方面付出更多的努力。在新一轮科技革命和产业变革持续推动下,人工智能、5G、虚拟现实、区块链、边缘计算等技术群体性突破,有望通过跨界融合,为大数据进一步赋能。同时,数据安全、产业合规方面的立法也在不断推进,数据流通与应用的合规性将大幅提升,健康、可持续的大数据发展环境逐渐形成,大数据行业有望解决痛点,迎来巨大发展机遇。
目前,我国仍然处在“数据大爆发”的初期,大数据原创性的技术产品尚显不足。以我国大数据管理类技术产品为例,目前国内常见的软件有20多款。虽然大数据管理类软件涉及内容庞杂,但技术实现难度相对较低。根据中国信通院的测试结果,参照囊括功能全集的大数据管理软件评测标准,所有参评产品符合程度均在90%以下,产品性能有待提高。
未来,5G、AI和工业互联网的深入发展将带来更大的“数据洪流”,为大数据的存储、分析、管理带来更大的挑战,在此背景下,有望牵引大数据技术再上新的台阶。同时,硬件与软件的融合、数据与智能的融合的趋势明显,有望带动大数据技术向异构多模、超大容量、超低时延等方向拓展,大数据技术将不断提高。在应用方面,我国的大数据行业应用正在从消费端向生产端延伸,从感知型应用向预测型、决策型应用发展。互联网行业已经全面进入“DT时代”,未来几年,随着各地政务大数据平台和企业大型数据中台的建成,将促进政务、民生与实体经济领域的大数据应用全面开花。
从法律法规体系方面来看,我国的数据安全法律法规仍不够完善,呈现出缺乏综合性统一法律、缺乏法律细节解释、保护与发展协调不够等问题。同时,对于个人信息保护方面容易存在漏洞,也使得合规性成为这一行业发展的核心问题。2019年以来,大数据安全合规方面事件频出,数据安全合规成为行业关注热点。
与全球不断收紧的数据合规政策相类似,我国在数据法律监管方面也日趋严格规范。2018年,十三届全国人大常委会立法规划中提出了《个人信息保护法》和《数据安全法》。个人信息和数据保护的综合立法时代即将来临。2020年1月,中央政法工作会议强调,要把大数据安全作为贯彻总体国家安全观的基础性工程,依法严厉打击侵犯公民隐私、损坏数据安全、窃取数据秘密等违法犯罪活动。随着公众数据安全意识的提升和技术本身的不断进步完善,数据安全技术将逐渐呈现出规范化、标准化的趋势。目前已有不少数据安全技术手段瞄准敏感数据在处理使用中的防护,例如数据脱敏、安全多方计算、联邦学习等,随着相关技术的不断推进发展,敏感数据和个人隐私数据的使用合法合规将成为未来大数据产业合规落地的大趋势。
如今,我国数据开放共享水平依然较低,跨部门、跨行业的数据流通仍不顺畅,有价值的公共信息资源和商业数据没有充分流动起来,降低了资源整合效率,制约了信息社会化服务的发展。
从政策角度来看,2016年12月国务院通过了《“十三五”国家信息化规划》,提出要打破各种信息壁垒和“孤岛”,推动信息跨部门跨层级共享共用。近年来,各省市政府相继出台数据资源共享管理办法,在大数据平台增加了数据价值管理和数据共享管理等职能,促进资源共享和深度开发利用。同时,信息保护立法的推行将进一步保障信息共享的安全性。从技术角度来看,模块融合将打通数据共享通道,企业上云有助于实现资源的互通共享,区块链可以在一定程度上解决数据确权难、数据孤岛严重、数据垄断等问题。综上,在国家政策和新一代信息技术的共同作用下,我国的数字经济将向着更加互信、共享、均衡的方向发展。