大数据环境中的管理科学问题

来源:    日期:2016-03-16    浏览量:116899次

一、大数据时代的到来  

        Google基于搜索数据和历史信息,预测流行性感冒的爆发与强烈等级,如2009年成功预测美国甲型H1N1爆发,2013年1月准确判定美国流感活动的等级为“强烈”,与美国疾病防控中心的报告一致;而微软专家David Rothschild通过大数据分析,对第85届奥斯卡各奖项的归属进行预测,除最佳导演外,其它各奖项预测全部命中。从这两个案例可以看出,在当今先进技术和设施条件下,正在以一种前所未有的方式,通过对大量数据进行分析,获得有巨大价值的产品和服务,或者深刻的洞见。  大数据产生经历了三个阶段:一是以数据库为基础,各类应用数据被动地输入到系统的被动阶段;二是以Web2.0为特点的新型互联网应用,用户主动推送数据的主动阶段;三是广泛应用各类感知式系统,数据自动产生的自动阶段。  2011年麦肯锡技术报告中指出,大数据是典型的数据库软件无法捕获、存储、管理、分析的数据集。大数据有四个内涵,一是大量化(Volume),如每60秒产生98000条Twritter、695000 种Facebook的状态更新、698445条谷歌搜索结果、1.68亿封邮件等等。二是多样化(Variety),大量的数据流量包括结构化数据、视频、音频、文本等多种数据类型。三是快速化(Velocity),数据实时更新快,如伦敦奥运会一些体育明星亮相的比赛,微博数量暴增。四是潜藏的价值(Value),如零售业可以利用大数据提高60%的运营利润,如果运用到公共领域,欧洲政府每年可以减少1000亿欧元的开支。参考维克托・迈尔・舍恩伯格和肯尼思・库克耶合著的《大数据时代》,大数据并不等于数据大;大数据不要数据的抽样,而是指数据的全部;数据等于信息但不等于数字化;大数据不要数据的精确性,而是数据的混杂性;不追究因果关系(为什么),而是寻找相关关系(是什么)。  大数据的外延可以看作是一个大数据生态圈,整个过程从采集开始,到存储、处理、传输、分析及挖掘,涵盖了数据从产生到处理到价值提取到驱动应用各个环节。随着互联网、物联网、云计算等信息技术的迅猛发展,信息的原生状态——数据的产生不受时间、地点的限制,呈现出快速、爆炸式增长。大数据时代已经到来,我们该如何认识、利用及推进?

二、大数据技术与应用发展态势  

        (一)政府层面。面向潜在的大量公共需求,各国政府纷纷以政策引导推动面向大数据环境的科技攻关。2012年3月美国发布《大数据研究和发展倡议》,投入2亿美元,涉及六大部门,旨在利用大量复杂数据集合获取知识和提升洞见能力;2012年7月,日本推出《新ICT战略研究计划》,重点关注“大数据应用”,旨在提升日本竞争力;2012年7月,联合国发布了《大数据政务白皮书》,总结了各国政府如何利用大数据更好地服务和保护人民;2013年初,英国商业、创新和技能部宣布,将注资6亿英镑发展8类高新技术,大数据独揽其中的1.89亿英镑。在国内,科技部部署了“十二五”期间关于物联网、云计算的相关专项;2012年3月科技部在《“十二五”国家科技计划信息技术领域2013年度备选项目征集指南》中明确提出“面向大数据的先进存储结构及关键技术”;由政府主导的全国范围的“智慧城市”计划也与大数据环境密不可分。  

        (二)企业层面。面临新技术、新应用、新运作机制和商业模式的挑战,如数据服务产业等新兴战略性产业应运而生,纷纷开发大数据产品和应用解决方案,大数据日益成为IT厂商竞相抢占的制高点。如惠普发布的一款名为“HAVEn”的大数据平台,将分析软件、硬件和服务打包在一起。并且还发布了免费的HP Vertica Community Edition,帮助企业级客户分析高达1TB 的数据(三)科技界。科技界凝练大数据带来的新的科学问题,发现科学技术方面的新理论、新方法,探索其工程技术应用的方向与途径。如2008年《Nature》专刊《Big Data: Science in the Petabyte Era》,2011年《Science》专刊《Dealing with Data》等文章的发表。国内2011年以来,开始出现大数据管理技术的综述性文章,研究的热点问题主要包括面向大规模数据处理的高性能计算体系结构、分布式数据管理技术和机器学习技术等。

三、大数据驱动的变革 

         以大数据为核心资源的数据产业独立为重要的服务性产业,具有极大的市场发展空间。大数据的采集、存储和预处理是产业化基础领域,大数据分析是产业化高端领域,它们深刻影响着公共事业领域、商业运营领域及工程和制造业领域等社会其他产业结构与运行模式,呼唤管理新思想和变革。  

        (一)大数据环境下的公共管理变革。公共管理是大数据应用潜力最强劲、改善民生意义最显著的领域。一是医疗卫生方面,基于医疗大数据的共享和分析,提供针对性的疾病预防和诊疗,通过从时空状态对生老病死进行解读,促进生命科学发展;二是泛在教育,个性化教育、泛在学习和终身教育等实践,使教育领域出现革命性变革;三是公共安全,提高应急处理和自然灾害、传染疾病和食品安全等方面的灾害防控能力,提升国防安全水平等;四是智慧城市,即通过大数据信息的充分利用,更好地理解和控制城市运营,并优化有限资源的使用;五是行政管理,如战略决策、政策制定和舆情分析等;六是交通与物流,利用大数据分析解决世界性的大城市交通难题和网购物流管理问题等;七是合理利用现有能源,保护和改善生态环境。 

        (二)大数据环境下的商业管理变革。 利用大数据的新型商业模式,创造新的产业空间。如零售业在市场方面,利用大数据关联分析,更准确地了解消费者的使用行为,挖掘新的商业模式;在销售规划方面,通过大量数据的比较,优化商品价格;在运营方面,提高运营效率和运营满意度,优化劳动力投入,准确预测人员配置要求,避免产能过剩,降低人员成本;在供应链方面,利用大数据进行库存优化、物流优化、供应商协同等工作。再如金融业,有利于市场趋势预测、投资分析、金融诈骗识别和风险规避。又如大数据在创意文化产业中的作用,设计创新将是一个具有革命性意义的概念。

        (三)大数据环境中的工程与制造业管理变革。综合运用系统工程思维方式,加强系统性创新。具体包括:研发和设计新模式,客户参与的设计(众包模式与客户参与设计);通过收集、挖掘和分析整个供应链的数据,制造企业能够缓和供需之间的矛盾,控制预算开支并提升服务;产品生产阶段,给制造企业大数据应用带来了契机,将出现新一代仿真技术、物联网和云计算技术;维护阶段,提供新一代故障诊断与预测。  大数据科学技术与应用研究有三个愿景:一是多学科交叉融合,立足信息科学,探索大数据的获取、存储、处理、挖掘和信息安全等创新技术与方法,从管理的角度探讨大数据对于现代企业生产管理和商务运营决策等方面带来的变革与冲击;二是技术、应用与管理并重,虽然目前呈现着技术处于领先的态势,但对管理模式的影响是显著的,相关配套政策和法律也是必须的,因此从目前开始,几者应当并重互动;三是社会需求拉动,大数据相关的应用还处于起步阶段,基于物联网和社会化网络的大数据应用方兴未艾,但社会需求是最活跃的拉动因素,特别要关注如教育、卫生、安全和政务等关系国计民生的公共事业的需求。

 四、大数据环境下的管理新课题 

        目前,中国大数据环境已初具规模。比较突出的表现,一是网购全民化,如阿里巴巴旗下的淘宝网,会对每位客户一年中的全部购买、转账、支付业务进行统计与分析,并且针对每一个客户发布个性化的年度对账单,对客户的消费习惯、消费结构进行分析,并以此为根据在各个网页上精确投放广告,增加点击率和营业额。二是物联网兴起,如上海为了迎接世博会,共建立了158 家世博蔬菜生产重点基地,生产“世博标准”蔬菜,通过扫瞄包装上的二维码、或者是有效标签的RFID射频识别就能马上得知蔬菜的栽种者、栽种时间、使用肥料和采摘时间等信息,保证食品和原料能够追根溯源。   大数据环境下的经济社会发展趋势,一是网络化,社会媒体和物联网等构成了自动化数据收集网络;社会、企业和个体依托网络构成了横向和纵向的关联。二是社会化,社会化媒体和网络使服务主体与客体关系趋向平等、互动和相互影响,出现“社会决策”;“闭门造车”的管理模式被摒弃,利用网络完成产品或服务的优化与创新。三是智慧化,利用大数据分析进行精准的估计与预测,提供个性化服务;挖掘数据资源,系统化智能方法,综合解决问题。  在这样的经济社会发展趋势中,管理面临着一系列新的课题。在系统科学与工程管理及相关领域,需要研究大数据环境下的系统理论和方法论及其在工程管理中的应用;在工商管理及相关领域,面临企业经营模式、服务模式的应变、变革与创新;在公共管理及相关领域,面临大量需求,特别是在如医疗、卫生、教育、能源、环境和食品安全等改善民生方面。管理需要开展多学科交叉、多领域合作,共同探讨大数据相关科学问题,推进大数据应用发展。如下几个方面的思考和应用值得关注。  

        (一)大数据与智慧城市。智慧城市是新一代信息技术支撑,知识社会下一代创新环境下的城市形态。智慧城市基于物联网、云计算和大数据等新一代信息技术,令城市生活更加智能;高效利用资源,降低成本并节约能源,改进服务交付和生活质量,减少对环境的影响,支持创新和低碳经济。如补充完善居民二代身份证的功能,使其集成身份认证、驾照、银行卡和交通卡等多种功能,成为居民“一卡通”,便于收集管理居民信息,方便人们使用,也能够有效预防违法犯罪行为,追捕在逃人员。  

        (二)大数据与祖国传统医学。中国中医科学院通过对数千年中流传下来的中医经典著作、中医大师数十年的临床经验和海量的临床病例进行挖掘分析,制定中医标准术语集和规范化病例系统,对于中医的科学化、规范化有着巨大意义。  

        (三)大数据与环境污染控制。利用大数据的手段来监控、评估、分析并改善当前国内的PM2.5污染问题。在城市布局传感器网络实现PM2.5监控,分析整个城市PM2.5浓度分布和流量趋势与空气质量、交通状况、污染程度等数据的相关性,发现PM2.5的主要成因,提出具有针对性的解决方案。再如建立基于大数据的空气质量监测体系、基于大数据的空气质量评估标准、基于大数据的空气质量分析方法和基于大数据的空气质量改善方案等。  同时,大数据还将带来对既定思维方式的颠覆。如运用大数据分析Web of Science数据库中1790万篇论文,得出科研论文影响力分析结论,认为从根本上讲,科学中的创新来自对先前工作成果的或传统或新颖的组合;新颖和传统并不对立,反而是复杂的互补关系;引入了先前工作新组合的论文与传统组合的论文是被引用论文中的两种主要形式;团队作者的论文与单独作者的论文相比,引入新颖组合的百分比比后者高37.7%。上述结论在时间、空间范围上均普遍成立,“大数据”给出了科研论文模式的新见解。  从复杂系统科学与数据科学的角度,我们面临着建立适应大数据环境的复杂系统科学、大开发数据收集和存储工具、全新的大数据分析理论和全新的大数据计算理论等诸多需求。一是运用并发展复杂系统科学有效解决大数据环境带来的新的科学问题,即运用复杂系统科学建模大数据环境下的网络生态环境及其协同演化机制、社会化网络环境下的系统行为机理和社会结构等。二是通过对宇量数据的有效分析理解复杂系统,即通过大规模观察社会系统、生态系统、神经系统等,记录宇量数据,理解并预测复杂系统性能。  当然,大数据时代所带来的信息安全问题也变得更为严峻。如前CIA雇员斯诺登所披露的美国“棱镜”监控计划,谷歌、苹果等被牵涉其中。据斯诺登披露,2009年伦敦举行二十国集团峰会期间,伦敦当局监视与会各国领袖及官员通信和电邮文件,美国曾窃取中国手机用户短信等。那么,谁来保证大数据时代的信息安全?需要深入思考。

         中国传媒大学数据挖掘研发中心主任沈浩认为, “我们生活在社会中,就不得不同数据打交道。我们也是数据的一部分,不论我们想不想与大数据牵扯到一起,数据都会找到我们,覆盖我们。大数据时代已经来临。”北京“云基地”创始人田溯宁也充满信心地表示,“只要我们以开放的心态,创新的勇气拥抱‘大数据时代’,就一定会抓住历史赋予中国创新的机会。”  在大数据时代背景下,抓住机遇,应对挑战,凝练新的科学问题,积极开展应用基础理论研究,突破关键技术,建设应用示范工程,形成面向大数据的整体解决方案,获得符合中国国情有国际水平的研究成果!