大数据(big data)，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4V特点：Volume、Velocity、Variety、Veracity。信息来源：新华网
https://www.xxjcwmall.com/
改变世界的大数据
2012年以来，大数据成为各界热议的话题。随着个人电脑、智能手机及掌上智能设备的普及，一个大规模生产、分享、应用数据的时代正在开启。到底什么是大数据呢？通俗地讲，大数据就是对网上海量的文本、图像、音频和视频数据进行采集、分析、加工和利用。大数据有多大？根据专家预测，2013年世界上存储的数据预计能达到 1.2泽字节，如果把这些数据存储在只读光盘上，这些光盘可以堆成五堆，每一堆都可以伸到月球。大数据之所以引发众多关注，是因为只要发现了两个现象之间存在的显著相关性，就可以创造巨大的经济或社会效益，而弄清二者为什么相关可以留待人们慢慢研究。在信息技术融合应用的新时代，大数据就是像黄金一样的新型经济资产、像石油一样的重要战略资源。
大数据 大应用
早在1969年，全球零售巨头沃尔玛便利用计算机对消费者的购物行为进行数据分析，结果发现男性顾客在购买婴儿尿布时，常常会顺便“搭配”几瓶啤酒来犒劳自己，于是推出了将啤酒与尿布捆绑销售的促销手段。如今，这一“啤酒+尿布”的数据分析成果，已成为科学家通俗解释大数据技术的经典案例。事实上，大数据的应用范围极其广泛，几乎涵盖我们日常生活的各个领域，尤其是在医疗、电子商务、金融、城市管理等四个方面的应用最令人瞩目。
在医疗健康领域，大规模复杂数据已经变得很普遍，通过对大量病人的各类数据进行挖掘分析，有助于更有效地找出疾病成因，进而提供有针对性的预防、诊断和治疗措施。苹果公司的传奇总裁乔布斯在与癌症斗争的过程中，成为世界上第一个对自身所有 DNA和肿瘤 DNA进行排序的人，因此得到了包括整个基因密码在内的数据文档。乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。如果癌症病变导致药物失效，医生可以及时更换另一种药。虽然乔布斯最后没能战胜癌症，但是这种通过数据挖掘诊断病情的方法还是将他的生命延长了好几年。
对于电子商务而言，大数据同样拥有很大的利用空间。据统计，亚马逊销售额的1/3来自于它的个性化推荐系统。从一开始，亚马逊就从每一个客户身上捕获了大量的数据。比如，他们购买了什么书籍？哪些书他们只浏览却没有购买？浏览了多久？哪些书是他们一起购买的？根据这些数据，亚马逊就能够判断出客户个人的购物喜好，并为客户推荐相关的书籍。有了它，很多大型书店和音乐唱片商店就不得不歇业。
阿里巴巴网络金融冲击传统金融业的再度创新，借助的仍然是大数据的优势。阿里巴巴计划推出针对买家的“虚拟信用卡”，消费者过往的网购消费额、不良记录等数据将经过评估，转化为1元到5000元不等的授信额度，然后，消费者就可以在淘宝、天猫等签约店铺，通过“刷信用”付款，最长免息期达38天。阿里数据库中的8000万用户，将成为这一新型信用卡业务巨大的市场潜力。
在城市管理领域，大数据的力量也不可小觑。纽约每年有很多沙井盖会因为内部失火而发生爆炸，重达300磅的大型沙井盖在轰然落地之前可以冲上几层楼高。联合爱迪生电力公司每年都会对这些沙井盖进行常规检查，过去这完全看运气，而现在，工作人员通过计算机对1880年以来所有沙井盖检修数据进行分析，发现了大型沙井盖爆炸的106种预警情况。后来证明，这种预测效果非常得好，在被列出的前10%的高危沙井盖名单里，有44%的沙井盖都发生了严重的事故。
大数据 大布局
在人们惊呼大数据时代到来的时候，不少国家和企业已经开始在这一新领域谋篇布局。2012年3月，美国政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。微软、谷歌、雅虎等IT巨头也在通过大规模互联网并购、开发大数据产品等多种途径，抢先布局大数据时代。
在我国，大数据正由概念进入落地阶段。2012年7月，我国《“十二五”国家战略性新兴产业发展规划》明确提出“加强以海量数据处理软件等为代表的基础软件的开发”。2012年12月13日，中关村大数据产业联盟宣布成立，目的是把不同的数据集中在一起，推广大数据，建立生态系统。一些互联网公司目前已经开始行动起来，百度已经建成包括百度指数、司南等在内的五大数据体系平台和消费者画像、品牌探针等技术分析方法。
有专家认为，中国拥有庞大的人群和应用市场，是世界上最复杂的大数据国家。现代历史上的历次技术革命，中国均是学习者。唯有在这次大数据的变革中，中国与世界的距离最小，很多领域甚至还有创新与领先的可能。
大数据 大挑战
大数据在带来种种社会变革的同时，也带来了一系列重大社会问题。大数据时代给商业机密和知识产权保护带来了挑战，给企业管理也增加了难度。海量数据的产生、存储和分析，意味着可能向外界暴露的数据更多了。近年来，通过互联网侵犯个人隐私的案件时有发生，保护个人隐私的呼声已经越来越高。而在大数据时代，企业出于商业意图进行数据收集和挖掘，有可能会侵犯到个人隐私，因此，规范大数据的使用及监管就显得格外重要。此外，既然数据将成为战略资产，就有可能出现数据壁垒和数据垄断大亨。目前，一些互联网运营公司、银行等掌握着大量的客户数据，如果不能建立有效的共享机制，这些机构无疑会成为大数据产业发展的掣肘。
然而，不可否认的是，虽然大数据带来的挑战会给人们的生活造成一定困扰，但新科技带来的改变会远大于其存在的问题，大数据很可能成为拉开第三次工业革命的华彩乐章。 新型建材网https://www.xxjcwmall.com/
大数据时代的信息安全和未来展望
随着高级可持续性攻击的出现以及恶意软件的复杂性与日俱增，企业急需一种突破传统信息安全保障模式的、灵活的技术和方案来应对未来不断变化的安全威胁。大数据彻底的改变了信息安全行业，基于大数据分析的智能驱动型安全战略将帮助信息安全从业人员重获警惕性和时间的优势，以使他们更好地检测和防御高级网络威胁。
大数据时代信息安全面临挑战
在大数据时代，无处不在的智能终端、随时在线的网络传输、互动频繁的社交网络使得互联网时时刻刻都在产生着海量的数据。随着产生、存储、分析的数据量越来越大，在这些海量数据背后隐藏着大量的经济与政治利益。大数据如同一把双刃剑，在我们享受分析带来的精准信息的同时，大数据所带来的安全问题也开始成为企业的隐患。
1、黑客更显著的攻击目标：在网络空间里，大数据是更容易被“发现”的大目标。一方面，大数据意味着海量的数据，也意味着更复杂、更敏感的数据，这些数据会吸引更多的潜在攻击者。另一方面，数据的大量汇集，使得黑客成功攻击一次就能获得更多数据，无形中降低了黑客的攻击成本，增加了其“收益率”。
2、隐私泄露风险增加：大量数据的汇集不可避免地加大了用户隐私泄露的风险。一方面，数据集中存储增加了泄露风险，而这些数据不被滥用，也成为人身安全的一部分。另一方面，一些敏感数据的所有权和使用权并没有明确界定，很多基于大数据的分析都未考虑到其中涉及的个体隐私问题。
3、威胁现有的存储和防护措施：大数据存储带来新的安全问题。数据大集中的后果是复杂多样的数据存储在一起，很可能会出现将某些生产数据放在经营数据存储位置的情况，致使企业安全管理不合规。大数据的大小也影响到安全控制措施能否正确运行。安全防护手段的更新升级速度无法跟上数据量非线性增长的步伐，就会暴露大数据安全防护的漏洞。
4、大数据技术成为黑客的攻击手段：在企业用数据挖掘和数据分析等大数据技术获取商业价值的同时，黑客也在利用这些大数据技术向企业发起攻击。黑客会最大限度地收集更多有用信息，比如社交网络、邮件、微博、电子商务、电话和家庭住址等信息，大数据分析使黑客的攻击更加精准。此外，大数据也为黑客发起攻击提供了更多机会。黑客利用大数据发起僵尸网络攻击，可能会同时控制上百万台傀儡机并发起攻击。
5、成为高级可持续攻击的载体：传统的检测是基于单个时间点进行的基于威胁特征的实时匹配检测，而高级可持续攻击(APT)是一个实施过程，无法被实时检测。此外，由于大数据的价值低密度特性，使得安全分析工具很难聚焦在价值点上，黑客可以将攻击隐藏在大数据中，给安全服务提供商的分析制造很大困难。黑客设置的任何一个会误导安全厂商目标信息提取和检索的攻击，都会导致安全监测偏离应有方向。
6、信息安全产业面临变革：大数据的到来也为信息安全产业的发展带来了新的契机，还没有意识到这场变革的安全厂商将在这场变革大潮中被抛弃。大数据正在为安全分析提供新的可能性，在未来的安全架构体系中，通过大数据智能分析有效的将原来分割的安全产品更好的融合起来，成为不同的安全智能节点，这将是在大数据时代安全产业需要研究突破的重点。
据MacDonald预测，到2016年，40%的企业(银行、保险、医药和国防行业为主)将积极地对至少10TB数据进行分析，以找出潜在危险的活动。然而，供应商的产品格局却无法在短期内进行转变。现在，企业通常依赖于SIEM系统来关联和分析安全相关的数据，MacDonald表示目前的SIEM产品无法处理这么大的工作量，大多数SIEM产品提供接近实时数据，但只能处理规范化数据，还有些SIEM产品能够处理大量原始交易数据，但无法提供实时情报信息。
Gartner公司分析师表示，使用“大数据”来提高企业信息安全不完全是炒作，这在未来几年内这将成为现实。大数据将为安全团队带来新的工作方式，通过了解大数据的优势、制定切合实际的目标以及利用现有安全技术的优势，安全管理人员将会发现他们在大数据进行的投资是值得的。
RSA大中国区总经理胡军表示，“大数据将带动安全行业方向性的改变，安全与数据互相影响，未来共同促进发展。现今的安全需要更全面和广泛的可视性，敏捷的分析，可采取行动的情报和可扩展的基础设施。”
我们可以看到，大数据安全已经成为不可阻挡的趋势。在未来，不论是从商业需求角度，还是产业技术角度，大数据安全都将成为业界关注的热点。而在这场大数据安全的盛宴中，也必然会出现新老更替、推陈出新，这一切就让我们拭目以待吧!
信息来源：IT专家网数据中心
新型建材网https://www.xxjcwmall.com/
大数据+云计算：你还有隐私可言吗？
斯诺登事件一方面让一贯热衷自我标榜的美国政府陷入了前所未有的尴尬境地，另一方面也让民众对于网络信息通讯安全和个人隐私保护的话题再度升温。
我们无力对国家的安全问题去做讨论，这似乎更像外交事件，是各国政治家们相互博弈的过程。就连华为ceo任正非在表示不再主动拓展美国市场时也显示出了无奈——他暗示：水很深，不是我们一家民营企业可以驾驭的。
安全、隐私和便利似乎是悖论。美国总统奥巴马表示，“你不能在拥有100%安全的情况下，同时拥有100%隐私和100%便利。”(you can not have 100% security in the case， also has 100% privacyand 100% convenience.)逻辑上来说，奥巴马说的没错。当然，这也成了美国政府为自己开脱的最好借口。
但重要的是，是否我们在享受网络便利的同时，一定要以安全和隐私为代价？
“安全和隐私都是相对的，需要由具体的标准来定义，”一位不愿透露姓名的网络安全人事对我说，“对大众来说，不要随意让自己成为网络攻击的目标才是保护安全的最佳选择，如果是单纯的攻击和防御，那就成了矛和盾的游戏。”
我的朋友andy就能在尽享网络便利与保护安全和隐私方面做到游刃有余。多年前，他曾创立过一家用户数量达上千万人的网络存储公司。退出后，他进入网络广告领域，成为一名精通互联网广告技术的行业专家。运用不断提升的数据挖掘技术，互联网广告商们监测着网民的各种“习惯”。“这些经历让我不会再轻易在公共网络上留下牵涉到隐私的信息‘足迹’，”andy说，“人们喜欢免费，但免费是要付出代价的，毫无疑问，最大的代价就是个人信息。”
与其说安全和隐私问题是网络技术的问题，不如说是道德和法律问题。从技术的角度来说，当你的信息脱离你的视野，被置于第三方服务器上时，你就难以掌控它暴露于谁的眼球之下，并被如何使用了。
事实上，无论是黑客，还是网络安全人士，乃至各种网络应用软件的缔造者——软件工程师，他们大多是名副其实的“互联网隐士”。是的，他们缔造了互联网的世界，也帮助从商者创造了数不尽的商业价值，但却成为互联网边缘逍遥的“旁观者”。
大数据时代，人们的分享欲被提升到了极致。过去，你还只是把一些无关紧要的碎片信息放到网上，现在你恨不得把整个电脑的硬盘都搬到公共网络上。“目前对大多数用户来说，当软件的体验做到极致时，安全和隐私的问题就会被抛到九霄云外，”上述安全人事说，“但当你醒悟之后，一切就都不在你的控制之下了。”
让人们重新退回到没有网络的时代？那是不可能，也不现实的。“想要鱼和熊掌兼得，私有云未来可能会是很多人的选择。”上述安全人士认为。
几年前，亚马逊副总裁、网页架构师james hamilton就认为：私有云计算没有前途，原因在与其无法达到共有云计算带来的规模效应。此后几年，亚马逊迅速发展为全球最大的第三方云平台服务商之一，服务对象大多为面相个人用户、对安全和隐私要求不高的商业网站和用户。然而，在人们对安全和隐私逐渐有了更多认识的今天，私有云的僵局可能会被打破。
首先，多设备、小范围的分享需求给个人私有云提供了发展的空间。现在，家庭拥有手机、平板、两台以上pc的家庭已经越来越多。这些设备之间的数据沟通如果通过公有云网络将会是严重的带宽浪费，而事实上它们之间便捷的沟通需求正在变得越发强烈。通过公有云传输数据的方式将被淘汰，取而代之的很可能是个人多设备间的私有云联通方式。
在信息分享范围方面，私有云可以满足大多数人的需求。多数人只是希望在个人可控的范围内分享信息。这个圈子可大可小，小则几个成员，大则上千人，私有云对于这种小规模的分享既迅速，又有效。而共有云最适合提供的是几百万人，乃至上亿人的分享服务，这种方式在小圈子的分享应用中同样不经济——要知道，服务器和带宽的成本一点也不便宜。对于私有云分享者来说，唯一的挑战是在分享圈子中保持一台终端在线——在今天，这似乎并不算是难题。
其次，私有云可以极大增强人们在安全和隐私方面的保护。前文我们说过，解决安全问题的最好方案是不要让自己成为被攻击的对象。相比于树大招风的公有云，私有云的隐秘性要高得多。攻击者没有时间，或者也没有兴趣对于一些价值不大的私有团体发起进攻，更何况他们可能都不知道“你是谁，你在哪里”。但公有云则不同，越是热门的网站，或聚集数据越多的应用，就越可能成为黑客的攻击目标——他们想找的可能并不是你，但你却意外成了他们攻击成果的副产品。
其三，在技术层面上，私有云已经可以做到跨互联网的沟通。私有云已经不再是以往的信息孤岛，当需要时，通过协调服务器，“私有云”可以与外界发生沟通。
然而，在商业模式上，私有云服务面临创新。由于不再占有用户数据，私有云服务商目前仍然以传统提供服务收费的方式存在。虽然在成本投入上，私有云远低于公有云，可以以较低的成本运营，但让习惯了免费的用户选择付费服务，那可能还有待时日。能否创新出适合私有云发展的互联网模式，将成为决定私有云应用能否被大规模推广的核心因素。
对于个人来说，未来互联网的“云”应该是“公私合营”的状态，而其中80%的信息应该存在于私有云中。如果你很关注你的网络安全和个人隐私，那么从现在开始，就可能不得不考虑稍稍控制一下你的分享欲了! 新型建材网https://www.xxjcwmall.com/
王恩勇：大数据是智慧城市的核心资源
2013年2月5日，国务院出台了《推进物联网有序健康发展的指导意见》，从政策层面正式把大数据纳入到物联网产业领域。大数据作为建设智慧城市的重要信息技术手段，将越来越发挥其重要的支撑作用。同方股份有限公司作为“世界品牌500强” 及“中国电子信息百强”企业，多年来在电子信息产业领域扮演重要角色。如今，大数据已成为支撑物联网及智慧城市等城市信息化建设的重要驱动力。为此，站在科技最前沿，把握大数据发展脉动，已成为IT企业发展的重要引擎。
日前，同方股份有限公司物联网产业本部副总经理王恩勇，就大数据与智慧城市的发展现状、趋势及二者的结合发展进行了深入探讨。
智慧城市是信息化的高级显现
信息化的发展是一个城市迈向智慧的基础，对此，同方王恩勇表示，智慧城市是一个城市进化的高级范畴，处于高速发展阶段。从一个城市的角度来讲，要建设智慧城市，首先要对城市进行分析，明晰城市的自身特点，在此基础上制定城市发展目标，同方在目标基础上再帮助它进行梳理，制定细分的指标。一个城市有了这些指标体系之后，就可以进行数据上的针对性收集和分析，此后再让各委办局提供相关数据，这是建设智慧城市的基础。
信息孤岛成智慧城市的发展障碍
目前我国智慧城市的建设高速进行，但还存在诸多障碍和问题，其中最关键的就是信息孤岛问题。对此，同方王恩勇表示，我国部委的每个部门都存在所谓的信息孤岛问题，对于一个政府领导和管理层来讲，很难从全局来掌握信息。他还据此举了一个例子：我国有一个电子政务信息化的十二金工程，整体上搭建了行业的业务系统，并在此基础上收集行业相关的纵向数据，数据生成后却没有进一步分享，就造成了所谓的信息孤岛问题，跨部门、跨行业的数据和信息都不能打通。
同方大数据对此的解决办法是打通部门间的数据分享机制，但现实中的拓展遇到诸多障碍。据了解，跟安全相关的数据涉及到如卫生、交通、环保、气象等行业，但各委办局不愿意把这些数据都报到经济办，使经济办平台成为空壳，突发事件一旦发生很难解决，这也是目前智慧城市发展的一大问题，并且越来越突出，成为国家下一步、包括智慧城市建设必须要解决的问题。
大数据是智慧城市的核心资源
王恩勇表示，大数据是智慧城市的核心资源。同方要做的就是把真正的智慧城市跟大数据结合起来。同方提出的“城市运行体征”概念非常形象化的解释了一个智慧城市该有的指标体系——比如一个人，有很多指标，身高、体重等等都是基本指标。对于一个城市也一样，能否正常的运转、运行也会涉及到很多指标，包括日常监测、公共安全、民情采集与服务、政府管理效能考评、资源统筹与经济监测。通过设定这样一些指标，考察政府完成指标的情况，才能知道这个城市是否正常、有序、高效的运转。通过这样的系统化管理，才能真正把智慧城市、大数据充分结合起来，其中，大数据是智慧城市建设的核心资源，离开大数据，城市无法做到“智慧”。同方助力政府建设数据中心的目标就是帮助城市收集相关数据供决策使用，让数据中心真正成为政府的参谋。
新型建材网https://www.xxjcwmall.com/
大数据应用对教育领域正在发生革命性影响
软件平台向全世界免费开放由来已久，这是开源软件的做法，其背后的理念是通过开放式的协同合作打造最好的平台，为社会进步贡献最大的价值，但课程向全世界学习者免费开放，确实是这两个大学的独特之处，因为收费才是同类网站赢利的主要手段。
按理说，以哈佛和麻省理工的名气，即使收点钱，全世界的学习者也会趋之若鹜。它们之所以免费，有其特殊目的。我在以前文章中提到，新一代的在线学习平台和过去的重要区别，在于其增加了行为评价和学习诱导的成分。向全世界开放，让最多的学习者在上面学习、使用，哈佛和麻省理工就可以收集最多的数据，从而研究世界各国学习者的行为模式、打造更好的在线平台。例如，通过记录鼠标的点击，可以研究学习者的活动轨迹，发现不同的人对不同的知识点有何不同的反应，用了多少时间，哪些知识点需要重复或强调，哪种陈述方式或学习工具最有效。记录单个个体行为的数据似乎是杂乱无章的，但当数据累积到一定程度时，群体的行为就会在数据上呈现一种秩序和规律。通过分析这种秩序和规律，未来的在线学习平台才能弥补没有老师面对面交流指导的不足。
这个平台到底能收集多少数据？以麻省理工开放的代号为6.002X的电子电路课程为例，其校长总结说，注册这一门课的人比整个麻省理工所有在世校友总数还多。观一斑而知全豹，这个平台最终会有多少数据，也就可想而知了。
不难看出，未来的在线教育平台之所以强大，在于其能收集、分析、使用大量的数据。数据是对信息的记录，数据的激增意味着人类的记录范围、测量范围和分析范围在不断扩大，也意味着知识的边界在不断延伸。教育领域正在发生的这场革命，其深厚的技术背景就是由于信息技术的进步，人类收集、存贮、分析、使用数据的能力实现了巨大跨越。这种现象也被称为“大数据”(Big Data)。
大数据将对人类社会发生的影响难以限量，以行为评价和学习诱导为特点的在线教育平台只是这个大潮在教育领域掀起的一朵浪花。人类社会的知识可分为两大类：自然科学和社会科学。自然科学的研究对象是物理世界，讲的是“精确”，卫星上天、潜艇下海，差之毫厘，就会谬以千里。社会科学研究的是社会现象，如经济学、政治学、社会学，它也追求精确，但因研究主体是人，导致了“测不准”，所以社会科学常被称为“准科学”。由于近年来信息技术的进步，数据的累积，个人在真实世界的活动得到了前所未有的记录，这种记录的粒度很高，频度在不断增加，为社会科学的定量分析提供了极为丰富的资源，从而可以测得更准、计算得更加精确，有科学家相信，借助大数据的推力，社会科学将脱下“准科学”的外衣，全面迈进科学的殿堂。
对此，麻省理工学院的Brynjolfsson教授曾形容说，大数据的影响好比几个世纪之前人类发明的显微镜。显微镜把人类对自然界的观察和测量水平推进到了“细胞”级别，带来了历史性的进步和革命。而大数据将成为观察人类自身行为的“显微镜”，这个新的显微镜将再一次扩大人类科学的范围，推动人类知识增长，引领新的经济繁荣。
当然，除了学习者的行为数据，在教育领域这场革命当中扮演重要角色的还有课程视频的数据、教案的数据等。随着在线平台的推广和普及，越来越多的老师将自己的授课视频放上网。美国有个叫Udemy的网站，老师可以根据自己发放视频的点击率获得报酬。今年5月份，该网站宣布，老师中年收入最高的已经超过20万美元。不久前，美国又出现了一个新的网站，该网站提供工具让学习者对现有视频按照自己的意愿进行编辑剪接并重新发布，可以想象，这又会产生海量的数据，最重要的是，互联网上的眼睛将使所有错误无所遁形，在无数人的编辑之下，知识传播的形式将不断优化、效率会不断提高。在数据的不断累积当中，最好的视频将会沉淀下来，成为经典的学习材料。除了课程视频，教案也成为美国在线平台的交易产品，佐治亚州的学前班老师DeannaJump，是销售榜上的状元，她的教案在TeachersPayTeachers这个网站上的成交量已经超过70万美元，她目前的月收入达6万美元，比大多数老师一年的工资还高。教案的交易，甚至出现了由学校牵头组织团购，统一发放给全校老师参考使用的案例。
可以想象，这些新的现象会给教师这个职业带来巨大的冲击和改变。我们知道，无论是中小学教师，还是大学的授课型教师(Teaching Pro-fessor，指非研究性的大学教职人员)，都不是高收入群体，行业的竞争性也普遍不强，因为局限于课堂、受众较小、薪酬不高，也吸引不到最好的人才。中国的情况如此，美国也一样，但美国这股正在兴起的在线教育浪潮，已经开始造就一批万众瞩目的教育明星和通过教育致富的高收入群体。这将提高教师这个职业的吸引力，增强教师这个行业的竞争性，新的人才可能涌入，旧的格局必将打破。回顾前文，一句话，无论是对学习者、教师抑或学校，或是整个教育产业，在线教育都将催生革命性的变化。新型建材网https://www.xxjcwmall.com/
我国将首次发布电力大数据白皮书
中国电机工程学会电力信息化专委会拟编制发布《中国电力大数据发展白皮书（2013）》，这将是我国首次就电力大数据问题发布白皮书。作为电力信息化专委会秘书处所在单位，国网信息通信有限公司承担白皮书的调研和编写工作。
电力工业作为国家基础性能源设施，与社会发展和人民生活息息相关，是国民经济社会健康稳定持续发展的重要条件。积极应用大数据技术，推动中国电力大数据事业发展，对实现中国电力工业科学发展具有极大的现实意义。在白皮书编纂过程中，相关人员充分听取了行业内外专家的意见，并在此基础上逐步形成了白皮书的编制思路。白皮书全文12000余字，分为引言、迎接电力大数据时代、展望电力大数据时代、迈向电力大数据时代、结束语等五部分。
白皮书第一次提出了电力大数据的定义，并同时指出重塑电力核心价值和转变电力发展方式是中国电力大数据的两条核心主线。白皮书还第一次提出了电力大数据的特征即3V、3E，“3V”是指体量大（Volume）、类型多（Variety）和速度快（Velocity），“3E”指数据即能量（Energy）、数据即交互（Exchange）、数据即共情（Empathy）。
新型建材网https://www.xxjcwmall.com/
电力行业如何应用大数据
大数据不是ICT行业的专利。目前，金融、广电等传统行业都在积极借助大数据的力量，帮助企业实现转型。在电力行业，大数据已经被视作企业战略层面的重要议题：国家电网就在北京亦庄、上海、陕西建立了三个大数据中心，其中北京亦庄大数据中心已安装超过10200个传感器，每个月可节约的能耗价值大概为30万元。那么，电力行业如何应用大数据?在电力行业面临的挑战中，电信业能找到哪些共性，电信业又有怎样的机遇?电力行业的应用策略中有哪些值得电信业借鉴?大数据在公共管理、零售、互联网、电信、金融等众多行业快速推广，市场规模迅速扩大，2012年国内大数据市场规模已达4.5亿元。IDC预测，2016年中国大数据市场规模将达6.17亿美元，而全球规模将达238亿美元。大数据已经渗透到当今的每个行业，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。大数据超过了传统数据库系统的处理能力，为了获得数据中的价值，必须选择新的方式进行处理。电力大数据是大数据理念、技术和方法在电力行业的实践，是大数据应用的重点领域之一。对内：优化管理模式电力行业数据量大、类型多、价值高，对于电力企业盈利与控制水平的提升有很高的价值。有电网专家分析称，每当数据利用率调高10%，便可使电网提高20%-49%的利润。和电信行业一样，电力行业对大数据的使用也分为内部应用和外部应用。内部应用指运用大数据优化电力企业管理模式，提升电力企业经营管理水平，主要包括以下几个方面。
——支持基建决策大数据技术有助于电力企业基础设施选址、建设的决策。例如丹麦风电公司VESTAS计划将全球天气系统数据与公司发电机数据结合，利用气温、气压、空气湿度、空气沉淀物、风向、风速等数据以及公司历史数据，通过使用超级计算机及大数据模型解决方案，来支持其风力发电机的选址，以充分利用风速、风力、气流等因素达到最大发电量，并减少能源成本。此外，VESTAS还将添加全球森林砍伐追踪图、卫星图像、地理数据以及月相与潮汐数据，以便更好地支持基础建设的决策。
——升级客户分析一方面，通过使用电力企业庞大的历史销量数据，进行用户用电行为分析和用户市场细分，使管理者能有针对性地优化营销组织，改善服务模式。另一方面，通过与外界数据的交换，挖掘用户用电与电价、天气、交通等因素所隐藏的关联关系，完善用户用电需求预测模型，进而为各级决策者提供多维、直观、全面、深入的预测数据，主动把握市场动态。
——提高智能控制大数据技术将加速电力企业智能化控制的步伐，促进智能电网的发展。例如，通过为电力基础设施布置传感器，动态监控设施运行状况，并基于大数据分析挖掘理念和可视化展现技术手段，采用集成了在线检测、视频监控、应急指挥、检修查询等功能的“智能在线监控与可视化调度管理系统”，有效改变运维方式，从萌芽阶段消除部分运维故障，实现运维智能化。
——加强协同管理整合电力行业生产、运营、销售、管理的数据，实现电力发电、输电、变电、配电、用电、调度全环节数据共享，以用电需求预测为驱动优化资源配置，协调电力生产、运维、销售的管理，提升生产效率和资源利用率。此外，电力企业各部门数据的集成将优化内部信息沟通，使财务、人事等工作的开展更顺畅，有助于企业实行精细化运营管理，提高集团管控水平。
对外：丰富增值业务外部应用指利用电力行业大数据可获得的社会效益，主要包括以下方面。
——丰富增值服务利用电力行业数据可给用户提供更加丰富的增值服务内容。例如，通过给用户提供其各月份分时明细用电视图，可让用户了解自身用电习惯并能根据需要进行调整，同时也使得电力收费过程更透明。随着无线M2M传感器和大数据分析的普及，智能恒温控制器等新型工具进入大型楼房和消费者家庭成为可能，未来这些技术将给用户带来很大的节能空间。
——提供经济指导作为重要经济先行数据,用电数据是一个地区经济运行的“风向标”，可作为投资决策者的参考依据。美国加州大学洛杉矶分校的研究者根据大数据理论，将人口调查信息、电力企业提供的用户实时用电信息和地理、气象等信息全部整合，设计了一款“电力地图”。该图以街区为单位，可以反映各时刻的用电量，并可将用电量与人的平均收入、建筑类型等信息进行比照。通过完善“电力地图”，能更准确地反应该区经济状况及各群体的行为习惯，以辅助投资者的决策，也可为城市和电网规划提供基础依据。
大数据智能化电力企业管理注意：确保数据质量大数据时代为电力行业带来了新的发展机遇，同时也提出了新的挑战。通过良好的大数据管理，可切实提高电力生产、营销及电网运维等方面的管理水平。为实践大数据战略，应做好以下准备工作。做好数据收集和治理工作。如果数据错误、过时或者片面，分析结果将是不正确的；而如果数据冗余、混乱，则会增加获取数据有效信息的难度，并使数据处理效率低下。因此，确保数据高质量、规范化、格式统一是大数据应用的基础。提高相关技术能力。有了优质的数据后还需要足够的数据存储、分析和处理能力，才能充分有效地应用数据。电力企业应提升海量数据存储、分布式计算、数据挖掘、统计分析、数据可视化等技术，以满足大数据战略的需求。培养电力大数据人才。大力培养大数据技术专业型人才，尤其是技术与数据建模分析的复合型人才，是大数据战略实行的保障。挑战中见需求：如何从大数据中提取价值质量较低、共享不畅、防御脆弱、基础不牢，对于这些电力行业推进大数据的困扰，电信行业是不是也有似曾相识的感觉?这些问题中的一部分，电信业同样需要深思；还有一些问题，则恰恰是电信业的长处，是电信业推进电力行业信息化的机遇。数据质量较低，数据管控能力不强。大数据时代，数据质量的高低、数据管控能力的强弱直接影响了数据分析的准确性和实时性。目前，电力行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面的表现均不尽如人意，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。如何从海量数据中提取有价值的信息?这也是电信业面临的问题。有观点认为，可以用智能信息基础设施替换复杂的孤立的数据库，让企业能够在需要时捕捉、存储信息。也有观点认为，可以倚靠软件的处理能力来甄别“垃圾”数据和“有价值”数据。究竟哪种方式更为有效，目前仍无定论。而无论哪种情况，都需要制定一个数据采集的标准，在时间、精度上进行规范，从而为后续的数据分析打好基础。数据共享不畅，数据集成度不高。大数据技术的本质是从关联复杂的数据中挖掘知识，提升数据价值，单一业务、类型的数据即使体量再大，缺乏共享集成，其价值就会大打折扣。目前，电力行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储的现象较为突出。打破企业的“门户之见”，在行业中建立一个资源池，让使用者可以按需获取数据资源。从电信业的角度来看，现在，电信运营商之间的合作在不断推进，例如，运营商开发了融合的手机游戏计费平台；在北京电信网上营业厅微信平台上，用户不仅可以自助查询电信业务，还能查询联通和移动业务的使用费，这样共享数据资源的经验也可在大数据的应用过程中加以推广。防御能力不足，信息安全面临挑战。电力大数据由于涉及众多电力用户的隐私，对信息安全也提出了更高的要求。电力企业地域覆盖范围极广，各类防护体系建设不平衡，信息安全水平不一致，特别是偏远地区单位防护体系尚未全面建立，安全性有待提高。行业中企业的安全防护手段和关键防护措施也需要进一步加强，从目前的被动防御向多层次、主动防御转变。建立与大数据相适应的安全和隐私保护机制，通过技术手段和加强企业自律来保证数据的安全。承载能力不足，基础设施亟待完善。电力数据储存时间要求以及海量电力数据的爆发式增长对IT基础设施提出了更高的要求。目前，电力企业大多已建成一体化企业级信息集成平台，能够满足日常业务的处理要求，但其信息网络传输能力、数据存储能力、数据处理能力、数据交换能力、数据展现能力以及数据互动能力都无法满足电力大数据的要求，尚需进一步加强。在这方面，电力行业和电信业各有优势。尽管电力行业也在进行宽带建设以及智慧社区的建设，但是，所谓“术业有专攻”，在IT基础设施尤其是网络基础设施上，电信业在运维、计费等方面有着得天独厚的优势。同时，在数据中心的建设上，电力行业对以电能为代表的能耗问题又有着丰富的经验。因此，两个行业不妨加强合作，实现共赢。相关人才欠缺，专业人员供应不足。大数据是一个崭新的事业，电力大数据的发展需要新型的专业技术人员，例如大数据处理系统管理员、大数据处理平台开发人员、数据分析员和数据科学家等。而当前行业内外此类技术人员的缺乏将会成为影响电力大数据发展的一个重要因素。加强大数据人才的培养，鼓励企业内部在大数据领域的创新。同时，借助制造业的专业人才也是一个不错的办法。
大数据智能化电力企业管理策略中得启示：打破行业、企业数据壁垒从中国电机工程学会信息化专委会发布的《中国电力大数据发展白皮书(2013年)》可以看出，电力行业将从以下方面推进大数据战略。这些策略也能为同样在推进大数据战略的电信业带来一些启示。规划先行、加快示范。设定长期的电力大数据应用策略，积极开展前期研究，结合电力业务性质以及发展需求，从数据规模、增长情况、多样化程度以及数据分析的需求等方面出发，全方位论证电力大数据的发展方向和道路，制定中长期电力大数据发展规划，设立切合实际的目标和优先级、明确的预算与期限。在规划的基础上，面向电力生产、用户用电、企业运营等数据量大的领域，结合实际情况，找准最易实施、最易出效果、需求最迫切的环节，引导行业厂商参与，关注电力工业共性需求和特点，快速开展电力大数据实践应用，从简单分析到深入分析，再到实现智能挖掘，循序渐进，逐步深入。数据治理、行业共享。建立电力数据管控体制，定义完整的电力数据管控流程和电力数据责任体系，对电力数据进行从数据获取到数据加工、数据分发再到数据使用的数据全生命周期管理。在提升电力数据管控能力的基础上，开展数据治理和数据质量评估工作，有效提升电力数据的及时性、准确性和完整性。打破电力行业中企业之间、业务之间的数据壁垒，推动电力企业间的数据开放共享，建设电力行业统一的元数据和主数据管理平台，建立统一的电力数据模型和行业级电力数据中心，开发电力数据分析挖掘的模型库和规则库，挖掘电力大数据价值，面向行业内外提供内容增值服务。人才培养、生态建设。结合电力大数据发展需求，行业内统筹考虑、统一规划，开展专业人才特别是电力数据科学家的培养工作。积极推动电力大数据技能认证工作，推进电力企业的分析竞争型企业文化建设，为大数据人才提供发展空间，为电力大数据发展提供坚实的人力资源保障。智慧电力、智慧城市。电力大数据是智慧城市的基石，紧密围绕智能电力系统的发展开展电力大数据的应用实践。以重塑电力核心价值、转变电力发展方式为主线，在宏观层面重建以人为本的核心价值，在中观层面重建以科学发展为根本的核心能力，在微观层面重建以客户需求为导向的业务流程，实现电力工业更安全、更经济、更绿色与更和谐的发展。作为覆盖城市和乡村、具备同步传输能源与信息的最大人造网络，智能电力系统天然成为未来智慧城市建设的基础与核心，以电力光纤到户和电力通信网为依托，进一步拓展电力大数据实践，构建家庭用电自动化和能效管理、小区的一体化信息平台、智慧城市的能效管理平台和智慧城市一体化信息服务平台，将智慧从电网带到小区再带到城市，最终实现电力发展方式和城市发展方式的共同转变。电力行业如何理解大数据?如仅从体量特征和技术范畴来讲，电力大数据是大数据在电力行业的聚焦和子集。但是，电力大数据不仅仅是技术进步，更是涉及整个电力系统在大数据时代发展理念、管理体制和技术路线等方面的重大变革，是下一代智能化电力系统在大数据时代下价值形态的跃升。电力大数据的特征可以概括为3“V”3“E”。其中3“V”分别是体量大(Volume)、类型多(Variety)和速度快(Velocity)，3“E”分别是数据即能量(Energy)、数据即交互(Exchange)、数据即共情(Empathy)。重塑电力核心价值和转变电力发展方式是电力大数据的两条核心主线。电力大数据通过对市场个性化需求和企业自身良性发展的挖掘，驱动电力企业从“以电力生产为中心”向“以客户为中心”转变。电力大数据通过对电力系统生产运行方式的优化、对间歇式可再生能源的消纳以及对全社会节能减排观念的引导，能够推动中国电力工业由高耗能、高排放、低效率的粗放发展方式向低耗能、低排放、高效率的绿色发展方式转变。此外，电力大数据的有效应用可以面向行业内外提供大量的高附加值的内容增值服务。
信息来源：北极星电力软件网
新型建材网https://www.xxjcwmall.com/l
大数据将重塑能源系统
随着科学技术的快速发展，文字、图片、音频、视频等数字化信息呈指数式增长，大数据时代已经来临。全球信息总量每两年约增长一倍，2011年全球创建和复制的数据总量有1.8ZB （1021 bits），预计2020年将达到35ZB，是现在的50倍。
按照IBM的4V理论，大数据是涵盖规模性、多样性、高速率和真实性四个维度的离散型海量数据。大数据具有规模海量、多源异构、高噪声、强时效、社会化和突发涌现等特点，它已渗透到各行各业，成为与物质资产和人力资本并列的重要生产要素，引发了全球性关注。
能源行业作为国民经济与社会发展的基础，正在受到大数据的深刻影响，21世纪必须通过大数据科技创新来应对长期可持续发展面临的能源问题挑战。
大数据将深刻影响能源系统
大数据从增加清洁能源供应、控制能源消费、降低能耗，到绿色建筑和智能电网建设都将发挥巨大作用。
以智能电网为例，电网互联是电力系统发展的客观规律，有必要加强研发大规模互联电网的安全稳定运行技术、先进可靠的配电网与共用技术及微电网技术为主的分布式电力系统。因此，采集、分析并有效应用大数据是解决能源与公共事业关键业务的重要因素，可以实现向智能电网转型、改善分布式可再生发电的资产预报与调度、提高发电效率以及改变客户运营模式。目前，主要发达国家正纷纷着手相关研发与部署。如2011年7月初13家欧洲工业集团签署“绿能输送”项目实施谅解备忘录，开展建设跨越地中海的高压电网项目的可行性研究。
2012年3月美国能源部斥资2500万美元建立可扩展数据管理、分析与可视化（SDAV）研究所，帮助科学家对能源大数据进行有效管理和可视化处理，以促进更加卓有成效的科学研究和发现。
日本经济产业省组织东芝、东京电力等286家企业也成立了“智能社区联盟”联合体，欲建立以智能电网为基础格局的城市布局与社会系统，拉开了官民并举开发智能电网的大幕。
我国也不甘落后，通过“973”计划、“863”计划及科技支撑计划及重大专项计划，加大对下一代互联网与能源融合的相关技术的研发支持，促进能源智能化与清洁化的发展。
有效利用是重点
目前，能源领域的大数据应用主要有4个方面。第一，促进新产品开发。美国通用公司通过每秒分析上万个数据点，融合能量储存和先进的预测算法，开发出能灵活操控120米长叶片的2.5-120型风机，并无缝地将数据传递给邻近的风机、服务技术人员和顾客，效率与电力输出分别比现行风机提高了25%和15%。
第二，使能源更“绿色”，其关键是利用可再生能源技术，如冰岛的Green Earth Data与Green Qloud公司，依靠冰岛丰富的地热与水电资源驱动为数据中心提供100%的可再生能源。
第三，实现能源管理智能化。能源产业可以利用大数据分析天然气或其他能源的购买量、预测能源消费、管理能源用户、提高能源效率、降低能源成本等；大数据与电网的融合可组成智能电网，涉及发电到用户的整个能源转换过程和电力输送链，主要包括智能电网基础技术、大规模新能源发电及并网技术、智能输电网技术、智能配电网技术及智能用电技术等，是未来电网的发展方向等。
第四，改变社会，为城市基础设施、能源、交通、环境等带来机遇。大数据使城市越来越智能化，纽约、芝加哥与西雅图向公众开放数据，鼓励建设多样化的智能城市。
重塑能源智能管理
目前，IBM已将数据分析作为其大数据战略的核心，共投资160亿美元进行30次数据分析的相关收购，对其海量数据分析平台InfoSphere BigInsights等相关产品进行了一系列创新，并在电力产业提出电网转型、提高发电效率及顾客运营转型等倡议，以更好地支持能源大数据处理。
当前研究表明，太阳能农场电网智能管理需要设备控制PV板、转换器等，以优化全天各种条件下所发电力，有效的设备管理能提高10%的生产率。世界各地电力公司对实时的广域、监测、保护及控制系统的需求与日俱增，同步测量技术将成为该系统的有效支撑。智能电网仅仅从单向电网转向双向电力系统网络还远远不够，真正的需要是建立一套完整的能源和作为电、热、氢气、生物和非生物燃料载体的智能管理系统，这需要超越智能电网和考虑智能能源网络的明确转变。
中国能源开发和利用技术已具备一定的基础，并形成相当规模的产业，但对能源技术创新价值链的艰巨性认识不足，对能源智能管理的认识与研究则处于起步阶段，储能技术与智能电网是促进可再生能源可持续发展的关键；企业有必要建立能源智能管理系统，并分析能源智能管理系统的特点、主要功能和实施运行要点。
大数据时代已经到来。大数据对有效利用能源具有重要影响，并将重塑能源系统已成为社会各界的共识，然而，能源大数据涌现、演化与传播的机理是什么？能源业务智能将发生何种改变？对能源智能管理再造提出怎样的要求与挑战？需要何种能源智能决策系统才能应对这些挑战？
解决这一系列科学问题，不仅有助于发现信息与能源融合的新疆域和新知识，揭示大数据时代能源智能管理与决策的内在规律，而且有望为能源的可持续发展奠定理论与技术基础，因此具有十分重要的理论价值与现实意义，亟须引起能源、信息、科技政策等相关领域专家、学者的重视。
新型建材网https://www.xxjcwmall.com/
物联网引入大数据技术迫在眉睫
无论是大数据，还是物联网，在我国都处于起步阶段，至于两者的交叉领域目前人们更是涉及甚少，而物联网所产生数据本身的复杂性，更是进一步加大了物联网领域大数据落地的难度。
形象地讲，物联网是物体对外界进行感知并做出反应的过程，在这一过程中，无论是感知外界还是做出反应，都涉及数据的产生和处理。尤其是在某些领域，比如安防、移动医疗、智能交通，更是由于应用的特殊性而会产生海量数据。
以安防为例，为了有效发现异常情况，系统需要对所监控的区域进行7×24小时监控，这就会产生海量的视频数据，出于事后追踪的考虑，这些数据往往需要保存一段时间，此外，系统还需要对不同时刻的数据进行对比分析，以便能够在异常情况发生时做出及时反应。而在移动医疗领域，为了实现不同地点之间医生资源的共享，统一标准的病情诊断不可或缺，因此很多医院都主张对患者进行CT检查，而一个病人的CT往往会达到几十个GB，按照每年我国住院病人多达两亿人次，以及患者的数据通常需要保留50年以上的规定，由移动医疗产生的数据量也相当可观。
使得情况进一步严峻的是，在ITU等看来，物联网所需要分析的数据，不仅仅是传感器收集到的数据，还应该包括虚拟物件所产生的数据，因为只有将物联网数据放在虚拟网络产生的数据的大背景下，才能挖掘出更大的数据价值，目前来看，这些数据主要来自社交网络、政务网站。而邬贺铨表示，Teitter网站每天增加2亿条微博，Facebook上每天上载2.5亿张照片，到2015年，大概1个人要用5年时间才能看完互联网上一秒钟所传的所有视频，由此可见互联网上数据量之庞大。
尽管数据呈现海量增长态势，数据的处理能力却没有同步增长。“全球新产生的数据每年增长40%，全球信息总量两年就可以翻番，而对新增数据的处理能力以及利用率的增长则不足5%。”邬贺铨表示。因此，加快引入大数据技术以推进物联网发展已经迫在眉睫。
物联网运营者也认识到了大数据运用的重要性。中国电信股份有限公司上海研究院院长李安民表示：“根据实际经验，的确在很多应用中，物联网不仅仅是单一的物联网技术，还涉及对大数据、云计算等技术的有效融合。物联网的普及将城市引入大数据时代，我们需要关注大数据的应用需求，从技术、业务、商业模式等方面提前做好应对。”
不过，大数据在物联网的应用并非那么简单。这首先是由物联网数据的特点决定的。
邬贺铨认为，物联网产生的大数据与一般的大数据有不同的特点。物联网的数据是异构的、多样性的、有噪声的，其增长率非常高，从而增加了数据处理分析的难度。此外，物联网的数据有明显的颗粒性，其数据通常带有时间、位置、环境和行为等信息，物联网数据也是社交数据，但这又不是人与人的交往信息，而是物与物、物与人的社会合作信息。因此，物联网的混搭使得只有将物联网的数据与通过社交媒体所获得的数据以及政府发布的信息相结合，才能方便系统做出更科学的决策。
抛开物联网领域的特殊性，大数据产业自身发展也存在一些障碍。虽然近年来大数据概念火热，然而大数据的发展呈现出了不平衡性，一方面是技术发展较快，另一方面如何从大数据中获取价值，现在仍在讨论阶段。尤其是电信运营商，虽然也认识到了大数据的价格，但是对于自身在大数据产业中的定位，以及大数据的商业模式，现在还没有形成清晰统一的认识。这一状况制约了大数据的发展，从而也影响了大数据在物联网领域的应用。
考虑到大数据在物联网领域应用的紧迫性和相对落后的状况，邬贺铨认为加快引入大数据已经刻不容缓。针对海量数据的特点，邬贺铨认为，虽然数据资源非常重要，但是许多数据是复杂冗余的信息，比如在视频监控中，人们需要关注的是视频信息中的异常事件，而不是常规的、没有变化的数据，因此要兼顾分析历史数据和新的数据，压缩掉那些重复的数据，重点保存分析异常的突发数据。
颗粒化、非结构化数据也是物联网中大数据的一大特点。尽管这种特性的数据处理起来非常复杂，然而它们对系统作出正确的决策至关重要，因此解析非结构信息是不可忽视的重要环节。此外，还可以通过统一物联网架构设计，将非结构化的数据变得结构化，将不同系统之间不同结构的数据尽可能地统一。
不同部门之间数据信息的共享有助于物联网发挥更大的价值，因此邬贺铨认为，虽然目前看来将电力、交通、工业等不同行业合为一个物联网不大可能，但是将不同行业的数据信息进行共享还是可行的。
而对于大数据商业化进度相对滞后的问题，有专家认为，一方面物联网的发展需要业界加快对大数据应用模式和商业模式的研究，另一方面物联网的应用也有助于明晰大数据的商业模式，为大数据发展提供契机。 新型建材网https://www.xxjcwmall.com/
保险业大数据：从风险预判到风险解释
大数据的本质是要解决预测问题，保险业经营的核心也是基于预测，是预测风险。所以大数据时代对于保险业来讲，既是机遇，更是挑战。”这是人保财险执行副总裁王和对于大数据之于保险业的意义理解。
目前，保险业正日益被呈几何级数增长的海量信息包围，它们来自业务数据、财务数据，以及保险网销、电销渠道积蓄的大量视频、语音、图片、网络日志信息等非结构性数据。经过多年发展，这一数据量已达到100TB以上级别。在数据采集来源多元化，数据存储成本直线下降的背景下，保险企业对大数据的分析、掌控能力，成为支撑科学决策及服务创新，构建企业核心竞争力的关键。大数据分析与管理逐渐成为保险信息化建设进程中，与核心业务系统建设、渠道建设和前置系统建设同等重要的领域之一。
因此，如何正确地实施大数据项目，认清技术差距，做好IT储备，提炼战略价值，无疑是大中型保险机构IT高管着眼未来的共同焦点。
挖掘数据背后双赢价值
“保费的定价基于大数法则，是基于一个人的性别、年龄、职业等，及与风险具有的相关性，作为保险产品定价的因素。保险行业的典型特征可以理解为通过数据来对风险进行一个预判，保险经营的核心也是基于预测。”王和表示。
这就不难理解保险业对于数据信息及数据分析结果的紧密依赖性。但目前保险业传统且普遍的做法是通过对保险用户行为的研究分析，如所购险种、过往出险率及风险偏好等信息，采用抽样调查方法加以分析，最后得出结论。由于样本抽取存在的随机性，基于此确定的保费价格其实并不一定适用于所有投保用户。
举个简单例子，在车险领域，保费定价因素——性别、年龄、职业完全相同的三个人，开车的风险一样么?一定不同。因为每个人所购车辆价格不同、使用年限不同，驾车人的技术、行为特征、厌憎爱好均不相同；而在家庭单位中，不同家庭成员对首辆车和第二辆车使用的频次也不尽相同。保险机构试想用同一种定价机制去面向市场，很可能影响用户接受度，导致用户流失。
换个角度，如果保险机构通过提供车载信息服务的方式，在不涉及敏感信息泄露的前提下，在投保车辆中内置传感器和黑盒，更精准地掌握投保车辆的车速、车况，一般行驶路段、行驶里程等，这样保险机构对车主行为习惯和实际风险发生也了解得更为详细，风险范围就会越窄，那么基于不同风险范围区别保险费率的可能性也会越大，这也是投保用户和保险机构能够获得双赢局面的原因。
大数据给了保险行业一个机会，让从基于“样本”数据分析到基于“全量”数据来认识并解释风险变为可能。
在引入数据挖掘技术方面，平安集团的步子迈得很大。2013年1月，平安集团携手百度，成立联合项目组，欲借助百度的渠道、技术优势及平安自身的金融领域精准用户的数据资源，尝试研究车险用户基于互联网的行为模式，来定制营销策略、实行产品创新。
“我们现在所面临的，是一场现代科技与传统金融业之间的竞赛，谁跑得快谁就赢。” 中国平安保险董事长兼CEO马明哲指出，为了跑赢，平安必须引进最前沿的技术。“日前推出的百度网页应用‘2013全新车险计算器’就是中国平安与百度合作的成果之一。”
毫无疑问，百度在大数据技术方面优势明显，与百度的合作，将帮助平安面对互联网企业对金融行业的渗透和挑战，建立自己的核心竞争优势。
探索保险业大数据行动纲领
这也是困扰很多保险IT高管的核心问题：如何合理控制并有效利用多年积累的大量丰富数据信息?
“泰康的电商网站上，每天会积累上百T数据，但抽取数据和建模的时间非常有限。如何对这些互联网访问痕迹进行有效分析，我们传统的检索和建模方式显然已经不再适用。” 泰康人寿保险股份有限公司IT副总经理方远近表示。类似的困惑也被前海人寿副总经理曾海燕提及：“无论是内部系统，还是网销平台，来自不同平台的数据彼此间有重复也有交叉，这种多样性对我们的数据分析会有更多挑战，我们如何处理这些数据，如何对数据进行有效的取舍与筛选，这对保险公司也是一个挑战。”
保险机构内部来自业务和IT的矛盾一直存在。业务部门通过各种渠道收集到用户信息，但却缺乏对数据分析的专业技能；IT部门能够基于来自不同平台的既有实事数据做一些统计分析，形成标准报表，但对高度变化的数据却缺乏采集、分析的技术支撑。
在美国，购买汽车保险的价格与投保者拥有汽车的价格、性能、每天行驶里程、驾驶记录、驾龄，以及投保者本人的年龄、婚姻状态、居住地、名下汽车数量等若干因素来决定。但在国内保险行业，对这些变量信息的统计还十分困难。
但这也是大数据的长处所在。 “如果对大数据进行定义，我们可以总结为四个‘V’，即数量、速度、多样性和真实性。”王和认为：“其中大数据的真实性特征非常重要。”
这些真实的数据信息可能存在于保险机构内部已有的业务系统或数据平台中，也可能以文字、图片、视频等形式存于外部系统中。“谁能将内外部数据有效整合起来，根据数据背后的价值将它转化成商业模式，并付诸于实施，谁就会成为保险业未来的赢家。”王和表示。
“这就存在一个问题，数据需要经过加工整理才能变成信息，而单纯依靠信息做不了决策，需要有效的数据挖掘机制。” 中银保险有限公司信息技术部副总经理赵爱忠表示。“大数据时代，我们要学会放弃大数据，实际就是区分信息的有效性，对无用信息进行舍弃。” 阳光人寿副总裁张亚楠也表达相似的观点。
因为对于不同数据平台而言，流数据、大数据、数据仓库的数据处理，他们各自处理的数据量和时效性要求各不相同。而它们之间既有重复交叉的部分，又有各自不同的定位。大数据挑战的不仅仅是企业的存储架构，更重要的是将引起数据仓库、数据挖掘、商业智能等应用的连锁反应。
思科曾在18个国家针对1800名IT专业人员发起大数据应用实施的调查。其中四分之一的受访者表示，他们相关技术人才来管理大数据项目，36%的受访者则认为他们目前还缺少相关技术和解决方案。
聚焦到保险行业，大数据应用从探索到实施也势必存在一些障碍。
优化技术、人才及安全机制
“保险业应对大数据时代应该未雨绸缪，要解决三方面问题。”王和指出：“首先，保险业要形成基于大数据的思维模式，要在大数据框架之下思考面向客户的服务、产品创新。”
在国外有这样一个典型案例。一个美国高中女生接到一份关于婴儿用品的促销广告，父亲得知勃然大怒，指责商家无良。两周之后，他才确认了女儿怀孕的实事，而商家却通过收集该女生在超市购买的相关商品信息，基于对后台大数据的挖掘和比对，提前做出了准确判断，筛出潜在客户，实现了精准营销。
对此，王和指出保险业应对大数据的第二个核心准备——人才问题。“大数据时代是‘得人才者得天下’。数据是保险公司的核心资源，因此保险公司对数据人才的培养也十分必要。数据人才的关键能力是什么?是观察力和想象力。他能够观察并挖掘出某一社会现象背后的数据结构，并能够把数据结构和逻辑整合成新的商业模式。”他表示。
“第三点是数据获取能力的培养。”王和强调，“保险机构要明确数据在哪里，通过哪些渠道和方式能够获得，并要构建这些数据之间的关系。在数据关系规律性的背后挖掘商业模式。”
在曾海燕看来，保险公司要实现大数据应用还面临三个障碍。“一是业务部门和技术部门的创新整合能力需要加强，要考虑如何收集有价值的用户信息，如客户资产状况、行为偏好等；二是大数据项目的实施需要公司宏观的战略引导，需要自上而下的执行力来推进；三是数据多样性对目前存储架构以及信息安全控制会产生很多挑战。”
正德人寿副总裁兼首席信息官裴兆旭担心的则是在新的网络环境下，保险机构传统的面向交易的系统存在的不适应性问题。“保险公司从交易型系统转向联合型系统，需要找准何时的时机。大数据可能是一个契机。”
数据大时代，IT和应用之间是合作共赢的局面。对于大数据平台的建设，保险机构也不能过热地追求，而要关注大数据技术应用的场景，分析大数据的实际效益。而在做平台规划时，要充分考虑与现有数据架构的关系，同时更要重视来自业务部门的数据挖掘、分析的现实需求，这必然是一个循序渐进的过程。 新型建材网https://www.xxjcwmall.com/
大数据为电子商务提供新的出路
随着云时代的来临，大数据(Bigdata)也吸引了越来越多的关注。大数据(Bigdata)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
马云卸任演讲说道：“这是一个变化的世界，我们谁都没想到我们今天可以聚在这里，可以继续畅想未来，我跟大家都认为电脑够快，互联网还要快，很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移动互联的时候，大数据时代又来了。”
对于这种大数据在电子商务方面的应用价值，博云网正根据时代变化，充分结合大数据与云计算的优势蓄力冲击市场。过去博云网电商平台大量销售云计算SaaS产品，但局限于国内大部分企业不认同云计算，云计算市场始终打不开，对于国内消费市场简直就是两眼一抹黑。但借助大数据分析后，博云网找市场的眼光就“精准”很多。
现在大型的互联网公司已经开始建立超大规模的数据中心，其特征为模块化、高密度、低能耗；IaaS服务模式逐渐成熟，SaaS的软件提供模式开始被广泛接受，如亚马逊的云模式；在大数据时代，互联网公司采用大数据的优势，开始冲击传统行业，比如金融(最典型的例子就是阿里金融的小贷款业务)；精准营销与大数据驱动的产品快速迭代；企业IT的转变，从提供计算与存储等到提供数据、从提供信息到提供价值、企业IT消费化。
互联网的存在促使数据量急剧增大，在大数据量的基础上产生云计算，所以博云网认为云计算革命在十年前就已经存在，并且充分意识到大数据产生的主要因素有四个：计算机的计算资源、存储、带宽、网络接入的增长。
过去几十年，计算机与互联网，给整个世界带来了巨大的改变。计算机的出现，让我们把信息总量不断地叠加和累积，互联网则促使信息交换速率成几何倍的增长。未来十年，大数据、云计算、社交网络等相互联动，将会带来新的机遇。
我国电子商务发展目前面临着的两大突出问题是成本和同质化竞争。而大数据时代的到来将为其发展和竞争提供新的出路。博云网会通过云计算与大数据的个性化创新提升企业竞争力。
随着云计算和大数据服务的成熟，价格，性能，可扩展性，灵活性和可管理性都将会得到改善。再过几年，越来越多的应用和数据迁移到博云网之后，利用你现在的SaaS产品来运行你的大数据应用似乎也可能实现。但是企业自身要懂自己的大数据战略，同时还要搞清楚企业数据是不是已经运用到云计算了，并且及时做好战略的调整。
信息来源：慧聪安防网 新型建材网https://www.xxjcwmall.com/l
大数据——物流企业的新蓝海
继云计算、物联网之后，“大数据”成为技术领域的又一热点。在物流市场增速放缓、企业经营面临困难的背景下，有分析认为，“大数据”不仅能够帮助企业渡过难关，还将成为物流市场的新蓝海。
如今，我们生活在一个数据大爆炸的时代，眼下的商业世界，也已经变成了漂浮在数据海洋上的巨轮。面对这些形形色色、结构各异、纷繁复杂的数据，如何抓住隐藏在其中的机遇而又不迷失方向，正考验着新经济时代的企业决策者们。
在物流领域有两个著名的理论——“黑大陆”说和“物流冰山”说。前者是著名的管理学权威P.E.德鲁克提出的，主要是指在流通领域中物流活动的模糊性尤其突出，因此是流通领域中最具潜力的领域。后来，日本早稻田大学教授西泽修，用物流成本的具体分析论证了德鲁克的“黑大陆”说，提出人们对物流费用的了解是一片空白，甚至有很大的虚假性。他认为，物流就像一座冰山，其中沉在水面以下的是我们看不到的黑色区域，这部分就是黑大陆，而这正是物流尚待开发的领域，也是物流的潜力所在。
那么，靠什么来了解和掌控物流活动？最直接的当然是数据。可以想见，如果人们能够掌握物流活动过程中的全部数据，那么所谓的物流“黑大陆”就不存在了；而如果能够充分分析和挖掘这些数据的价值，就能够帮助我们找到物流市场的潜力所在，也就是未来物流领域的新蓝海。换句话说，“大数据”分析将是打开物流潜力市场的金钥匙。
日前，由大数据分析和数据仓库解决方案厂商Ter-adata天睿公司举办的第13届Teradata Univers峰会（即2013Teradata大数据峰会）上，天睿公司全球运输物流业总监Shaun Connoly在接受记者采访时就强调：未来，要想成为顶级物流企业，就要重视数据价值，数据分析和挖掘将会成为未来物流企业赢得差异化竞争优势的关键所在。
经济下行需求上升
“大数据”的价值，在于从海量的数据中发现新的知识，创造新的价值。数据本身在其转化为信息，并通过信息的提炼成为普适规律，最终创造利润的过程中，变得价值连城。这已经被越来越多的物流企业所认识，使得市场对数据的分析与挖掘的需求与日俱增。
从峰会上获悉，在Teradata天睿公司去年的业绩榜单上，运输物流业成为该公司全球业务增长最快的领域，达到了28%。对此，Shaun认为，是全球经济的不景气推动了需求的增长。
随着全球经济处于下行阶段，经济增速放缓，为了应对挑战，维持业务的增长，各大运输物流企业都在思考，如何进一步降低成本，提高机械设备的使用效率。而其也将更多目光聚焦在了大数据分析上，并由此产生了更多利用数据、挖掘数据价值的需求。
过去几年，全球范围内的运输物流市场增长非常快，企业采用更多的新设备、新技术来提升业务发展水平，加速市场拓展步伐。例如，最近几年许多物流企业广泛部署了RFID技术，还在各种终端设备上安装了传感器等。然而，在Shaun看来，从这些智能终端上获取的数据，并没有得到很好的利用。“如今，大家已经没有太多资金用于购置新的设备、终端，而是想办法对现有终端设备所获取的数据多加利用，从中获得更大的价值。例如，找出问题所在、发现新的机会、降低成本并进一步提高业务收入，进而促进业务的发展。”Shaun强调，未来企业之间的竞争将是数据战争。
他告诉记者，早些年，北美和欧洲的物流行业也处在跟目前国内行业类似的状态，他们也经历了这样的初期发展阶段：企业数量多、规模不大。通过后来的行业整合、兼并和收购，出现了超大的物流企业。他相信，中国也会经历类似的发展过程。在这个企业、行业由小到大的发展过程中，对于数据分析与挖掘的需求也将更加迫切。“要想成为顶尖的物流企业，就要靠数据来获得竞争优势。”他说，一方面，客户越来越重视物流服务的体验，希望物流企业能够提供更好的服务，甚至掌控运输物流业务当中各方面的情况，并实时掌控这些数据。这样，物流企业就需要以数据分析为支撑，提供相应的服务来满足需求。另一方面，随着市场的发展，客户的选择更多了，竞争更加激烈，培养客户的黏性就变得非常重要。在欧美市场上，物流企业都非常注重培养客户的黏性，如果企业通过对数据分析和挖掘，合理地运用这些分析成果，就可以进一步巩固和客户之间的关系，增加客户的信赖，避免客户流失。
此外，数据分析还能帮助企业做出正确的决策。对于物流企业来说，成本和效率是一对矛盾体，企业都希望以最低的成本获得最大的效益，可实际上这是很难做到的。但Shaun告诉记者，通过数据分析，企业可以看到具体的业务运行情况，能够清楚地判断哪些业务利润率高、增长较快等，把主要精力放在真正能够给企业带来高回报的业务上，避免无端的浪费。同时，通过对实时数据的掌控，企业还可以即时对业务进行调整，确保每个业务都可以赢利，从而实现非常高效的运营。
数据商机如何挖掘
面对企业内部传统数据的快速增长，以及各种非结构化、多结构化大数据源的指数型增长，如何发挥数据资产的价值，正在成为考验企业的重大挑战。那么，物流企业如何抓住隐藏在数据海洋中的商机？如何将数据转化为竞争力？
对此，Teradata天睿公司国际集团总裁Hermann Wimmer表示：“在大数据时代，企业要想用数据制胜，就必须尽早建立数据资产管理策略。只有拥有战略性视野和专业技术，才能更好地获得商业洞察力，才能将数据资产转换成战略资产和竞争力。”
Teradata天睿公司正是这样一家帮助企业建立大数据分析能力，运用大数据为业务创造价值的解决方案提供商。Teradata天睿公司大中华区首席执行官辛儿伦（Aaron Hsin）补充说：“在利用数据资产的过程中，从获取、整合、治理、分析、探索、汲取智能到采取精确行动，企业对于这种全能力的建立较任何时候更为重要。数据的核心是发现价值，而驾驭数据的核心是分析。随着数据资产成为企业的核心资产，数据分析也正在成为企业建立核心竞争力的关键途径。”
面对物流企业的业务需求，Shaun强调说：“我的工作就是帮助客户充分利用数据；并且在面对现有业务上的问题时，会帮助客户换一个角度思考，通过运用大数据来解决这些问题。”
Shaun告诉记者，对于企业来说，要建立大数据分析能力，首先要考虑哪些数据能够给业务带来价值。其次，要建立适合的数据模型。
他认为，建立数据模型的关键，是要建立起统一、集成的数据仓库，确保数据放在合适的位置，保障数据的重复利用。“建立覆盖企业上上下下统一的数据仓库，才可以保证不同的部门，比如财务部门、运营部门、人力资源部门等看到相同数据，确保各个部门使用的数据，都是来自惟一的、单独的数据来源，这样可以大幅提升数据质量。”在过去的3年当中，Teradata天睿公司在这方面做了大量的工作，帮助全球大量企业将不同部门的数据统一起来，实现整个企业标准化的成本管控，从而提升企业的赢利水平。
而建立合适的数据模型，对于中国物流企业的全球化发展也至关重要。如今，许多中国的大型物流企业都在进行全球化的布局。Shaun认为，物流企业全球化的第一步，是要建立真正合适的全球化业务模型，然后基于这个全球化的业务模型，建立起一个全球化的数据模型。“当企业进入到一个新的市场、新的国家时，它可能在当地建立起一套支撑业务的数据系统。而在同一个系统中，不同的国家、地区对于同样的业务可能有不同的叫法，但实际上所代表的都是相同的核心业务。因此，建立统一的全球化的数据模型，对于物流企业的全球化发展非常重要。”他说。
Shaun最后表示，运输物流业过去一直以来只专注于如何利用自己现有的资产把市场作大，而没有太多考虑利用高科技手段发展业务，因此，商业智能、大数据等数据分析应用相对比较滞后。不过，近几年行业对于新技术的使用呈加速度增长，尤其是一些大型物流企业，随着其数据量的飞速增长，对数据分析的需要更为迫切。并且，中国的运输物流行业目前还处于较为分散状态，随着行业不断整合、走向成熟，未来Teradata天睿公司的业务，将越来越多地覆盖到更多大型物流企业，公司的市场份额也会随之不断地上升。
大数据分析最畅销图书《驾驭大数据》作者、Tera-data天睿公司首席分析官Bil Franks说过,“大数据并没有产生任何企业从未遇到过的问题。在数据分析的世界里，驾驭新的、突破当前可扩展性极限的大数据源是永恒的主题……如果你的企业曾经驾驭过其他数据，那么同样可以驾驭大数据。”对于物流企业来说，拥抱大数据只是迟早的事情。相信未来，面对竞争激烈的市场，如何适应快速变化的市场环境，利用分析技术挖掘隐藏在海量数据中的价值，支撑和创新业务模式，将成为物流行业转型升级的关键。
新型建材网https://www.xxjcwmall.com/
