大数据应用案例
由于遍布全球的众多传感器和智能设备，物联网触发了数据或大数据的淹没。只有大数据技术和框架才能处理这样庞大的数据量，这些数据量可以传输各种类型的信息。物联网的数量增长越多，就需要更多的大数据技术。在这个领域内，机构需要将重点转移到实时易于访问的丰富数据上。这些数据会影响客户群，并可通过挖掘产生有意义的结论。来自传感器的数据应该被处理以实时发现模式和见解，以推进业务目标。现有的大数据技术可以有效利用传入的传感器数据，将其存储起来，并使用人工智能进行高效分析。实际上，对于物联网处理，大数据是燃料而人工智能是大脑。
物联网不仅是大数据的重要来源，还是大数据应用的主要市场。在物联网中，现实世界中的每个物体都可以是数据的生产者和消费者，由于物体种类繁多，物联网的应用也层出不穷。下面简述几种典型物联网大数据的使用案例。
许多运输公司都携带传感器来监控驾驶员的行为和车辆的位置。好的驾驶技能和道路安全行为得到保险公司的奖励。通过提供所有机械和电气组件的详细机器日志数据，物联网为远程信息处理提供了一个优势。全球物流公司UPS广泛使用该技术来监控车队车辆的速度，行驶里程，休息停靠，油耗，发动机使用情况等。因此，该公司减少了有害排放和燃料消耗。UPS快递为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。UPS为货车定制的最佳行车路径是根据过去的行车经验总结而来的。2011年，UPS的驾驶员少跑了近4828万公里的路程。
智慧城市，是一个基于物联网大数据应用的热点研究项目，图1所示为基于物联网大数据的智能城市规划。迈阿密 戴德县，就是一个智慧城市的样板。佛罗里达州迈阿密戴德县与IBM的智慧城市项目合作，将35种关键县政工作和迈阿密市紧密联系起来，帮助政府领导在治理水资源、减少交通拥堵和提升公共安全方面制定决策时获得更好的信息支撑。IBM使用云计算环境中的深度分析向戴德县提供智能仪表盘应用，帮助县政府各个部门实现协作化和可视化管理。智慧城市应用为戴德县带来多方面的收益，例如戴德县的公园管理部门今年因及时发现和修复跑冒滴漏的水管而节省了100万美元的水费。
图1 基于物联网的智慧城市
基于物联网应用技术平台可以升级传统农业流程，对农作物的用药、灌溉、施肥及其相关畜牧业等实现实时监控，提高资源利用率，减少对环境的污染，特别是加强农作物疾病监控与常见传染性疫情预警，在保证农作物增产率的同时提高生产经济效益，从而实现农业现代化高效经营和可持续发展。
约翰迪尔是一家销售农场设备的跨国公司。它监测各种参数，如土壤湿度水平等。数据发送到一个集中管理平台，根据湿度水平，可以提醒农民何时进行灌溉。这可以防止不必要的灌溉，避免特定地区的水资源集中。
可穿戴式健身追踪器和医疗应用程序帮助人们监控他们的健康状况。来自这些设备的数据可用于追踪如血压，糖水平等参数，以及预先诊断感染疾病的可能性。Preventice公司整合了应用程序，手机，笔记本电脑，平板电脑和云等，用于远程病人监控。该公司允许客户的医生在线监测其健康状况，以避免常规检查。Proteus是一家初创公司，其药丸中含有传感器，可用于检查患者是否遵医嘱。
信息通讯技术的发展，使交通运输从数据贫乏转向数据丰富的大数据时代，北京市6万余辆出租车一天就会产生数亿条GPS数据，车牌识别、交通监控视频等数据量更大，交通相关的数据量级已从TB级别跃升到PB级别，对智能交通系统的运营和管理产生了巨大影响。面对众多的交通大数据，如何对其进行准确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交通诱导和疏通以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核心内容。
交通大数据与传统交通数据的不同主要体现在特征中。结合交通大数据的基本类型，认为交通大数据具有6V特征，具体如表1所示。
表1 交通大数据的特征
数据是智能交通系统的基础，交通数据采集手段和处理方法的深度革新将引领智能交通系统的变革。目前，国际智能交通领域的车路协同系统、公众出行便捷服务、车联网等热点技术领域都在广泛研究和应用大数据技术。
交通大数据的应用对交通的发展将带来巨大的变化，这主要体现在大数据技术的实时性、分布性、高效性及预测性方面。
１）实时性。传统的海量数据模糊查询和统计分析无法达到交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得更加合理。
２）分布性。传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通紧急事件中多方协作、快速处置。
３）高效性。高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力。伦敦市利用大数据减少了交通拥堵时间，提高了交通运转效率。
４）预测性。大数据技术较高的预测能力可降低交通状态误报和漏报的概率，通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时对交通的动态性进行实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开拥堵路段。
大数据对交通的巨大影响除了以上几个方面外，对交通环境的安全性也有巨大影响。大数据的实时性和可预测性以及综合的决策模型有助于提高交通安全系统的数据处理能力。大数据快速整合各个传感器数据，结合车辆运行轨迹数据，综合分析车辆行驶安全性，为应急决策提供辅助，提高应急救援能力，有效降低交通事故的发生。由此可见，大数据技术的出现及应用能够有效地解决智能交通面临的诸多难题。
目前，大数据的主要来源和应用都是来自于企业内部，商业智能（business intelligence, BI）和OLAP可以说是大数据应用的前辈。企业内部大数据的应用，可以在多个方面提升企业的生产效率和竞争力。
具体而言：市场方面，利用大数据关联分析，更准确地了解消费者的使用行为，挖掘新的商业模式；销售规划方面，通过大量数据的比较，优化商品价格；运营方面，提高运营效率和运营满意度，优化劳动力投入，准确预测人员配置要求，避免产能过剩，降低人员成本；供应链方面，利用大数据进行库存优化、物流优化、供应商协同等工作，可以缓和供需之间的矛盾、控制预算开支，提升服务。
在金融领域，企业内部大数据的应用得到了快速发展。例如，招商银行通过数据分析识别出招行信用卡价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过“多倍积分累计”“积分店面兑换”等活动吸引优质客户；通过构建客户流失预警模型，对流失率等级前20%的客户发售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进行分析，有效识别出潜在的小微企业客户，并利用远程银行和云转介平台实施交叉销售，取得了良好成效。
当然最典型的应用还是在电子商务领域，每天有数以万计的交易在淘宝上进行，与此同时相应的交易时间、商品价格、购买数量会被记录，更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配．淘宝数据魔方是淘宝平台上的大数据应用方案，通过这一服务，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进行生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到更心仪的宝贝。而阿里信用贷款则是阿里巴巴通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露，截至目前阿里巴巴已经放贷300多亿元，坏账率约%左右，大大低于商业银行。
金融领域一直较为重视大数据技术的发展。相比常规商业分析手段，大数据可以使业务决策具有前瞻性，让企业战略的制定过程更加理性化，实现生产资源优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。
在银行业的应用主要表现在两个方面：一是信贷风险评估。以往银行对企业客户的违约风险评估多基于过往的信贷数据和交易数据等静态数据，内外部数据资源整合后的大数据可提供前瞻性预测。二是供应链金融。利用大数据技术，银行可以根据企业之间的投资、控股、借贷、担保及股东和法人之间的关系，形成企业之间的关系图谱，利于企业分析及风险控制。
在证券行业的应用主要表现为：一是股市行情预测。大数据可以有效拓宽证券企业量化投资数据维度，帮助企业更精准地了解市场行情，通过构建更多元的量化因子，投研模型会更加完善。二是股价预测。大数据技术通过收集并分析社交网络如微博、朋友圈、专业论坛等渠道上的结构化和非结构化数据，形成市场主观判断因素和投资者情绪打分，从而量化股价中人为因素的变化预期。三是智能投资顾问。智能投资顾问业务提供线上投资顾问服务，其基于客户的风险偏好、交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个性化财富管理方案。
在互联网金融行业的应用，一是精准营销。大数据通过用户多维度画像，对客户偏好进行分类筛选，从而达到精准营销的目的。二是消费信贷。基于大数据的自动评分模型、自动审批系统和催收系统可降低消费信贷业务违约风险。
为实时接收电子渠道交易数据，整合银行内系统业务数据。中国交通银行通过规则欲实现快速建模、实时告警与在线智能监控报表等功能，以达到实时接收官网业务数据，整合客户信息、设备画像、位置信息、官网交易日志、浏览记录等数据的目的。
该系统通过为交通银行卡中心构建反作弊模型、实时计算、实时决策系统，帮助拥有海量历史数据，日均增长超过两千万条日志流水的银行卡中心，形成电子渠道实时反欺诈交易监控能力。利用分布式实时数据采集技术和实时决策引擎，帮助信用卡中心高效整合多系统业务数据，处理海量高并发线上行为数据，识别恶意用户和欺诈行为，并实时预警和处置；通过引入机器学习框架，对少量数据进行分析、挖掘构建并周期性更新反欺诈规则和反欺诈模型。
系统上线后，该银行迅速监控电子渠道产生的虚假账号、伪装账号、异常登录、频繁登录等新型风险和欺诈行为；系统稳定运行，日均处理逾两千万条日志流水、实时识别出近万笔风险行为并进行预警。数据接入、计算报警、案件调查的整体处理时间从数小时降低至秒级，监测时效提升近3000倍，上线3个月已帮助卡中心挽回数百万元的风险损失。
百度的搜索技术正在全面注入百度金融。百度金融使用的梯度增强决策树算法可以分析大数据高维特点，在知识分析、汇总、聚合、提炼等多个方面有其独到之处，其深度学习能力利用数据挖掘算法能够较好地解决大数据价值密度低等问题。百度“磐石”系统基于每日100亿次搜索行为，通过200多个维度为亿账号精确画像，高效划分人群，能够为银行、互联网金融机构提供身份识别、反欺诈、信息检验、信用分级等服务。该系统累计为百度内部信贷业务拦截数十万欺诈用户，拦截数十亿不良资产、减少数百万人力成本，累计合作近500家社会金融机构，帮助其提升了整体风险防控水平。
在线社交网络，是一种在信息网络上由社会个体集合及个体之间的连接关系构成的社会性结构。在线社交网络大数据主要来自即时消息、在线社交、微博和共享空间４类应用。由于在线社交网络大数据代表了人的各类活动，因此对于此类数据的分析得到了更多关注。在线社交网络大数据分析是从网络结构、群体互动和信息传播３个维度，通过基于数学、信息学、社会学、管理学等多个学科的融合理论和方法，为理解人类社会中存在的各种关系提供的一种可计算的分析方法。
目前，在线社交网络大数据的应用包括网络舆情分析、网络情报搜集与分析、社会化营销、政府决策支持、在线教育等。圣克鲁斯警察局是美国警界最早应用大数据进行预测分析的试点，通过分析社交网络，可以发现犯罪趋势和犯罪模式，甚至可以对重点区域的犯罪概率进行预测。2013年4月，美国计算搜索引擎Wolfram Alpha，通过对Facebook中100多万美国用户社交数据进行分析，试图研究用户的社会行为规律。根据分析发现，大部分Facebook用户在20岁出头时开始恋爱，27岁左右时订婚，30岁左右结婚，而30~60岁之间，婚姻关系变化缓慢。这个研究结果与美国人口普查数据相比，几乎完全一致。
中国社科院国情调查与大数据研究中心联合腾讯互联网与社会研究中心在京发布《社交网络与赋能研究报告》，该报告历时1年合作而成，剖析老中青三个代际人群在使用社交网络时的特点，社交网络赋予他们的影响和变化。
报告显示，在55岁以上老年QQ活跃用户中，发QQ空间的比例为32%，浏览QQ空间的比例为49%，发文字消息的比例为62%，发表情消息的比例为 26%，玩游戏的比例为13%；使用互联网或社交网络的老年人在日常休闲活动的内容上更加丰富，各项活动的选择比例也更高。比如在跳广场舞方面，不使用互联网的老年人仅有%的选择比例，而使用互联网但不使用社交网络的老年人有11%的比例，而既使用互联网又使用社交网络的老年人则有约22%的会进行跳舞活动。
对于中年人群体，女性比男性更加愿意用社交网络尝试新的购物模式，大概有%的女性中年在朋友圈买过东西，而男性中年在朋友圈购物的比例占%，在社交网络上购物的生活方式也逐渐在中年人群体中流行起来。
而对于身为互联网原住民的青年人，94%的人表示出门不带手机感到很不习惯，%的人无法适应从智能手机换到普通手机，73%的人通常每隔15分钟至少看一次微信/QQ等社交软件。半数以上的人都愿意尝试在互联网和社交网络上进行职业选择，青年人在社交网络上职业选择倾向现排名前三的职业分别为微商、公众号写手、电子游戏玩家，其分别对应的百分比为%、%、%，可见，以一种虚拟网络平台为基础构建起的新型就业模式可能在青年人中有一定的市场。
以下再列举几个具体案例：
1）用户画像体系
每个企业都不可以避免的要对用户进行画像，用户画像的提出，根本上是源于企业对用户认知的需求。产品经理，需要了解用户的特征，对产品进行功能的完善。内容运营人员，需要筛选目标用户，对内容进行精准投放。
2）微博事件研究
事件预警：对微博中发生的重大事件进行监控，及时发出通知，编辑或运营人员高效快速的完成内容的创作或采取相应的运营策略。
事件演变分析：记录事件的演变过程，分析事件的发展态势。
3）相似文本研究
在某些内容的聚合页（如某些话题聚合页面等），存在内容重复或及其相似的现像，会导致信息呈现不够多元化和丰富性，引起视觉疲劳。
总得说来，在线社交网络大数据应用可以从以下３方面帮助我们了解人的行为，以及掌握社会和经济活动的变化规律：
１）前期警告。通过检测用户使用电子设备及服务中出现的异常，在出现危机时可以更快速地应对。
２）实时监控。通过对用户当前行为、情感和意愿等方面的监控，可以为政策和方案的制定提供准确的信息。
３）实时反馈。在实时监控的基础上，可以针对某些社会活动获得群体的反馈信息。
大数据分析是促进传统电网向智慧电网进行革新的重要力量，大数据分析系统由数据采集、数据传输、数据挖掘、数据反馈等多个环节组成，其以物理电网为依托，将先进的传感测量技术、通信技术、云计算技术和控制技术与物理电网高度融合，通过对电网运行数据、负载变化数据、设备监控数据、电力企业营销数据、电力企业管理数据等多类型数据的分析与挖掘，实现对电网的全环节高效运维、全天候实时监控、全地域应急处置、全用户需求预测，为智慧电网的安全、可靠、经济、高效、绿色运行提供最有力的保障。
电力大数据分析在电力系统的每个环节都有重要应用，协助实现了对电网的智能控制和优化配置，提高电力规划的管理能力。
第一，发电环节可对常规能源发电的机组的运行情况、设备之间的互动以及各种参数指标实行实时监控，对风力、太阳能发电进行电机组的稳态特性和动态特性进行稳定性分析预测，实现发电环节的自动、稳定和高效。
第二，输电环节可通过大数据分析提高其安全性，通过在每个节点上增加监控能力，可对整个输送线路上的导线温度、线路电容、绝缘子污秽以及线路风振进行全程监测，并作出评估和诊断。由于智能电网具有自愈的特性，对发现破坏或者不正常的情况进行自我治愈，对用户实现连续供电。
第三，变电环节可以通过大数据分析优化其变电方案，更好地提高变电环节的可靠性和智能化水平，同时还可分析整个变电站的检修频次，更好的保障系统可靠性。
第四，配电环节，由于我国幅员辽阔，所以配电规模和配电设备数量都十分巨大，针对这一情况，应用大数据分析可为配电网络最优布设提供决策依据，避免大规模人力、物力的多余投入。
第五，用电环节。大数据将各个电力提供方和需求方紧密的连结起来，实现了电网与用户的双向互动，革新电力服务的传统模式，为用户提供更加优质、便捷、个性化的服务，提高了人民生活质量。同时，物联网技术的加入还可解决远程抄录电表问题，及时发现异常情况，减少电力盗窃降低损失。
应用电力大数据分析设计的智能电网是将电力流、信息流和业务流高度融合，大幅优化电网的综合性能，新型电网的优势主要体现在：第一，具有坚强的电网基础体系和技术支撑体系，能够抵御各类外部干扰和攻击，能够适应大规模清洁能源和可再生能源的接入，电网的坚强性得到巩固和提升。第二，信息技术、传感器技术、自动控制技术与电网基础设施有机融合，可获取电网的全景信息，及时发现、预见可能发生的故障。故障发生时，电网可以快速隔离故障，实现自我恢复，从而避免大面积停电的发生。第三，柔性交/直流输电、网厂协调、智能调度、电力储能、配电自动化等技术的广泛应用，使电网运行控制更加灵活、经济，并能适应大量分布式电源、微电网及电动汽车充放电设施的接入。第四，通信、信息和现代管理技术的综合运用，将大大提高电力设备使用效率，降低电能损耗，使电网运行更加经济和高效。第五，实现实时和非实时信息的高度集成、共享与利用，为运行管理展示全面、完整和精细的电网运营状态图，同时能够提供相应的辅助决策支持、控制实施方案和应对预案。第六，建立双向互动的服务模式，用户可以实时了解供电能力、电能质量、电价状况和停电信息，合理安排电器使用；电力企业可以获取用户的详细用电信息，为其提供更多的增值服务。
本文来源：https://www.2haoxitong.net/k/doc/ee6bd6355afafab069dc5022aaea998fcc224081.html
文档为doc格式