• 大数据
    大数据与企业的数据化运营 // // // 其实移动互联网、大数据已经不单单是一个IT的概念了,它更多的是一个改变人类生活方式的产业,而且诞生了一个新的名词O2O。O2O被誉为未来一个万亿市场规模的行业。O2O企业本质是传统行业的互联网化或者说用互联网的方法改造传统行业,那么本质上解决的问题和传统行业没有区别,还是人们日常生活息息相关的衣食住行等问题。例如通过电商买衣服和生活用品,通过微信解决朋友之间通信的需求,团购买餐饮,嘀嘀打车,网上买机票和火车票,支付宝交水电煤气费,余额宝理财,甚至一度被叫停的医院挂号等。要做的事还是一样的,只是做事的方法不一样,目的是让用户的生活更加便利。那么什么样的玩法更受用户欢迎呢?过去传统企业或者靠领域知识的传承,或者是靠用户问卷调查的形式反馈的,显然周期长、反应慢、服务内容和服务方式跟不上时代的发展和用户的需求。而经过互联网化之后,所有的用户行为都被记录和存储下来,我们可以快速精准的分析和挖掘出用户的需求变化和每一个用户的个性化需求,从而给每一个用户制定不同的服务策略。   (公众号:imciow 网站:www.ciozj.com)  我们都知道,领域知识是一个人在某个行业安身立命的本钱。过去传统行业的领域知识是靠在行业内不断摸爬滚打积累出来的,而互联网化之后的这些行业的领域知识将是从海量的用户行为数据中分析和挖掘出来的。过去的传统企业一旦确立了领导地位,那么被同行业的其他企业颠覆的可能性是比较小的;而互联网化之后的这些行业中,从海量用户的行为中挖掘出的领域知识的时效性是非常明显的,一旦一个企业不能够与时俱进将很快被别人超过去。举个例子来说,著名的“啤酒和尿布”的故事在最开始的时候会给相应的企业创造价值,但是当同行业内其他企业也学会了这招之后,这个就不是一个利润增长点了。那么企业就需要不断的挖掘新的利润增长点,这个时候海量用户数据的价值就会体现出来。未来全面互联网化的时代中“三天不学习,赶不上刘少奇”这句话就会有深刻的体会。所以像Coursera这样的在线教育平台会非常有前途,因为仅仅靠十几年的学校学习已经不能满足一个人一生的知识和能力的需求,未来是个终身学习的时代。很多大佬们也看到在线教育这块大蛋糕了,都开始跑马圈地。  那么对于一个企业来说如何让大数据发挥出价值,推动企业业绩的增长呢?我想首先需要考虑的一个重要问题就是:你的企业是一个平台还是一个垂直行业? (公众号:imciow 网站:www.ciozj.com)  平台就好像淘宝、京东、腾讯,上面的商品或者服务的种类非常非常多,而且不同商品或者服务的特点可能差别很大,同时对用户数据的积累是多方面的;垂直行业就是类似携程、聚美优品,上面的商品或者服务是某一个垂直领域的,只有当用户在这样的垂直领域有所需求或者感兴趣的时候才会光顾,那么一般情况下你只能得到用户在这个领域的一些数据;不过这里面有个灰色地带,就是互联网金融。因为从本质上讲这是个垂直行业(金融行业),但是想到金融行业在人们日常生活中的重要性,我们单单从一个垂直行业的角度来衡量这个用户的价值显然是不够的,因为金融影响到人们的方方面面。 (公众号:imciow 网站:www.ciozj.com)  对于大数据从业者来说这三种类型的企业在利用大数据的过程中是有很大的不同的。举个简单的例子,在对用户进行细分或者用户画像的过程中,如果一个用户有好几个月没有买东西,那么怎么界定这个用户是否流失了呢?仔细想想,如果一个用户好几个月没有在淘宝、京东上买东西,那么显然是流失了;但是如果没有在携程上买东西,未必能认为他流失了。因为用户对旅游类产品的平均购买周期可能就有好几个月,所以显然单单是这样一个因为未必可以把这个用户标定为流失。 (公众号:imciow 网站:www.ciozj.com)  对于不同的企业在利用大数据的方法上也是不一样的:  像阿里巴巴的目的就是做基础设施,像自来水公司、煤气公司、电力公司这样人们生活中必不可少的一部分,也就是所谓的“刚需中的刚需”,所以阿里巴巴整合了多个部门的广告团队成立了阿里妈妈。京东在这方面也不甘示弱,一直养活着独立DSP服务商MediaV,而且两家企业不断传出收购绯闻。腾讯的广点通也是这方面的典型代表。阿里巴巴、京东、腾讯的共同特点就是解决了用户的刚需,成为了用户每天生活中必不可少的一部分,然后培养起一系列的产业链。 (公众号:imciow 网站:www.ciozj.com)  阿里和京东解决了用户购买商品的需求,腾讯解决了用户通信和社交的需求,而且提供的服务都是免费的,这样用户把自己的一些数据不知不觉中就送给了这些平台级企业,这些企业就可以利用这些大数据分析出用户的年龄、性别、兴趣偏好、收入水平、家庭构成等跟消费密切相关的特征,从而成为一个广告上的目标客户群体,把这些用户买个广告商。这是这些平台级企业赚钱的主要方式,说白了就是拉皮条的。而且随着互联网金融的兴起,一旦这些平台厂商了解了和你相关的数据越来越多,那么就可以给你推销一些金融产品(典型的例子就是余额宝),从而控制你的个人金融体系,这些平台可以像银行一样吸纳你的存款用于投资。  这才是第一步,在金融机构最重要的风险防范体系中,由于这些平台厂商知道你交水电费很及时,刚刚买了一辆车,最近又没怎么生病挂号,而且还定期出国旅游。那么显然你是一个优质客户,不需要你提供任何证明来抵押贷款给你的风险。这个就是互联网金融/大数据金融的玩法。那么对于垂直类企业(包括互联网金融)该怎么使用大数据呢?  垂直类企业特别是传统企业的最大特点就是在自己的CRM系统里面有用户大量的高质量数据,这个是像上面的平台级企业所不具备的。典型的例子就是像电信、金融这样的企业拥有质量非常高的用户金融数据、交易数据、关系链数据等,这些数据所表达出的意思是最真实可靠的。但是这些垂直类企业所积累的数据量往往没有像前面所说的平台级企业那么多。这个时候可以考虑通过引入第三方数据的方式来补充用户的数据,美国twitter公司的IPO文件中显示其15%的收入来源是“倒卖”用户的数据,在国内阿里巴巴与新浪微博战略合作之后也打通了微博和淘宝的用户数据,虽然很多微博用户在吐槽这件事。数据交换首先要保证用户数据的安全性,让数据流动起来数据才能发挥更大的价值。      对于面向用户的企业来说,如何利用大数据现在的玩法应该是比较清楚了。简单来说就是以用户和业务为核心,对用户的相关维度进行数据挖掘,构建用户和业务的属性和特征库,服务业务需求。具体再实施过程中还需要重点考虑以下问题: 1.以用户和业务为核心,以思路为重点,以数据挖掘技术为辅助 企业使用大数据的目的是解决问题(说白了就是赚钱),赚钱的方法就是跟自己的business model密切相关的,也就是我们通常说的业务。在这个过程中大数据技术只是一个手段,是帮助我们解决业务问题的。所以说在大数据技术选型和架构的时候,一定要搞清楚自己的业务模式,不能别人用什么架构就跟着用,别人挖掘什么就跟风挖。     2.小步快跑,快速迭代,持续优化  千万别想着一次就搞出个大新闻,在互联网领域永远是beta版的,只要这次比上次好就行了。大数据的思想就是把现实世界中的现象用数学的形式表示出来,分析和挖掘这些现象之间的关系,并且能够定位到哪些群体具备哪些特征,哪些特征会影响企业的盈利。所以很多问题并没有或者需要严谨的数学证明,我们重点关注的是关联关系而不是因果关系。在大数据时代,ABtest是非常重要的,很多现象是不需要理论证明的,ABtest会告诉我们该怎么改进产品,哪些产品的哪些特征更受用户欢迎。 3.用户的反馈很重要,要积极调动用户的参与度  传统的调动用户参与度的方式就是发优惠券或者促销券。这种方法在有些情况下是有效的,有些情况下可能需要更深入的了解用户的需求,例如用户为什么来我们这个平台?为什么流失了?举个例子来说吧,对于有些用户来说你给他发了10块钱优惠券,但是他没有买的需求或者找不到他想买的东西,那么他不会因为这10块钱的优惠券去制造一个需求。或者有些用户可能比较有钱,每次买东西都是大手笔,你给他10块钱优惠券可能他根本看不上。用户细分模型可以帮助我们针对不同的用户群体采用不同的调动用户参与的方式。 ( 公众号:imciow 网站:www.ciozj.com)  大数据是帮助我们补充行业知识的一种重要的方式。现在越来越多的行业是数据驱动的,那么这个行业的很多行业知识都是通过大数据挖掘出来的。而获取这些数据的主要方式就是用户的行为和对运营动作反馈的挖掘,这也是未来以数据为核心的企业的价值所在。 4.从运营驱动到数据驱动  关于谁来主导大数据服务用户这个需求,其实有很多的使用场景。例如一个推荐系统由产品经理来主导比较合适;对于一个数据化运营系统,那么从事运营或者市场相关的人员来主导会是比较合适的。对于很多大公司来说,慢慢会发展出专门从事数据驱动业务的部门和人员,例如我们经常提到的Data Scientist的概念。 5.业务人员和数据挖掘人员的密切配合  这个也是我们大部分公司经常遇到的一个问题:做业务的不太懂技术或者数据,做数据挖掘的对业务又不是特别了解,目前社会上最缺的就是既懂业务又懂技术的。如何把数据挖掘的结果应用到业务中是个比较难的问题,我们常说没有数据是无价值的,只是要找到它发挥价值的地方。因为数据挖掘的结果往往表现出的是用户在某一方面的属性或者特征,那么在实际业务中用户的行为往往受到多个因素的影响,所以在把数据挖掘的结果推广到具体的业务过程中要和业务方密切合作,找到合适的促销方式、展位、文案、刺激手段、效果评估方法等。大数据的范畴内我们应该把用户还原成一个人,而不要割裂的看他的某些行为,而要把这些行为和他的社会学属性、生活背景、活动时间、地点、气候因素和应用上下文联系起来。目前的大数据Ecosystem没有一个很好的BI工具,给对应的分析师或者挖掘工程师带来了很大的难度。 (公 众号:imciow 网站:www.ciozj.com) 6.与客户的沟通方式(运营手段)很重要 现在社会大家都很忙碌,像过去那种通过call center给用户打电话推销的方式的效果越来越差,因为用户很忙碌的时候是不希望被打扰的。那么异步通信的需求就比较强烈,典型的应用就是微信,可以很好的利用碎片时间,那么对于企业营销来说也是非常好的通道。同样对于企业给用户的各种促销或者运营手段的时机也会比较重要,而且不同兴趣偏好的用户的浏览和购买时间最好也要区别对待。同时运营活动设计的巧妙程度、文案和展位比大数据技术可能会发挥更重要的作用。听过一个真实的例子,某公司的推荐系统在模型完全没有改变的情况下只是改了下展位的位置,导致最后的下单率有明显的提升。     7.大数据带来的价值如何衡量  企业养了一个大数据团队,那么对这样的团队怎么衡量他们带来的价值呢?我觉得大数据的短期回报是精准营销,而从长期的角度来看对于一个企业或者平台来说更重要的是客户关系维护,增加用户的粘性和购买力,从而使得用户很难迁移到其他平台上,那么对于你这个企业来说就有点类似于垄断了,就属于躺着都赚钱了(就像现在的可口可乐、宝洁类似的公司)。所以说大数据的价值可以在产品的各个层次得到体现,而具体价值的衡量也要因不同的业务模式而有所不同。同时大数据也帮助企业更好的理解这个行业,建立起行业的壁垒,从而更好的支撑管理者的决策。  作者:梁堰波  毕业于北京航空航天大学计算机硕士专业,之前曾工作于VMware、百度、法国电信研发中心等多家知名机构。现于美团网从事数据开发与挖掘工作 特别感谢!
    大数据
    2014年12月11日
  • 大数据
    硅谷观察之大数据篇(完整版) 【上篇:挖掘机和“改变世界的”大数据公司们】 硅谷的这一个月,我在 startups demo days 和各种大公司一日游中度日,以为会逃脱国内各种会上各种“大数据”和挖掘机的梗,但万万没想到这里更甚。Hi~ 本文发自仅次于五道口的宇宙中心硅谷,与你分享大数据在这片土地上的真实生长状况。     什么是“改变世界”的大数据公司 近两周硅谷两场规模比较大的 demo 大会上,就有十多家自称做大数据的 startups,有做消费者行为的,有做体育分析的,有做 NGO 融资的,有做环保的,有做 UX 的,有做信贷评级的,当然还少不了做移动端广告的。乍看都是高大上的产品,但仔细琢磨一下会发现一些没那么高大上的细节。     比如,有一家介绍时候说 "Brings big data to teams, media and fans",用的是Moneyball作引子。展示结束后询问他们是如何分析视频以得到各种数据的,demo 的哥们表示他们请了一些人看视频的。没错,是人工。自然地,下一个问题就是:未来如何扩张以应对来自不同体育项目大量的全长录像?他的回答也很简单,雇佣更多人。听完我懵了一下,问,那打算如何利用收集的数据呢?答曰:开放 API,自己不做分析。     那么,说好的大数据呢?难道有数据就叫大数据公司了?如果庆丰包子留存有这半个多世纪以来的购买者和交易记录它就得叫大数据公司了?     是,但也不是。 先归纳了一下硅谷“大数据公司”的类型,有补充或修正的请拍砖:   数据的拥有者、数据源:特点是业务优势能收集到大量数据,就像煤老板垄断一个地区的矿一样。其实大多数有能力产生或收集数据的公司都属于这类型,比如Vantage Sports和收集了PB级数据的包子铺。   大数据咨询:特点是非常技术,提供从基础设施规划建设维护到软件开发和数据分析等的服务,但不拥有数据,比如Cloudera这家不到500人的startup是最著名的Hadoop架构咨询公司。   做大数据工具的:比如AMPLab出来的Databricks和Yahoo人主导的Hortonworks。   整合应用型:特点是收集拥有或购买一些数据,然后结合AI来解决更多实际的痛点。   所以回答之前的问题:是,因为包子铺只要收集的消费者数据量够大就能成为数据拥有者,有那么大的数据就有得到洞见的可能;不是,因为可能从真正意义上来说,大数据公司应该只属于第四种类型:AI。     对,我相信未来是 AI 的,而 AI 的食物是数据。就像很多产业链一样,最困难且最有价值的创新往往发生在接近最终用户的那端,比如 iPhone。大数据行业最有价值的部分在于如何利用机器去处理数据得到洞见,影响组织和个人的行为,从而改变世界。收集和整理数据在未来会变得标准化和自动化,而利用 AI 进行分析的能力会变得更为关键。     再看硅谷主打 AI 的公司,现在大致可以分成以下三类了: 分析用户行为,改进产品和营销的,比如 LinkedIn 的推荐系统和用 iBeacon 实现店内营销;   统筹大量分散个体,利用大数据实现精确有效的预测和规划的,比如 Uber 和前段时间出现的 Amazon Fresh 及 Grub Market   分析识别各种类型的数据,开发更智能的设备和程序,比如 Google 大脑及无人车和以 Nest 为代表的智能设备等。   这些产品都有一个很明显的共性,就是在努力尝试把机器变得更智能以减轻人类的工作量。这个目的与科技发展的动力相符合,因此认为之前所说的第四种类型的公司是最有希望改变世界的。     这样的大数据公司需要什么样的人 那么大数据公司,或者说到真正可以改变世界的大数据公司需要什么样的人才呢?这里要介绍一个在硅谷被炒得很热的高频词汇:数据科学家。     这个职位出现的原因并不是因为数据量变大了需要更好的方式去存取,那是数据工程师的活。那产生的原因是什么呢?正是为了匹配上面第四种公司的需要。数据是 AI 当中不可分割的一部分,而且量越大越好,从数学上来说,数据越多则我们越能够有信心把从样本分析出来的结果推论到未知的数据当中,也就是说机器学习的效果越来越好,AI 越来越智能。     由此诞生的数据科学家是一个非常综合型的职业。它所要求的知识范围包括分析数据的统计学,到算法的选择优化,再到对行业知识的深刻理解。这群人是开发数据产品的核心。硅谷大部分 startup 已经把它当成是必需品了,以至于刚入行的新人也能领到差不多 $100K 的薪水。而模糊的定义和误解也让有的人戏称,data scientist is a data analyst living in the bay area。     值得一提的是,数据本身的飞速发展从另一个侧面其实也给数据工程师们的大数据处理带来了许多挑战。主要来源于以下的两个方面: 数据量的急速增长。如今,数据的产生变得异常容易。社交网络,移动应用,几乎所有的互联网相关产品每时每刻都在产生众多数据。传统的集中储存计算方式显然无法处理如此庞大的数据量。这时,我们就需要新的储存方式,如云储存,以及新的处理方案,如Hadoop这样的分布计算平台。   数据本身的非结构化。在传统的数据处理领域,我们处理的主要是结构化数据,例如,Excel表格可以显示量化数据等。而如今我们面对着越来越多的非结构化数据,如社交网络的评论,用户上传的音频视频等。这些数据存在于包括文本、图片、视频、音频等众多的数据格式中,这些数据中隐含着众多有价值的信息,但这些信息却需要深度的计算才可以分析出来。这就需要我们利用智能化分析、图像识别等等一系列新的算法来进行数据挖掘,这也就是“大数据”的挑战所在。   目前硅谷的创业公司正在探索新的应用领域和方法,比如说物联网这块。现在智能设备们才刚刚起步,Nest、被 Nest 收购的Dropcam、Iotera、emberlight等等都属于少部分人的玩具。待到家家户户都安装了智能冰箱、智能灯泡、智能桌子、智能沙发等等的时候,大数据的威力才会伴随着巨大的使用规模而发挥出来。     另外一个角度就是人。如果把之前谈的设备全部置换成个人的时候,他们的相互关系在各种维度上的交错会产生一张巨大的网络,其中的每个组成部分都由大量的数据组成。分析理解预测这些社会关系将会是大数据另一个有趣的应用方向,即Social Physics。不过按照从硅谷到全国的速度,感觉不管哪一方面的普及起码得等上五年以上的时间。     展望一下未来的话,如果参照以前的技术革命和行业发展来看大数据,那么大数据的底层设施将会逐渐被隔离,被模块化和标准化,甚至是自动化,而在其上的中间层和应用层将成为各大公司的数据工程师们激烈攻克的主战场。     硅谷公司的大数据运行现状 目前硅谷各个公司的数据处理水平和模式差别还是蛮大的。除 Facebook 等几个很领先的公司外,大部分公司要么还没有能力自行处理数据,要么就是正在建立单独的数据处理部门,主要负责从数据基本处理到后期分析的各个环节,然后再送到公司内部的其他部门。     对于这些公司来说,建立一个单独的数据处理部门可能还有还路漫漫其修远兮。举个例子来说,Facebook 有一个超过 30 人的团队花了近 4 年的时间才建立了 Facebook 的数据处理平台。如今,Facebook 仍需要超过 100 名工程师来支持这个平台的日常运行。可想而知,光是大数据分析的基础设施就已经是一个耗时耗力的项目了。LinkedIn 大数据部门的建设也已花了整整六年。     普遍来说,各公司自主建立数据处理平台存在着几个难点: 没有足够优秀的数据工程师来组建团队   没有足够能力整合数据   没有易于操作的基础软硬件来支持数据分析   这几个主要难点使得大数据分析越来越专业化、服务化,以至于我们渐渐看到一条“硅谷数据处理产业链”的出现。从数据的储存,数据分析平台建立,到数据分析,数据可视化等等各个环节的成本越来越高,这使得本身技术能力很强的公司都还是使用专业数据处理公司提供的服务,而将更多的人才和资源放到核心业务的开发上。     另外,就是各个公司对于数据处理的要求也越来越高。不仅仅需要有效的处理结果,也需要数据处理可以 self-service、self-managing、保证数据安全性、完善实时分析。这些诸多需求也使得专业化团队的优势更加突出。而这样一条整合服务链的行程,也给众多的大数据公司提供了机会。     硅谷是非常神奇的地方。科技概念在这里也不能免俗会被追捧,被炒得很热。但这种激情和关注某个程度上讲正是硅谷创新的动力。即使存在很多投机贴标签的人,即使一片片的大数据 startups 被拍死在沙滩上,即使 Gartner 预测大数据概念将被回归现实,但相信会有更多的人投入到大数据这个行业,开发出更智能,更有影响力的产品。毕竟,大数据本身,不像一个单纯的 pitch 那样,它能够保证的是一定可以中看并且中用。     【下篇:硅谷巨头们的大数据玩法】 本篇将一共呈现硅谷四大不同类型的公司如何玩转大数据,其中包括了著名 FLAG 中的三家(Apple 在大数据这块来说表现并不突出)。     本篇内容来自对 Evernote AI 负责人 Zeesha Currimbhoy、LinkedIn 大数据部门资深总监 Simon Zhang、前 Facebook 基础架构工程师 Ashish Thusoo 和 Google 大数据部门一线工程师及 Google Maps 相关负责人的专访。Enjoy~~     Evernote:今年新建AI部门剑指深度学习 Evernote 的全球大会上,CEO Phil Libin 提到,Evernote 的一个重要方向就是“让 Evernote 变成一个强大的大脑”。要实现这个目标,就不得不提他们刚刚整合改组的 Augmented Intelligence 团队(以下简称 AI team)。我在斯坦福约到 AI team 的 manager Zeesha Currimbhoy,在此分析一下从她那里得到的一手资料。     是什么 今年早些时候,这个 2 岁的数据处理团队改组为由 Zeesha 带领的 Augmented Intelligence team,总共十人不到,很低调,平日几乎听不到声响。他们究竟在做什么?     与我们常说的 AI(artificial Intelligence)不同,Evernote 的团队名叫做 Augmented Intelligence,通常情况下简称为 IA。Zeesha 显然是这个团队里元老级的人物:“我是在 2012 年加入 Evernote 的,直接加入到了当时刚刚建立的数据处理团队,这也就是现在 AI team 的雏形。我们最开始的项目都是简单易行的小项目,比如按照你的个人打字方式来优化用户的输入体验。”     传统意义上的 AI 指的是通过大量数据和算法让机器学会分析并作出决定。而这里讲到 IA 则是让电脑进行一定量的运算,而终极目的是以之武装人脑,让人来更好的做决定。这两个概念在具体实施中自然有不少相通之处,但是其出发点却是完全不同的。     这个区别也是 Evernote AI team 的亮点所在。作为一个笔记记录工具,Evernote 与 Google 之类的搜索引擎相比,最大的区别就是它非常的个人化。用户所储存的笔记、网站链接、照片、视频等都是他思维方式和关注点的体现。     从哪来 Zeesha 小组的初衷便是,通过分析用户储存的笔记来学习其思维方式,然后以相同的模式从第三方数据库(也就是互联网上的各种开源信息)抽取信息推送给用户,从而达到帮助用户思考的过程。从这个意义上讲,Zeesha 版的未来 Evernote 更像是一个大脑的超级外挂,为人脑提供各种强大的可理解的数据支持。     目前整个团队的切入点是很小而专注的。“我们不仅仅是帮助用户做搜索,更重要的是在正确的时间给用户推送正确的信息。”     实现这个目标的第一步就是给用户自己的笔记分类,找到关联点。今年早些时候,Evernote 已经在 Mac 的英文版上实行了一项叫做“Descriptive Search”的功能。用户可以直接描述想要搜索的条目,Evernote 就会自动返回所有相关信息。     例如,用户可以直接搜索“2012 后在布拉格的所有图片”,或者“所有素食菜单”。不管用户的笔记是怎样分类的,Decriptive Search 都可以搜索到相关的信息并且避免返回过大范围的数据。而这还仅仅是 AI team 长期目标的开始,这个团队将在此基础上开发一系列智能化的产品。     到哪去 不用说,这样一个新创团队自然也面临这诸多方面的挑战。当下一个比较重要的技术难点就是 Evernote 用户的数据量。虽然 Evernote 的用户量已经达到了一亿,但是由于整个团队的关注点在个人化分析,外加隐私保护等诸多原因,AI team 并没有做跨用户的数据分析。     这样做的结果就是团队需要分析一亿组各不相同的小数据组。比如,假设我只在 Evernote 上面存了 10 个笔记,那 Evernote 也应该能够通过这些少量的数据来分析出有效结果。当然,这些技术的直接结果是用户用 Evernote 越多,得到的个性化用户体验就越好。长期来讲,也是一个可以增加用户黏性的特点。     不过 Zeesha 也坦言:“的确,我们都知道没有大数据就没有所谓的智能分析。但是我们现在所做的正是在这样的前提下来找到新的合适的算法。”她并没有深入去讲目前团队所用的是什么思路,但是考虑到这个领域一时还没有很成功的先例,我们有理由期待在 Zeesha 带领下的 Evernote AI team 在近期做出一些有意思的成果。     Facebook:大数据主要用于外部广告精准投放和内部交流 Facebook 有一个超过 30 人的团队花了近 4 年的时间才建立了 Facebook 的数据处理平台。如今,Facebook 仍需要超过 100 名工程师来支持这个平台的日常运行。可想而知,光是大数据分析的基础设施就已经是一个耗时耗力的项目了。     Facebook 的一大价值就在于其超过 13.5 亿活跃用户每天发布的数据。而其大数据部门经过七八年的摸索,才在 2013 年把部门的 key foundation 定位成广告的精准投放,开始建了一整套自己的数据处理系统和团队。并进行了一系列配套的收购活动,比如买下世界第二大广告平台 Atlas。     据前 Facebook Data Infrastructure Manager Ashish Thusoo 介绍,Facebook 的数据处理平台是一个 self-service, self-managing 的平台,管理着超过 1 Exabyte 的数据。公司内部的各个部门可以直接看到处理过的实时数据,并根据需求进一步分析。     目前公司超过 30% 的团队,包括工程师、Product Managers、Business Analysts 等多个职位人群每个月都一定会使用这项服务。这个数据处理平台的建立让各个不同部门之间可以通过数据容易地交流,明显改变了公司的运行方式。     追溯历史,Facebook 最早有大数据的雏形是在 2005 年,当时是小扎克亲自做的。方法很简单:用 Memcache 和 MySQL 进行数据存储和管理。很快 bug 就显现了,用户量带来数据的急速增大,使用 Memcache 和 MySQL 对 Facebook 的快速开发生命周期(改变 - 修复 - 发布)带来了阻碍,系统同步不一致的情况经常发生。基于这个问题的解决方案是每秒 100 万读操作和几百万写操作的 TAO(“The Associations and Objects”) 分布式数据库,主要解决特定资源过量访问时服务器挂掉的 bug。     小扎克在 2013 年第一季度战略时提到的最重点就是公司的大数据方向,还特别提出不对盈利做过多需求,而是要求基于大数据来做好以下三个功能: 发布新的广告产品。比如类似好友,管理特定好友和可以提升广告商精确投放的功能。   除与Datalogix, Epsilon,Acxiom和BlueKai合作外,以加强广告商定向投放广告的能力。   通过收购Atlas Advertising Suite,加强广告商判断数字媒体广告投资回报率(ROI)。     LinkedIn:大数据如何直接支持销售和变现赚钱 LinkedIn 大数据部门的一个重要功用是分析挖掘网站上巨大的用户和雇主信息,并直接用来支持销售并变现。其最核心团队商业分析团队的总监 Simon Zhang 说,现在国内大家都在讨论云,讨论云计算,讨论大数据,讨论大数据平台,但很少有人讲:我如何用数据产生更多价值,通俗点讲,直接赚到钱。     但这个问题很重要,因为关系到直接收入。四年半前 LinkedIn 内所有用户的简历里抽取出来大概有 300 万公司信息,作为销售人员不可能给每个公司都打电话,所以问题来了:哪家公司应该打?打了后会是个有用的 call?     销售们去问 Simon,他说只有通过数据分析。而这个问题的答案在没有大数据部门之前这些决策都是拍脑袋想象的。     Simon 和当时部门仅有的另外三个同事写出了一个模型后发现:真正买 LinkedIn 服务的人,在决定的那个环节上,其实是一线的产品经理,和用 LinkedIn 在上面猎聘的那些人。但他们做决策后是上面的老板签字,这是一个迷惑项。数据分析结果出来后,他们销售人员改变投放策略,把目标群体放在这些中层的管理人身上,销售转化率瞬间增加了三倍。     那时 LinkedIn 才 500 个人,Simon 一个人支持 200 名销售人员。他当时预测谷歌要花 10 个 Million 美金在猎聘这一块上,销售人员说,Simon,这是不可能的事。     “但是数据就是这么显示的,只有可能多不会少。我意识到,一定要流程化这个步骤。”     今天 LinkedIn 的“猎头”这块业务占据了总收入的 60%。是怎么在四年里发展起来的,他透露当时建造这个模型有以下这么几个步骤: 分析每个公司它有多少员工。   分析这个公司它招了多少人。   分析人的位置功能职位级别一切参数,这些都是我们模型里面的各种功能。然后去分析,他们内部有多少HR 员工,有多少负责猎头的人,他们猎头的流失率,他们每天在Linkedin的活动时间是多少。   这是 LinkedIn 大数据部门最早做的事情。     Simon 说,公司内部从大数据分析这一个基本项上,可以不断迭代出新产品线 LinkedIn 的三大商业模型是人才解决方案、市场营销解决方案和付费订阅,也是我们传统的三大收入支柱。事实上我们还有一个,也就是第四个商业模型,叫“销售解决方案”,已经在今年 7 月底上线。     这是卖给企业级用户的。回到刚才销售例子,LinkedIn 大数据系统是一个牛逼的模型,只需要改动里面一下关键字,或者一个参数,就可以变成另一个产品。“我们希望能帮到企业级用户,让他们在最快的速度里知道谁会想买你的东西。”     虽然这第四个商业模式目前看来对收入的贡献还不多,只占 1%,但 anyway 有着无限的想象空间,公司内部对这个产品期待很高。“我还不能告诉你它的增长率,但这方向代表的是趋势,Linkedin 的 B2B 是一个不用怀疑的大的趋势。”Simon 说。     Google:一个闭环的大数据生态圈 作为世界上最大的搜索引擎,Google 和大数据的关系又是怎样的呢?感谢微博上留言的朋友,这可确实是一个很有意思的议题。     Google 在大数据方面的基础产品最早是 2003 年发布的第一个大规模商用分布式文件系统 GFS(Google File System),主要由 MapReduce 和 Big Table 这两部分组成。前者是用于大数据并行计算的软件架构,后者则被认为是现代 NOSQL 数据库的鼻祖。     GFS 为大数据的计算实现提供了可能,现在涌现出的各种文件系统和 NOSQL 数据库不可否认的都受到 Google 这些早期项目的影响。     随后 2004 和 2006 年分别发布的 Map Reduce 和 BigTable,奠定了 Google 三大大数据产品基石。这三个产品的发布都是创始人谢尔盖 - 布林和拉里 - 佩奇主导的,这两人都是斯坦福大学的博士,科研的力量渗透到工业界,总是一件很美妙的事。     2011 年,Google 推出了基于 Google 基础架构为客户提供大数据的查询服务和存储服务的 BigQuery,有点类似于 Amazon 的 AWS,虽然目前从市场占有率上看与 AWS 还不在一个数量级,但价格体系更有优势。Google 通过这个迎上了互联网公司拼服务的风潮,让多家第三方服务中集成了 BigQuery 可视化查询工具。抢占了大数据存储和分析的市场。     BigQuery 和 GAE(Google App Engine)等 Google 自有业务服务器构建了一个大数据生态圈,程序创建,数据收集,数据处理和数据分析等形成了闭环。     再来看 Google 的产品线,搜索,广告,地图,图像,音乐,视频这些,都是要靠大数据来支撑,根据不同种类数据建立模型进行优化来提升用户体验提升市场占有率的。     单独说一下 Google maps,这个全球在移动地图市场拥有超过 40% 的市场占有率的产品,也是美国这边的出行神器。它几乎标示了全球有互联网覆盖的每个角落,对建筑物的 3D 视觉处理也早在去年就完成,这个数据处理的工作量可能是目前最大的了,但这也仅限于数据集中的层面。真正的数据分析和挖掘体现在:输入一个地点时,最近被最多用户采用的路径会被最先推荐给用户。     Google 还把 Google+,Panoramio 和其他 Google 云平台的图片进行了标记和处理,将图片内容和地理位置信息地结合在一起,图像识别和社交系统评分处理后,Google 能够把质量比较高的的图片推送给用户,优化了用户看地图时的视觉感受。     大数据为 Google 带来了丰厚的利润,比如在美国你一旦上网就能感觉到时无处不在的 Google 广告(AdSense)。当然,它是一把双刃剑,给站长们带来收入的同时,但如何平衡用户隐私的问题,是大数据处理需要克服的又一个技术难关,或许还需要互联网秩序的进一步完善去支持。     像在【上篇】中所说,除 Facebook 等几个很领先的公司外,大部分公司要么还没有自行处理数据的能力。最后附上两个例子,想说这边的大公司没有独立大数据部门也是正常的,采取外包合作是普遍现象:     Pinterest: Pinterest 曾尝试自行通过 Amazon EMR 建立数据处理平台,但是因为其稳定性无法控制和数据量增长过快的原因,最终决定改为使用 Qubole 提供的服务。在 Qubole 这个第三方平台上,Pinterest 有能力处理其 0.7 亿用户每天所产生的海量数据,并且能够完成包括 ETL、搜索、ad hoc query 等不同种类的数据处理方式。尽管 Pinterest 也是一个技术性公司,也有足够优秀的工程师来建立数据处理团队,他们依然选择了 Qubole 这样的专业团队来完成数据处理服务。     Nike: 不仅仅硅谷的互联网公司,众多传统企业也逐渐开始使用大数据相关技术。一个典型的例子就是 Nike。Nike 从 2012 年起与 API 服务公司 Apigee 合作,一方面,他们通过 Apigee 的 API 完善公司内部的数据管理系统,让各个部门的数据进行整合,使得公司内部运行更加顺畅、有效率。另一方面,他们也通过 API 开发 Nike Fuel Band 相关的移动产品。更是在 2014 年开启了 Nike+ FuelLab 项目,开放了相关 API,使得众多的开放者可以利用 Nike 所收集的大量数据开发数据分析产品,成功地连接了 Nike 传统的零售业务,新的科技开发,和大数据价值。   作者: 曾小苏 Clara 摘自:36氪  
    大数据
    2014年12月09日
  • 大数据
    大数据的挑战和趋势 【编者按】本文作者傅志华先生(公众号:傅志华)曾为腾讯社交网络事业群数据中心总监以及腾讯公司数据协会会长。在腾讯前,曾就职于艾瑞市场咨询、易观国际、中国互联网协会,并任DCCI互联网数据中心副总裁。     大数据挑战和机遇并存,大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段,大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战,但前景依然非常乐观。     大数据发展的挑战 目前大数据的发展依然存在诸多挑战,包括七大方面的挑战:业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重,导致数据价值不能充分挖掘;数据可用性低,数据质量差,导致数据无法利用;数据相关管理技术和架构落后,导致不具备大数据处理能力;数据安全能力和防范意识差,导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值,但缺乏大数据相关的政策法规,导致数据开放和隐私之间难以平衡,也难以更好的开放。     挑战一:业务部门没有清晰的大数据需求 很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入比较多的成本,导致了很多企业在搭建大数据部门时犹豫不决,或者很多企业都处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘自身的数据资产,甚至由于数据没有应用场景,删除很多有价值历史数据,导致企业数据资产流失。因此,这方面需要大数据从业者和专家一起,推动和分享大数据应用场景,让更多的业务人员了解大数据的价值。     挑战二:企业内部数据孤岛严重 企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不一样,这导致企业内部自己的数据都没法打通。如果不打通这些数据,大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。     挑战三:数据可用性低,数据质量差 很多中型以及大型企业,每时每刻也都在产生大量的数据,但很多企业在大数据的预处理阶段很不重视,导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因,导致企业的数据的可用性差,数据质量差,数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息,还有对收集到的数据进行很好的预处理处理,才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明,高质量的数据的数据应用可以显著提升企业的商业表现,数据可用性提高10%,企业的业绩至少提升在10%以上。     挑战四:数据相关管理技术和架构 技术架构的挑战包含以下几方面:(1)传统的数据库部署不能处理TB级别的数据,快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库,并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术,在设计的开始就没有考虑数据类别的多样性,尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库,对数据处理时间要求不高,这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据,进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构,需要强大的数据中心来支撑,数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时,减少服务器的低负载情况,成为海量数据中心运维的一个重点工作。     挑战五:数据安全 网络化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段,可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多,黑客犯罪的动机比以往都来的强烈,一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们,要加强大数据网络安全的建设。另外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。     挑战六:大数据人才缺乏 大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据,所以拥有大数据的企业应该与学校联合培养人才。     挑战七:数据开放与隐私的权衡 在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用,不仅能促进相关产业的发展,也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划,系统之间缺乏统一的标准,形成了众多“信息孤岛”,而且受行政垄断和商业利益所限,数据开放程度较低,这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善,大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此,建立一个良性发展的数据共享生态系统,是我国大数据发展需要迈过去的一道砍。同时,开放与隐私如何平衡,也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。       大数据发展趋势 虽然大数据仍在起步阶段,存在诸多挑战,但未来的发展依然非常乐观。大数据的发展呈现八大趋势:数据资源化,将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合,行业定制化解决方案将涌现;数据将越来越开放,数据共享联盟将出现;大数据安全越来越受重视,大数据安全市场将愈发重要;大数据促进智慧城市发展,为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。     趋势一:数据资源化,将成为最有价值的资产 随着大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、百度、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功,并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产,成为提升机构和企业竞争力的有力武器。     趋势二:大数据在更多的传统行业的企业管理落地 一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用,其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此,我们有理由相信,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学,相信大数据在科学管理企业方面有更显著的促进,让更多拥抱大数据的企业实现智慧企业管理。     趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现 来自传统商业智能领域者将大数据当成一个新增的数据源,而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案,即不仅要能收集、处理和分析企业内部的业务数据,还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外,还希望能结合移动设备的位置信息,这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟,无论是大数据还是商业智能,目的都是为分析服务的,数据全面整合起来,更有利于发现新的商业机会,这就是大数据商业智能。同时,由于行业的差异性,很难研发出一套适用于各行业的大数据商业智能分析系统,因此,在一些规模较大的行业市场,大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。     趋势四:数据将越来越开放,数据共享联盟将出现 大数据越关联越有价值,越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到,美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网,在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作,数据涉及地理位置、交通、经济统计和资格资质等数据;2014年,贵州省也加入数据开放之列,10月份云上贵州正式上线。对于不同的行业,数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息,那么就需要全国,甚至全世界的医疗信息共享,从而可以通过平台进行分析,获取更大的价值。我们相信数据会呈现一种共享的趋势,不同领域的数据联盟将出现。     趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要 随着数据的价值的越来越重要,大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。     趋势六:大数据促进智慧城市发展,为智慧城市的引擎 随着大数据的发展,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。     趋势七:大数据将催生一批新的工作岗位和相应的专业 一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如2014年,IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养,建设符合中国教学特色及人才需求的大数据相关学分课程,为未来建设特色专业方向做准备。     趋势八:大数据在多方位改善我们的生活 大数据不仅用于企业和政府,也应用于我们的生活。在健康方面:我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;在出行方面:我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优。在居家生活方面:大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如我们的冰箱可能会在每天一大早建议我们当天的菜谱。
    大数据
    2014年12月01日
  • 大数据
    2015年五大网络预测 摘要:2015年相比14年而言,将会带来更多的网络革新,大数据将更大更强、软件定义的事物将越来越多、新的高标准将成为主流、物联网向万物互联迈进以及CTO的作用将会越来越大,面对这些发展趋势,你做好准备了吗? 2014年是大科技变化的一年。可穿戴技术开始崭露头角、多个知名企业为客户信息做出让步而遭受数据的入侵、云计算成为公司存储信息的标准、所有事物都变成软件定义的,并且大数据成了主流。     尽管如此,2015年将会带来更多的技术创新,尤其是对于网络基础设施。接下来的五大网络预测是由 IT networking company nfrastructure 的 CEO Dan Pickett提供。 大数据将变得更大更好 目前已经有数十亿已连接的设备以及新的技术在生产大量的数据。在2015年,连接的设备数量将继续增长,因此你公司的知识财富也会随着增长,并能够使用大数据来改进业务流程。从发展最有效的生产过程到创造惊人的客户体验,这些业务的所有方面,都将源于投资公司收集并有效的使用大数据,要确保你的公司有这样的能力来收集和运用这些数据,为公司带来尽可能多的价值。     速度和敏捷性 一切都是移动在线的。传统的消费品,如家庭安全系统、灯和加热物件、打印机和扫描仪等办公软件,这些都将被连接起来。随着越来越多的网络和产品变成“软件定义”,以及对创建和部署网络的物理限制逐渐消失,这也是企业和客户一直都期待更快的连通性。这些连接的设备将不断地零延迟的更新。现在开始为这次潮流准备你的网络,以确保一切都是最新的、最安全的。     更多的采用、更高的标准 在设备、通信协议、中间件和应用等这些网络市场上,有一种压倒性的混合技术。这项技术带来了新的主要标准,并且提高了互通性。随着2015年连接的设备成为一种标准,目前这些技术采用的障碍将会被取消。网络设设备之间的流动性将会产生更多集成的解决方案,这对业务来说有很大的价值。当你为这种转变准备时,技术顾问对于你的业务可能会很有价值。     物联网变为万物互联 物联网已经出现在我们的视野里。并且已经惊人地占据了业务和日常生活的集成部分,甚至我们对它还没有任何认知。自从2013年以来,超过6.5亿个新的物理对象实现了在线。这个数字还在不断地扩大,这意味着网络需要优化、准备增加带宽,来跟上这种增长。在2015年,每个有业务的部分都将会把重点放在万物互联的策略上,所以要准备把万物互联合并到你的业务计划和预测当中。     为CTO铺路 IT的消费化持续渗透到企业的每个部门。在2015年,可以预期,曾今对IT兴趣不大的那些终端用户,将由新的技术以及连接设备授予他们权利。当这一切发生时,CTO这个角色将会继续扩大,并会成为最高管理层里的一个至关重要的角色。2015年,CTO们将会把矛头指向科技的创新,并且商业活动将不仅仅局限于IT,还将会扩散到市场营销、人力资源和金融业务。宜早不宜迟,同时要确保将所有业务部门整合到科技的决策过程是一个平稳的过渡。     本文为CSDN编译整理
    大数据
    2014年11月27日
  • 大数据
    移动互联网与大数据时代在九个领域的50个预言,你们来感受下 预言一:数据总线+插拔式业务组织将成为企业常态;   预言二:企业的部落结合打破传统边界;   预言三:跨界与颠覆成为常态,不再有稳定的生意;   预言四:智慧资产的保护藩篱被打破,火速创新成为主流;   预言五:专业化、个人化的工坊将再度复兴;   预言六:对于设计的高度重视将体现在企业的各个方面;   预言七:极致主义将成为企业创新的文化;     预言八:创新英雄将不再被赋予强盗资本家的印象;   预言九:在大数据的作用下,消费者日益变得赤裸,消费者代言机构强势崛起;   预言十:商铺的一般体验已经远远不够,需要像剧场一样形成与线上的高度差异化;   预言十一:CIO将成为首席洞察官,跻身于仅次于CEO的核心层;   预言十二:资本与创业者的矛盾加剧,企业的治理结构发生巨大变化;   预言十三:对于儿童心理世界的理解与运用将发生革命性变化;   预言十四:创新代际下移,少年极客不断涌现;     预言十五:体验式课堂将是学习完成变为学生主导型学习;   预言十六:面向网络的公共道德教育与价值观教育占据重要地位;   预言十七:学习碎片化已经被普遍接受并得到支持;   预言十八:学术进一步市场化,学术与商业、公众的边界进一步打破;   预言十九:新媒体业已经完全占据媒体主流;   预言二十:在海量信息时代,消费者心智受到快速专业解读者高度影响;   预言二十一:自媒体大兴其道,成为社会人的标配;   预言二十二:随着屏一代成为社会主流,加速整个世界的电子化、数字化和工具化;   预言二十三:电影与电视产业将成为资本与互联网业的结合体;   预言二十四:媒体业已经开始很难被定义为独立产业;   预言二十五:时代主流话语碎片化、世俗化,大时代不复存在;   预言二十六:社会以某种宽容机制确保另类信息的表达与传播;   预言二十七:大量的志愿型、公益型媒体出现;     预言二十八:出现专业化家庭幸福托管行业;   预言二十九:回归家庭的简朴生活价值观大兴其道;   预言三十:旅游人口的激增带来了车联网成为社会基础设施;   预言三十一:新一代懂互联网的老年人,使老年生活形态发生巨大变化;   预言三十二:电子产品的广泛化造成了严重的家庭沟通不足,由此带来的心理疾病激增;   预言三十三:女性在家庭与社会中的影响力显著上升,开启她世纪;   预言三十四:年轻人的主流价值观发生改变,做自己的理念汇成洪流;     预言三十五:社会型企业大兴其道,成为衔接公益与商业的桥梁;   预言三十六:对于科技创新的抵触感加剧了人们追求心灵觉醒的愿望;   预言三十七:健康主义者开始成为社会人群中数量庞大并具有影响力的人群;   预言三十八:知识化、专业化的新蓝名阶层出现;   预言三十九:人们对于电子化、数字化、社交化工具的高度依赖,造成了系统性风险累积;   预言四十:类似于梭罗的理念大兴其道,价值观进一步分化;   预言四十一:商业交易过程开始变为买卖双双的及积极心理过程;   预言四十二:技术的进步支持人们越来越多样的多样化探索;   预言四十三:网络开始成为艺术传播的主流渠道;   预言四十四:大批个体艺术家崛起,个人策展开始规模出现;   预言四十五:深度阅读崛起,带动文学复兴;   预言四十六:东方哲学思想得到越来越多的认同,并被纳入政治、商业、教育的各个范畴;   预言四十七:音乐的创作与传播已经开始充分的互动化;   预言四十八:大批被数字化的艺术遗产,带动了艺术价值的传播;   预言四十九:历史得到大数据的支持,以多种艺术形态为当代人接受;   预言五十:馈赠分享、专业多元、自我赋权、多样探索开始成为当代人主流观念。   来源:培训经理指南
    大数据
    2014年11月21日
  • 大数据
    89%的高管表示他们认为大数据将彻底改变做生意的方式 大数据已经在媒体上流传几年了,现在营销人员将大数据应用到更广泛的范围。他们表示大数据给他们生意的各个方面都带来了变化,但是并没有从根本上改变什么。 2014年4月Accenture 调查了全球高管眼中大数据的最大作用,只有5%的人表示首要作用是从根本上改变了他们做生意的方式,约四分之一受访者将其列入前三项。     受访者更可能表示大数据主要作用在改善消费者的关系、完善产品开发和经营企业方面,但是并没有从根本上改变商业实践。     尽管如此,调查也发现受访者十分希望大数据能够改变他们的世界。 89%的高管表示他们认为大数据会彻底改变做生意的方式,就像互联网一样。超过一半人强烈同意这一想法。他们还相信会有其他巨大变化。     这将从梦想变成现实,但是,仍有待观察。     编译自:eMarketer 译者:孙莹  来源:199it
    大数据
    2014年11月18日
  • 大数据
    调查显示安全、移动和大数据是是未来三年企业IT三大要务 在颠覆性技术层出不穷,商业创新空前活跃的今天,战略方向比过去任何时候都更加重要,这主要表现为对新技术优先级的判断。近日发起了一项在线调查显示,418名企业CXO级别高管和部门级人员参与了调查,结果显示企业高管和非高管人员对未来三年企业面临的重点技术趋势的判断大致相当,但也有些分歧:但是所有人都不约而同地将提升IT安全视作未来三年最重要的IT要务: 从上图可以看出,提升安全、应用改进与业务流程优化、降低成本和项目管理在企业高管和员工眼里的优先级都很高。其中CXO高官们为以下几项事务给出的优先级高于平均值: 项目管理 业务流程的移动化运营部署 IT员工培训 应用改进与业务流程优化   对于云计算、大数据和移动等新兴技术未来三年对企业IT的价值,CXO高管和IT部门的看法也略有不同,但双方都认为安全、移动设备管理和大数据分析未来三年对企业的意义最为重大,但是CXO为物联网、数字营销和SaaS云服务三项新兴技术给出的优先级明显高于调查的平均值(下图) 企业IT优先级评估统计 (所有受访者,包括CXO) 企业IT优先级调查(受访者为CXO)       文章来自IT经理网
    大数据
    2014年11月17日
  • 大数据
    Clustree:利用大数据自动匹配公司内部人才与职位 Clustree是一家利用大数据来为大公司中的合适职位寻找合适人选的法国创业公司。Clustree 不仅能帮助觉得屈才的好员工,也可以帮助可能没有考虑到从自家公司中寻找合适人选的人力资源部门。     Clustree 创始人兼首席执行官本艾蒂科特·索斯安(Bénédicte de Raphélis Soissan)在电话采访中对我表示:“Clustree 是一个针对人才管理的软件即服务平台。我们分析了数百万人的职业生涯路径,并创建了跳槽的人的数据图。我们计算相似度并进行推荐。”     最开始的时候,Clustree 从网络上下载了上千万份简历来寻找趋势,这只是开头。现在 Clustree 要有用得多了,用户可以上传自己公司的简历,还能手动通过表格添加员工的数据。所有数据都会进行匿名化处理,并用于帮助为 Clustree 其他客户生成更好的推荐。     总的来说,和猎头公司打交道或花无数时间来面试候选人相比,这一方式要便宜的多。而且 Clustree 对现有员工也有益,员工们可能会更加尽心地工作。     本艾蒂科特·索斯安说道:“我们想要打破传统的职业生涯路径。我们想说有机会从一份工作跳到另一份工作。有时候甚至会出现全新的工作岗位,雇主找不到任何符合这些工作的标准档案。”     Clustree 的方法奏效了。拥有 2000 名员工以上的法国大公司开始使用 Clustree 来进行人才管理。在本艾蒂科特·索斯安测试市场时,法国燃气苏伊士集团就成为了 Clustree 的首个客户。当时该产品还没有完成,她想看看有没有公司会购买。换言之,她在团队开发出产品前就把产品销售了出去。   Clustree 背后的理念来自于创始人的个人经历。当本艾蒂科特·索斯安想要辞掉工作换一份工作时,她搜索了数百份拥有相同背景的类似档案,好看看自己接下来能做什么。但她没有换成工作,而是创办了一家公司来帮助有同一需求的人。     Clustree 最近从 Alven Capital 及几名天使投资人处获得了 76 万美元种子融资。目前 Clustree 正在开发一项大的产品更新,让产品变得更有用。比如,让公司搜索特定行业的人才档案。     人力资源部门绝对应该使用更多数据来作决策,这也是 Clustree 有趣的原因。Clustree 还很年轻,但未来可能会推出更多有用的功能。         Meet Clustree, a French startup that uses big data to find the right person for the right position within big companies. Clustree will help both good employees who feel stuck in their jobs and HR departments who might not think to check their own companies for the perfect candidate.     “Clustree is a SaaS platform for talent management,” founder and CEO Bénédicte de Raphélis Soissan told me in a phone interview. “We analyze the career paths of millions of people and create data charts of people hopping from one job to another. We calculate the likelihood and make recommendations.”     At first, Clustree downloaded tens of millions of résumés on the web to find out trends — this was just used to get a head start. Now, Clustree is much more useful as you can upload résumés from your own company. You can also manually add data about your employees using a form. All this data is anonymized and will help building better recommendations for all the other Clustree customers.     Overall, it makes hiring much cheaper than having to work with a talent agency or spending countless of hours interviewing candidates. And it might be benificial for existing employees as well — they might end up with a more fulfilling job.     “We want to break traditional career paths,” Raphélis Soissan said. “We want to say that there are opportunities to jump from one job to another. Sometimes, there are even brand new jobs, and you can’t find any typical profile for these jobs.” And it works. Big French companies with more than 2,000 employees started using Clustree for their own talent management. GDF Suez was the first client — at the time, Raphélis Soissan wanted to test the market. The product wasn’t even done. Yet, she wanted to see whether a company would buy it. In other words, she sold the product before her team developed it.     The idea behind Clustree comes from the founder’s personal experience. When Raphélis Soissan wanted to quit her job and find a new one, she started searching for hundreds of similar profiles with the same background to see what she could do. Instead of picking the logical next job, she founded her own company to help people in the same situation.     The company recently raised a $760,000 (€600,000) seed round from Alven Capital and business angels, such as Jean-David Blanc, Fred Montagnon and Florian Douetteau. It is currently working on a major product update that will make it more useful. For example, it will be possible to restrict search queries to companies working in a particular industry.     HR departments should definitely use more data to make educated decisions, and that’s why Clustree is an interesting startup. It’s still very early for the young startup, but there are many potentially useful features behind Clustree.   来源:TC
    大数据
    2014年11月17日
  • 大数据
    图解大数据:大数据如何转化为成果?——信息图 图解大数据:大数据如何转化为成果?    
    大数据
    2014年11月17日
  • 大数据
    只要1000个字,文科生也能理解“大数据” 大数据对绝大部分人来说就好比“叶公好龙”里面的龙,听说过没见过。大家都知道大数据很流行,但是真正理解大数据的逻辑的人仍然不多。我觉得这个问题更多是出在大数据的推广者自己身上,写的文章术语太多,谈理论太多,不接地气,以至于让普通人看不懂。当然这也不能怪他们,能把大数据玩转的基本都是理科生,写文章并非他们擅长的事情。今天我尝试着就用1000字的篇幅,把大数据写得让文科生都能看明白(注:我就是文科生)。     1000字从这里开始—— 水这个东西大家都见过。当你有一杯水的时候,你可以喝它。当你有一盆水的时候,你可以用它洗脸。当你有一浴缸水的时候,你可以用它泡澡。当你有一游泳池水的时候,你可以用它游泳。当你有一西湖水的话,你可以用它划船泡妹子。当你有一运河水的时候,你可以用它运粮食。当你有一长江水的时候,你可以来往于中国的西部和东部。当你有一大西洋水的时候,你就可以发现新大陆了!     水能做的事情,是随着它的量级的增长变得越来越多的,翻译成互联网术语就叫“网络效应”。比如说电话这东西,当世界上只有100个人有电话的时候,它的价值我们认为是1个价值单位。那么当世界上有10000个人有电话的时候,它的价值难道是100个价值单位吗?不是,是10000个价值单位!这就是网络效应,网络的价值随着网络规模的扩大呈几何级数增长。     我听到一些人这么理解大数据:“我们公司很早以前就开始做大数据分析了,我们有几百万的客户数据,我们用它来进行精准营销。大数据不稀奇,它只不过是最近媒体给炒热了而已。”对此我的反应是:“呵呵。”     上面这种理解,其实只是到了“拥有一浴缸水用来泡澡”的境界而已。你觉得精准营销(我认为“精准骚扰”更准确一些)就是大数据存在的价值吗?你觉得你存在自己那台服务器里面的几百万客户数据就能被称之为“大”数据吗?如果这么想,那是因为你还没有见过大海,你还没有体验过乘坐航空母舰是一种什么样的气魄。     大数据最最根本的属性有三个——海量、开放、连接。     因为海量,所以它能做的事情才多。如果不开放,数据的量就不可能海量。如果不连接,再海量、再开放的数据,对人类的生产生活也没有使用价值。     传统的数据思维和大数据思维是根本互斥的。企业往往认为数据是自己的宝贵资产,对保密性看得无比重要,宁可牺牲开放性也不能牺牲保密性。哦对了,他们管保密性叫安全性。你是安全了,但你只守住了自己那一浴缸水而已,你就躺在安全的浴缸里面洗洗澡吧,你的对手这时候可能已经开着万吨巨轮在数据的汪洋大海里驶向美国了。     看到这里,我想聪明的读者可能已经明白了:大数据不是谁家的东西,它是全人类共同的财产,是一种公共资源,你不可能“占有”公共资源,你只能去“使用”它;数据分析、精准营销这种对数据的使用程度,无异于在大西洋里洗个澡而已,大西洋肯定不只是让你干这个的。     写到这里,我的1000字篇幅也基本上用完了,我想我应该已经把道理讲清楚了。再说一句画龙点睛的话凑个字数吧:没有连接的数据是死的,连接赋予数据以生命。     ——以上总共998字。     作者许维为明道副总裁,公众号/xuwei0418
    大数据
    2014年11月03日
关于我们  | 商务合作  | 加入我们  | 那年今日  | 招聘科技峰会精彩回顾  | 上海科技峰会回顾  | 首届HR区块链峰会  | 2017HRTech年度颁奖  | people analytics  | 候选人体验大奖  | 友情链接  | HR科技极客大奖  | 深圳科技峰会精彩回顾  | HR共享服务平台  | 三支柱论坛2018  | 2018数字人力资源科技奖榜单  | 2018 数字人力资源科技奖  | 北京2018HRTechCon精彩回顾  | 2018HRTechXPO  | 2018TOP100人物榜单  | 2019年度活动计划  | 2018年度大奖揭晓  | 2018投融资报告  | 2017投融资报告  | INSPIRE 2019精彩回顾  | 2019海外活动计划  | 2019北京招聘科技论坛精彩回顾  | 2019深圳人力资本分析峰会精彩回顾  | 2019中国人力资源科技峰会上海精彩回顾  | 2019HR科技极客大奖  | 北京HRTechXPO未来馆精彩回顾  | 深圳·2019招聘科技创新论坛精彩回顾  | 2019候选人体验大奖榜单  | 中国人力资源科技云图  | 招聘科技云图  | 2019上海招聘科技创新论坛精彩回顾  | 深圳7月19日HRTechXPO精彩回顾  | 2019HRPA上海站精彩回顾  | 2019中国人力资源科技创新奖  | 深圳·2019中国人力资源科技年度峰会精彩回顾  | 2019北京HR科技峰会精彩回顾  | 2019数字人力资源科技奖榜单  | 2019HRTechChina TOP人物榜单  | 2019HRTechTOP人物列表  | 2019HRTechXPO-上海精彩回顾  | 2020HRTechChina品牌活动计划  | 2020HRTech云图入口  | 共同战疫专题  | 2019年度评选榜单  | 2020招聘科技创新虚拟峰会精彩回顾  | 助力企业共同抗疫专题  | 2020年度候选人体验大奖(中国地区)榜单揭晓  | 2020HRTech虚拟峰会精彩回顾  | 提交业务需求
 Hotline: 021-31266618   Email:hi@hrtechchina.com