听课笔记大数据概论

听课笔记大数据概论（共3篇）

1.听课笔记大数据概论 篇一

读《大数据时代》

初次见到维克多·迈尔-舍恩伯格教授是在《对话》栏目中，当时谈及当今各种科技信息的变化，然后在主持人的各种提问下，我逐渐了解到“大数据”这个名词，他也是现在对于大数据最有发言权的预言家。一位睿智的人总是能够给人留下很深的印象。然后在中央财经频道的特别节目《指尖上的商机》系列节目中，也谈及到大数据对于当今时代的影响和蕴藏的巨大商机。

读一本好书就像与智者交谈。今天我翻读《大数据时代》，细细品读这位智者给我们的礼物。我们首先应该明白一个概念“大数据”，他不是单单的说数据很大，或者数据很多的意思，真正的意思是：不用随机分析法这样的捷径，而采用所有数据的方法。它告诉我们一种超越现在的对于数据的一种分析方法，这个方法建立在尽可能多的数据上。下面让我们合上此书，让他从我们的思想深处开始发声吧。

首先，大数据时代是建立的基础就是有一个很庞大的数据库，我们分析的对象不是抽取样本，而是用全部的数据作为样本，“样本=总体”。这样我们能够把要调查的对象精确到每一个个体，我们能够对每一个个体提供个性化分析和服务。我们会摆脱抽样样本的误差和失误，同样我们能够细化我们研究的对象和分析的数据。我们分析的适合一个大的整体，也适合每一个个体。这是大数据分析的基础。

第二，大数据是由很多不同的纷繁复杂的数据汇总在一起的，我们必须接受他们的复杂性和不精确性，我们的研究方向除了寻找因果关系之外，增加了一种相关关系的研究。我们通过数据之间的关系，分析得到我们想要得到的结论或者是模型。在这里我们应该重点看一下，相关关系是我们打开的另一扇窗，而不能关闭因果关系的现在开着的窗户。我们开始重视相关关系，但是不能放弃对于因果关系的研究。作者也在文中阐释我们的生活还是需要因果关系的，甚至我们需要大数据算法师，我们需要了解“黑匣子”中的神秘。这是大数据时代我们应该正确认识的。

第三，大数据的原始来源是用不同的方法收集，为了有尽可能多的数据，我们现在有了电脑，搜索引擎，智能手机，可穿戴设备，社交平台，还有无数的传感器等等，我们可以把文字，位置，动作，喜好等所有的世界进行量化，他都可以用数字表示，这就是我们所有的纷繁复杂的原始数据，他们是一座钻石矿，由于无数种的相关组合可以不断地挖掘出我们所需要的信息。这是我们不断利用大数据的基础。我们需要不断更新的数据。

第四，未来在过去的尘埃中。我们分析大数据最大的作用就是预测未来，知道下一步你会做什么，知道下一个最危险的事物或人。我们用什么方法预测未来。这是一个商业，政府，甚至世界的时代，我们分析的方法就是动用自己敏锐的思维发现相关性，然后动用我们的数据分析工具对其进行相关性分析，最后我们用统计学研究出一个模型。通过模型我们能够预测未来。大数据分析的关键就在于数据，思维和技术。现在我们有快速分析的工具，正在不断收集数据，那么最重要的就是人类的思维，一个能够分析相关性，能够创新使用数据的思维。在大数据时代我们需要把统计学，软件工程师和创新思维结合在一起的人才。

第五，我们能够知道每一个人的位置，喜好，关注什么，即将干什么等等，对于每个人来说都是一个很可怕的事情，如果我们赤裸裸的暴露在阳光之下，或者我们正在暴露中，我们的隐私应该受到保护，这也是大数据时代一个亟待解决的问题，尽管我们匿名分析信息，到最后我们还是能够精确到个人，我们需要有人负责，这是安全问题，自由和科技或商业的发展产生矛盾，我们应该何去何从？我们担忧的，相信会有人来解决。这涉及到我们每个人的利益。

最后，这是一个时代的发展趋势，我们可能只有几年的时间去适应这样的变革。等到真正来到之时，能够造成一种翻天覆地的变化，我们只能适应这种变化。拥抱这个世界固然很好。但是我们的信息，我们的生活都在一个大数据体系中被收集，被分析。我们用QQ、微信来暴露我们的交际圈；我们用智能手机暴露我们的具体位置；我们用说说、人人等暴露我们的喜好，我们的心情；我们用淘宝、亚马逊、京东

来暴露我们需要的产品；我们用百度、Google来暴露我们所关注的事情。我想有好多双眼睛正在盯着我们，只是我们还不知道。这是一件可怕的事情。

2.大数据时代读书笔记 篇二

玩笑归玩笑，当我们的存储能力、计算能力和网络带宽变得充裕之后，我们先前对待数据，尤其是原始数据的态度和思维方式，将面临着很大的改变!

其实，作者的主要观点，已经在翻译者的译者序中进行了总结：“大数据时代处理数据理念上的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果”。

如作者所言，“采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物”。如果可以，我们当然会使用“全体数据”而不是“抽样数据”。读到这里，我估计大学里正在绞尽脑汁设计样本抽样方法的学生、教授们，连哭的心都有!

数据分析的及时性，在很多情况下比精确性更加重要，尤其是在商业领域。想想看，如果需要两周时间才能计算出明天某个航班的满座率，那还有什么意义?大数据计算技术，适用的不是像卫星发射、开具银行账户这样的工作，而是不要求极端精确的情况，其核心是“预测趋势”，况且原始数据也可能出现差错。

过往千年，探究因果关系几乎是所有科学研究的原动力。甚至，这已经通过语言，融入我们的思维方式和哲学思想：“因为……所以……”，凡事都要问“为什么”。但是，在大数据的范畴里，关注的却是相关性，而不是因果关系，或者其次才是因果关系。超市只用关心把啤酒和尿不湿放在一起，会帮助提高销售额，而不用关心其中的奥秘。如果说原因，可能很多都是人们的习惯、方便，甚至是人性，例如奶爸们习惯买尿不湿的时候给自己捎上几罐啤酒。

在此，也有一些自己的思考：如果说搜索引擎所解决的问题表面上是帮助用户找到需要的信息，而实质是帮助企业找到拥有某项需求的客户，深层次讲是解决了《第三次浪潮》中提出的消费者和生产者分离的根本矛盾，如果再加上3D打印技术，就可以完成由消费者主导的“个性化”生产过程;而大数据所解决的是，通过对所有用户的数据进行分析，可以预测用户群整体的需求变化趋势，从而完成批量产品生产、销售的调整问题，其奇妙之处就在于无需用户“开口”说出她想要什么?一个解决的“个体需求”，一个解决的是“群体需求”。

3.大数据时代读书笔记 篇三

无处不在的大数据：各种云计算，谷歌的神通，亚马逊的推送，天涯人肉，微博万能等等等等，我们掌握了新的工具，也获取了以前从未有过的各种信息。大数据拉近了我们与现实的距离，“地球村”变成了“地球屋”，仿佛所有人所有事物都触手可及，而这些牛逼哄哄的互联网巨头就在客厅展示着世界的每一寸光景。如作者所言“大数据开启了一次重大时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们看清微生物一样，大数据要改变的是，我们的生活方方面面以及理解世界的方式”。比如，谷歌通过全球搜索分析，比国际疾病控防中心更早更准地预测了流感爆发。

然而，事实真的是这样吗?首先，从应用角度出发，低廉的运算能力和存储空间，让以前的样本分析显得非常简陋——一些从全体数据挖掘出来，忽略精确而从大量数据的简单算法得出来的结论颠覆了常识。但个人觉得，这只是统计学的终极目标——并没有非常大的跨越，可能终结了回归分析，有效性验证等手段，但依旧还是统计。而革命性在于关注相关关系而非因果关系。现场讨论从神学角度挑战了因果关系的不可能——或者说人类用简单思考的逻辑来定义因果，以及用之前小数据演绎出大概率事件来推导因果，都是不正确的。真正的因果关系应该属于上帝的范畴，人类如果真的完全掌握之后，会统治整个宇宙。

但我觉得，无需从神学观点来讨论，而可以借鉴量子力学对经典力学的颠覆——在原子层面上，经典力学会失效——那么在大数据层面上，普通的抽样调查直观反映会失效。而且从量子力学角度是很难推导经典力学的公式，那么从现在的惯有思维，也难以推导出大数据的因果关系。同时现场有讨论，是否计算机可以精确地模拟每个原子，然后完整地展现微观到宏观的化学反应细节?我觉得首先是计算能力不足，其次即便设定原子的运动条件真的正确，计算结果未知但宏观结果我们却已经知道——牛顿的经典力学足以应付日常绝大部分情况了。好比切西瓜，究竟刀头的铁原子和西瓜的有机分子如何作用，真的重要吗?回归到商业领域，如果我们可以提高相关性的准确度，从而提高投入效率，那就已经足够了。本来一个产品受到一半客户喜欢，但如果通过大数据挖掘到更好的定位，有百分之八十的客户喜欢，那么价值已经非常可观了。

大数据时代的社会伦理——很大的命题，但重点都在讨论如何保护个人隐私。因为手机越来越智能，网络越来越快，个人的信息也越来越透明——隐形几乎完全不可能。我想说的是，作为硬币的另外一面，我们无法舍弃：互联网只不过是让人与人之间碎片的关系得以统一，其实各种人肉和信息只不过是坊间传闻的升级罢了。当我们住在拥挤的小区，三公里走完一圈的县城，半小时散步完的村落，人和人之间有隐私吗?现在只不过是把这个范围放大到了一个地球而已。硬币的一面是人和人之间有沟通的需要，去团结对抗世界的未知，那么另外一面就是隐私的缺乏。与其说是要在大数据时代保护自己的信息不被泄露，不如站起来维护自己和他人的隐私，从法律和道德的角度来尊重人与人之间的权利。在一个互相尊重的环境下，你可以穿热裤，他也可以穿长裙走上街头;在一个互相践踏的社会中，人人都得带着面具生活。

在思维变革部分，作者讲述的重点是：样本=总体，我们需要对全部数据的占有和分析;因此，数据缺乏时代的精确性不必执迷，接受混杂基于大数据的简单算法比小数据的复杂算法更有效;样本推断的因果关系不重要了，知道“是什么”的相关关系，或者结果就可以了。对于我自己最受用的是什么呢?是大数据的产业链。产业链包括大数据平台、大数据技术提供方、大数据理念提供方。我认为大数据平台是整个产业链条的核心，没有数据，再好的技术和理念都会是无米之炊。那么大数据平台在当前的中国社会有哪些呢?所有的互联网公司，物联网公司，物流，快消品等等，实际上任何公司都是数据平台公司，只不过之前没有好好的利用数据，而更多的是用经验来管理公司和迎合客户需求。现在不一样了，我们完全可以用数据来驱动公司管理和客户管理，毕竟数据是不会骗人的。