作者文章归档：闫英飞
必贝yo带你了解大数据的产生和作用
从采用数据库作为数据管理的主要方式开始，人类社会的数据产生方式大致经历了 3 个阶段，而正是数据产生方式的巨大变化才最终导致大数据的产生。
运营式系统阶段。
数据库的出现使得数据管理的复杂度大大降低，在实际使用中，数据库大多为运营系统所采用，作为运营系统的数据管理子系统，如超市的销售记录系统、银行的交易记录系统、医院病人的医疗记录等。
人类社会数据量的第一次大的飞跃正是在运营式系统开始广泛使用数据库时开始的。这个阶段的最主要特点是，数据的产生往往伴随着一定的运营活动；而且数据是记录在数据库中的，例如，商店每售出一件产品就会在数据库中...
必贝yo带你了解大数据必贝yo带你了解大数据
大数据本身是一个抽象的概念。从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。
目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低，如图 1 所示。下面分别对每个特征作简要描述。
Volume：表示大数据的数据体量巨大。
数据集合的规模不断扩大，已经从 GB 级增加到 TB 级再增加到 PB...
必贝yo告诉你为啥大数据这火
“要运用大数据提升国家治理现代化水平”“要建立健全大数据辅助科学决策和社会治理的机制，推进政府管理和社会治理模式创新”，习近平总书记的重要论断，为推进国家治理体系和治理能力现代化打开了一条技术赋能的路径。用数字技术变革来推动治理变革，中国在这方面走在世界前列。
在人类漫长的文明史上，从农业到工业，从刀耕火种到声光化电，每一次技术变革都会带来人类的组织方式、治理方式和制度体系的变革。未来十年，是整个数字经济转型的关键时期。可靠易用的云、更加智能的大数据、云端一体的智...
大数据的初步理解
似乎一夜之间，大数据（Big Data）变成一个IT行业中最时髦的词汇。
首先，大数据不是什么完完全全的新生事物，Google的搜索服务就是一个典型的大数据运用，根据客户的需求，Google实时从全球海量的数字资产（或数字垃圾）中快速找出最可能的答案，呈现给你，就是一个最典型的大数据服务。只不过过去这样规模的数据量处理和有商业价值的应用太少，在IT行业没有形成成型的概念。现在随着全球数字化、网络宽带化、互联网应用于各行各业，累积的数据量越来越大，越来越多企业、行业和国家发现，可以利用类似的技术更好地服务客户、发现新商业机会、...
其实，在做大数据应用相关的产品的时候，并非像传统的一样，做产品体验，做交互，做架构，而是要落实到一个一个的问题。
讲述自己如何采用大数据的手段进行重点事件的侦破。他们是针对某一个事件，采集了与事件相关的人、物、财等所有的很长一段事件内的信息，进行历时2年的不断分析，才告破。
所以，我们做大数据应用，也是应该聚焦到一个一个的问题，一个一个的场景，而并不像做产品这样，需要提取共性，进行取舍平衡，来服务一群共性的人。所以，大数据应用的思考模式应该是以解决问题为导向，聚焦问题是什么？要达到的效果是什么？
当聚焦到问题...
数据，让一切有迹可循，让一切有源可溯。我们每天都在产生数据，创造大数据和使用大数据，只是，你，仍然浑然不知。
问题总归是要解决的。今天不聊产业不聊宏观思想不聊市场规模，仅从普通人的角度来和大家谈谈大数据。
要想明白大数据，首先就要明白数据的意义。有关数据，百度百科是这么说的：
「数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。它是可识别的、抽象的符号。」
百科对数据的特性进行了定义，“客观”、“可以鉴定”&ldquo...
必贝yo带你深一步了解大数据
数据中台顶层设计
数据中台定位于计算后台和业务前台之间，其关键职能与核心价值是大数据以业务视角而非纯技术视角出发，智能化构建数据、管理数据资产与提供数据调用、数据监控、数据分析与数据展现等多种服务。承技术启业务，是建设智能数据和催生数据智能的引擎；而以数据中台内核价值为中段的数据中台业务模式不是纯数据、不是纯技术、也不是纯业务，它同时关注着与大数据能力相关的上下游，以大数据为中轴线，基于技术而又深入业务，它以数据产品+数据技术+方法论+场景实现的综合性输出，同时为智能化数据、技术极致提升和数据智能化业务负责。
一方面专注于从业务视角，建设标...
必贝yo告诉你大数据使用的技术
说起大数据，大数据有三个层数据采集、存储、计算三层。
第一个是数据采集层，以App、saas为代表的服务。
大数据基础阶段需掌握的技术有：Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis以及hadoopmapreduce hdfs yarn等。
第二个数据存储层，比如云
存储，需掌握的技术有：hbase、hive、sqoop等。
比如：Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。HBase，是一个分布式的、面向列的开源数据库，可以认...
大数据是当今时代最重要的资源，是大产业、大机遇、大红利。雅安作为全省率先发展的大数据产业集聚区，以壮士断腕的魄力和干劲，拼出了大数据产业竞先发展的“雅安速度”，勇立西部数字经济潮头。
当专家一次次将大数据与绿色经济、教育医疗、公共服务相提并论、侃侃而谈，提出衍生更多应用场景的理论时，不得不让人感慨，大数据的生命力在于融合。在新一轮科技革命的不断孕育发展下，多个领域涌现出新模式、新探索、新应用，人们发现，数据已融入生产生活方方面面，而融合过程可催生无限的创新，“融”起...
大数据是指以服务于决策为目的，需要新型数据处理模式才能对其内容进行采集、存储、管理和分析的海量、高增长率和多样化的信息资本。
大数据具有如下本质特征：
一是 根本目的是服务于决策，大数据能够帮助各类组织和个人大幅度提升决策能力，做出更好的决策和判断；
二是 量度大，大数据通常是指100T以上的数据量，这难以依靠传统的计算手段有效计算，而必须依靠新的计算手段和数据挖掘工具；
三是 频率高，大数据是用户参与与互动而产生的数据，根据用户的网络痕迹来及时地了解用户的相关数据，这种数据是按照天甚至小时来计的高频...