作者文章归档：闫英飞
从特性上讲，我今天要谈的大数据产品往往具有概率的准确性，自适应性和闭环性等特点。
所谓 概率准确性 就是说无论如何积极的使用最新最高级的算法，无论如何实时的更新模型，无论多么努力的清洗数据总会很多bad case掺夹其中。如果以工程的角度把这些负例当bug来看，那么这个bug可是无穷无尽永远修不完的。所以数据产品往往只能做到高概率的正确，在很多场景就足够好了。之所以要强调这一点，我认为这可以说是大数据产品设计的世界观之一了。
做软件开发，网站应用开发或者是数据流等工作很多年的人对准确的定义往往更加严苛。对他们来说，自己的产品离准确度达到100%...
过去，人们把非理性决策带来的成功视为灵感的成果；而现在，这种决策方式却被视为冲动的表现。为了显示权威，你需要用数据作为决策的依据。
如今，客户与市场数据管理、产品的更新与发布、营销预算划拨、在线搜索优化、社交媒体和传统媒体的结合等，都是利润增长的驱动因素，而它们大多数是数据分析的结果，并由数据驱动。也就是说，当数据足够多的时候，人们不再需要了解具体的因果关系就能够得出结论。
我们以沃尔玛耗巨资搭建的大数据生态系统为例，这个系统每天处理TB级的新数据和PB级的历史数据，其分析涵盖了数以百万计的产品数据和从不同的来源的数亿...
过去，人们把非理性决策带来的成功视为灵感的成果；而现在，这种决策方式却被视为冲动的表现。为了显示权威，你需要用数据作为决策的依据。
如今，客户与市场数据管理、产品的更新与发布、营销预算划拨、在线搜索优化、社交媒体和传统媒体的结合等，都是利润增长的驱动因素，而它们大多数是数据分析的结果，并由数据驱动。也就是说，当数据足够多的时候，人们不再需要了解具体的因果关系就能够得出结论。
我们以沃尔玛耗巨资搭建的大数据生态系统为例，这个系统每天处理TB级的新数据和PB级的历史数据，其分析涵盖了数以百万计的产品数据和从...
必贝yo带你了解大数据隐私
你或许并不敏感，当你在不同的网站上注册了个人信息后，可能这些信息已经被扩散出去了，当你莫名其妙的接到各种邮件，电话，短信的滋扰时，你不会想到自己的电话号码，邮箱，生日，购买记录，收入水平，家庭住址，亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。
更可怕的是，这些信息你永远无法删除，它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息，但是这代价太大了。
用户隐私问题一直是大数据应用难以绕开的一个问题，如被央视曝光过的分众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前，中国并没有专门的法律法规来界定...
【大数据产业伴随着技术的不断成熟正在迎来一个产业端和技术端的双面爆发时期，为什么这么说呢，我们可以注意到，大数据融合应用的进程明显在2017年过后在加快速度，而这其中伴随的是大数据产业的进一步特色化的发展。
创新驱动带来的产业发展格局使得大数据技术快速发展的同时也为众多领域、行业的数字化转型、发展带来了发展的动力，并且提升了企业转型的新动力。
当然，对于现在的大数据产业来说仍然还有几大瓶颈问题有待解决，数据资源开放共享程度低、技术创新与支撑能力不强、大数据应用水平不高、大数据产业支撑体系尚不完善及人才队伍建设亟需加...
必贝yo一篇文章读懂大数据思维
一、数据核心原理：从“流程”核心转变为“数据”核心
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数...
必贝yo带你大数据初步理解
似乎一夜之间，大数据(变成一个IT行业中最时髦的词汇。
首先，大数据不是什么完完全全的新生事物，Google的搜索服务就是一个典型的大数据运用，根据客户的需求，Google实时从全球海量的数字资产(或数字垃圾)中快速找出最可能的答案，呈现给你，就是一个最典型的大数据服务。只不过过去这样规模的数据量处理和有商业价值的应用太少，在IT行业没有形成成型的概念。现在随着全球数字化、网络宽带化、互联网应用于各行各业，累积的数据量越来越大，越来越多企业、行业和国家发现，可以利用类似的技术更好地服务客户、发现新商业机会、扩大新市场以及...
二十一世纪是一个信息爆炸的时代，信息纷繁复杂、真伪难辨。
大数据时代对知识的反思
当人类睁开双眼、打开智慧大脑时，通过DIKW层级去感知和做判断。(DIKW，即data-information-knowledge-wisdom，从“数据”到“信息”到“知识”再到”智慧”的升级过程。)当参观华为公司时，惊叹于那些成千上万张穿孔卡片的盒子，那只是数据，数据本身没有价值。通过处理数据，你就得到了信息。信息之于数据，就如同葡萄酒之于葡萄园，美味与醇...
当下，大数据成为大家共同关心的话题，在大数据的精算分析下，无论是商家，还是企业，都能够更清晰地了解消费者的真实消费需求，可以精准地与用户互动，并为用户订制产品和服务，这就是大数据的神奇魅力所在。机器人为什么能挑战围棋冠军，并不是机器人有多厉害，实际上是大数据在发威。过去我们想了解消费者的需求，通常使用工业文明时代盛行的传统市场调研方法，抽样数据采集分析、问卷调查、直接入户访问等等，与大数据精准触摸消费者心理和消费行为相比，传统的市场调研方法和结果失之千里。对大数据的认知，现实的人们有很多误区。大数据不是轻言的，很多企业都在讲要建立自己的...
创新驱动带来的产业发展格局使得大数据技术快速发展的同时也为众多领域、行业的数字化转型、发展带来了发展的动力，并且提升了企业转型的新动力。
政务大数据的新格局
可以注意到，像阿里云、华为云、腾讯云等国内知名的云厂商这一年当中都着重在关注并且推动政务云领域的业务发展，而政务云、电子政务产业的发展则直接影响着一个国家信息化...