大数据时代，人人都在谈大数据。但当我们谈大数据的时候我们在谈什么呢？

在谈到大数据的时候，人们往往知道的就是数据很大，但大数据≠大的数据。对外经济贸易大学信息学院副院长华迎教授介绍：“现在的大数据主要是指网络数据。数据分析不是新的，一直都有，但是为什么叫大数据呢?主要是因为网络数据的格式、体量、价值，都超出了传统数据的规模.”大量的数据只是大数据这一名词的特征之一，要看待大数据必须辩证、全面的看待。

进入互联网时代，中国的网民人数已超7亿，大数据的应用涉及到生活的方方面面。例如，你在网站上买书，商家就会根据你的喜好和其他购书者的评价给你推荐另外的书籍;手机定位数据和交通数据可以帮助城市规划;甚至用户的搜索习惯和股市都有很大关系。而这些与大数据相关的应用，都离不开大数据技术在日常生活中的应用，可以确定的是大数据从来不是高大上的名词，大数据技术也不是技术人员专有的技术，今天小亿就和大家聊聊大数据技术究竟是什么。

一、大数据的概念

1、大数据的含义

大数据（Big Data），又称巨量资料或海量资料，通常是指巨大而复杂的数据集合。

大数据超出传统工具或单台计算机的处理能力，因此无法用常规软件对数据进行采集、存储、挖掘、分析及应用管理，而是必须用新的数据处理模式才能具有更强的洞察力、决策力和优化能力，大数据处理技术包括数据接入、数据持久存储、数据计算和分析、数据展示（可视化）等等。

众所周知，世界的本质是数据，大数据仍然是数据，只不过是“大”一点的数据。在大数据时代，数据量空前增长，互联网、移动互联网、物联网、成千上万的传感器、穿戴设备、GPS等，都在推动大数据处理技术快速发展。随着大数据的产生，原本的数据世界也被划分为两个时代，即大数据时代和小数据时代。小数据采用随机样本分析，大数据采用全体数据分析；小数据讲求精确性分析，大数据注重效率性分析；小数据讲求因果关系，大数据注重相关性分析。随着小数据时代向大数据时代转移，样本思维必然向整体思维过渡，或者说，抽样调查将成为过去，整体数据分析将成为主流的思维方式。

2、大数据的特征

一般通常用“4V”来概括大数据的基本特征，即数据体量大（Volume）、数据类型多（Variety）、处理速度快（Velocity）和价值密度低（Value）四大特征。

（1）数据体量大（Volume）

只有数据体量达到PB级别以上，才能称为大数据。

但人类社会现存所有印刷材料的数据总量仅为200PB，然而百度搜索每天提供的数据量超过1.5PB，如果将这些数据打印出来，将会超过5千亿张A4纸；阿里巴巴网购每天产生的商品交易数据量约为20TB；脸书用户每天产生的日志数据超过300TB。在网络时代，大数据的体量是非常大的。

（2）数据类别多（Variety）

数据共分为三种类型：结构化数据、非结构化数据和半结构化数据。在大数据时代，越来越多的数据的出现也使得数据的类别越来越多，从结构化数据到不规律不规则的非结构化数据，出现了越来越多的数据类别。

（3）处理速度快（Velocity）

处理速度快或数据快速流转是大数据区别于传统数据挖掘的最显著特征。

在数据量非常庞大的情况下，大数据处理工具通过算法逻辑对数据信息进行快速处理，并从各种类型的数据中及时获得高价值信息。但其实很多平台都需要做到实时处理和分析，谁的速度更快，谁就更占优势，“1秒定律”显示了大数据与传统数据挖掘技术的本质不同。

（4）价值密度低（Value）

价值密度的高低与数据总量的大小成反比，数据总量越大，无效的数据可能越多。大数据是海量的数据集合，在大海中寻找宝藏犹如大海捞针，大数据的作用就是通过强大的机器算法快速挖掘或提纯出高价值的数据，这既是大数据的难点所在，又是大数据的优势所在。

二、大数据技术的概念与应用场景

1、大数据技术的概念

大数据技术，简而言之，就是提取大数据价值的技术，是根据特定目标，经过数据收集与存储、数据筛选、算法分析与预测、数据分析结果展示等，为做出正确决策提供依据，其处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。

大数据技术体系庞大而复杂，基础技术包含数据采集、数据预处理、分布式存储、数据清洗、数据挖掘、数据仓库、并行计算、数据可视化等。大数据的最终目标是数据分析处理，失去数据处理环节，大数据就毫无价值可言，数据处理是大数据产业的核心技术流程，再加上末端环节的数据可视化，整个链条才能呈现为完整的闭环系统。

说了这么多概念，也许仍然有人不理解大数据技术究竟是什么，离我们远吗？下面小亿想举一些场景中的例子和大家说明。

2、大数据技术的应用场景

其实大数据无处不在，并被应用于各个行业，包括金融、证券、保险、航空、政务、零售、交通、医疗、教育、酒店、餐饮、电信、能源、健康、娱乐、服务业以及社会治理等各个领域，下面小亿和大家聊一下大数据技术的一些应用场景。

（1）人工智能（AI）应用场景

大数据能够促进人工智能（AI）产业的进化与发展，从而产生一些意想不到的结果。AI影响幅度很大，比如媒体业，现在计算机跟机器人可以写出很好的文章，而且1小时产出好几百篇，成本也很低。比如经济领域，AI对经济发展会产生巨大影响，很多知识产业跟白领工作也可能被机器人取代。再比如无人驾驶等高科技领域， AI会让驾车更安全，让生活更美好。

（2）智慧城市应用场景

智慧城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。比如交通领域，实时分析城市交通数据，指导驾车者选择最佳路径，有效改善城市拥堵状况；再比如，大数据和物联网支持的无人驾驶汽车，在不远的未来也会走入我们的生活。

（3）商务领域应用场景

借助大数据技术，可以分析客户行为，进行有针对性的商品推荐和广告投放；电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

（4）制造业应用场景

工业大数据可以提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与进程。

（5）金融行业应用场景

大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

（6）能源行业应用场景

智能电网可以让电力公司掌握海量用户的用电信息，利用大数据技术，分析用户用电模式，改进电网运行，合理设计电力需求响应系统，确保电网安全运行。

（7）物流行业应用场景

利用大数据优化物流网络，提高物流效率，降低物流成本。

（8）生物医学应用场景

大数据促进城市精准医疗发展，比如降低医院误诊误判率。仅凭医生判断，难免产生误诊误判，如果把一个城市每一年的所有医疗病例数据汇集起来，然后去掉敏感的个人隐私数据，就可以做出一个超大样本的误诊误判的数据库，从中分析原因，提高病人的治愈率。大数据可以实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA，了解更多的生命奥秘。

（9）安全领域应用场景

政府可以利用大数据技术构建强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据预防犯罪。

（10）个人生活应用场景

大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

（11）社会治理应用场景

政府掌握着社会生产和民众生活相关的海量数据。大数据可以应用于政府治理中的各个环节，并推动政府治理模式的改变。大数据在政府治理方面已经有很多成熟的应用案例，比如城市应急管理、河道治理等。

（12）大数据防止企业逃漏税

很多地区的税务局，利用大数据“治税”。比如，把发改委、经信委、税务局和法院的数据拧合在一起，就可能会发现某家企业的税务是有异常的。通过对多方面数据的综合分析，甚至可以发现某些公司人为造成亏损的假象，进而实现偷逃漏税的目的。当发现公司的税务异常迹象时，就可以做出一些数据分析，确认企业逃税漏税的可能性，促进相关部门公正合理执法。

三、大数据技术的具体应用

大数据技术其实在这个时代更多的表现在技术集合的工具或者平台上，今天小亿想以亿信华辰开发的亿信ABI为例，给大家分享大数据技术在现在究竟是怎么应用的。

亿信ABI（ALL in one BI）是亿信华辰历经十五年匠心打造的国产化BI工具，技术自主可控。它打通从数据接入、到数据建模与处理、再到数据分析与挖掘整个数据应用全链路，可满足企业经营中各类复杂的分析需求，帮助企业实现高效数字化转型。

从数据处理方面看，亿信ABI平台内置了数仓实施工具，其中丰富的处理转换组件，通过拖拽式的流程设计，实现了数据抽取、清洗、转换、装载及调度，用于帮助政府和企业构建数据仓库，完成数据融合，提升数据质量，服务数据分析。同时可以构建数据仓库，用于帮助政府和企业构建数据仓库。通过拖拽式的流程设计，实现了数据抽取、清洗、转换、装载及调度。

从数据可视化方面看，亿信ABI内置了近百种组件特效任意组合即可制作酷炫灵动的大屏驾驶舱。并且其可视化的表现形式支持各类地图应用，包括图片式地图，GIS地图，动态3D地图；通过这些方式完成领导驾驶舱，以图表结合的形式生动直观地展示企业KPI指标，为领导提供的“一站式”决策支持。并且逼真的动态模型仿真、拟实场景交互和实时数据监控，轻松掌握城市一手信息，赋能智慧城市高效运营。

从预测挖掘方面来看， 亿信ABI内置了多样的算法，包括分类分析，关联分析，回归分析，聚类分析，时间序列预测等等。并且在预测挖掘过程中可以全程做到可视化，不懂算法也不用担心，拖拽式操作轻松掌握数据挖掘。在模型评估上，其提供科学的模型评估方法，根据评估结果智能的推荐最佳模型。

上面这些就是大数据技术在亿信ABI平台的体现方式，希望能够对大家起到一些帮助。

四、小结

众所周知，大数据带来了信息技术的巨大变革，对社会生产和人们生活的各个领域都产生着深刻的影响，所到之处，或是颠覆，或是提升，让人们深切感受到了大数据实实在在的价值和意义。大数据的价值，在生活，在生产也在学习，我们的整个社会和时代在疫情之后迅速的走上数字化的道路，大数据的价值也逐渐的被挖掘出来。

但大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了社会生产和生活，未来必将产生重大而深远的影响。

作者：亿信华辰
链接：https://www.zhihu.com/question/403508693/answer/2224311544
来源：知乎