过去

大数据发展的历史
，，
，可以分成四段

1960-1980:信息化刚刚开始

数据管理系统主要由工业公司开发，
，，，包括网状数据模型(IDS)、、层次数据模型(IMS)和关系型模型(Oracle)。
。。。数据量相对较小，，，，增长速度没有超过摩尔定律，，，一个数据库可以处理所有需求。
。。

1980-2000:数据增长开始超过硬件性能

越来越多的公司开始重视商业智能，，，
，需要进行跨业务的分析;数据增量远大于硬件性能的增长速度，
，
，传统的扩展性方式无法处理大量数据，，引发了数据仓库的需求。。

2000-2010:大数据的兴起

谷歌的”三驾马车”:谷歌文件系统(GFS)、、、MapReduceq和BigTable，，，这三篇论文分别于2003年、、、、2004年和2007年发表
，，，奠定了大数据时代的基础
。。
。。Hadoop成为了这个时期最重要的技术之一;互联网企业对于大数据计算的需求迅速增长，，，传统企业则面临着高成本和数据量较小的挑战。。工程师们开发了Zookeeper
、、Pig、、、、Hive
、、、、Avro、、、Spark等工具提高生产力和降低成本

2010-2022:大数据进一步发展

越来越多的非IT企业开始应用大数据;在技术上，，，出现了流式引擎(如Storm)和高速查询引擎(如Presto)，，流处理和批处理框架(如beam，，，fink等)以满足对高效实时查询的需求。。

从历史发展来看
，，
，大数据工程师这个岗位是随着信息化发展而诞生的，
，大数据的技术也朝着高效低成本、
、高可靠性的方向发展。。。
。

现在

目前，，越来越多公司希望能从数据中获取信息。
。。
。

从工作内容上看，，，大数据工程师的主要工作可以分成两类:

一类是负责开发大数据平台和大数据处理工具的数据系统开发;

一类是负责搭建数据仓库、、、数据报表、、、数据治理的数据内容研发(数据仓库工程师)

第一类需要更熟悉大数据底层技术只及Java/Python/Scala等语言，，第二类则需要熟练数据仓库维度建模理论、、
、、大数据技术框架、、、、SQL和业务知识。。在企业中第二类工作的需求量通常较第一大类
。。

从工作内容上看，，大数据工程师(尤其是第二类)是技术+业务均能接触的岗位，，在技术上能积攒大数据技术经验，，，在业务上能通过业务的数据需求了解业务策略和业务动向。。。

在工作中能同时熟悉业务和技术，，用数据驱动业务，，创造业务价值，，这样岗位的不可替代性很高~

从收入现状上看
，，，，大数据工程师的收入还是不错的:

下面是我从boss直聘上找到的数据仓库、、、数据开发及其他研发岗位(如Java工程师、、、全栈工程师
、、、前端工程师
、、、测试工程师)的收入对比。
。。。

可以看出数据仓库、、数据开发岗位的年薪为125389元，，，126492元;

高于Java工程师(117320元)、、全栈工程师(122766元)、、前端开发工程师(102658元)、、、、测试工程师(93909元)的年薪;同时数据仓库岗位年薪是这6个研发类岗位中最高的
。。。

可以看出大数据工程师算是有“钱”途的岗位了

从入行门槛的角度看，，
，大数据工程师需要学习常见的大数据技术栈、、、、精通SQL及维度建模(数据仓库)或Java(数据系统开发)，，，还需要熟悉业务
，，相较于其他研发岗位技能点是更多的
，，有一定的护城河
。。

值得注意的是，，，目前只有大公司才有更多的数据量
，
，，意味着有更成熟的技术、、、、更大的平台，，
，能给出更高的薪资
。
。。

未来

随着人工智能和大模型如火如荼的发展，，大数据工程师的未来前景是乐观的。
。。

大模型是指具有庞大参数数量和复杂结构的机器学习模型，，，，它的训练通常需要几百万到数十亿的数据，，，，它被广泛应用在了自然语言处;大模型已经颠覆了传统的搜索引擎，，，
，成为了各大公司追逐的风口技术。
。。。

而大数据能够用于大模型的训练、
、、、评估验证模型效果、、、、优化改进模型的准确性和稳定性。。
。