突然走红的ZEPETO会成为下一个月抛”软件吗？

我有幸做了七八年的大数据吧，从技术角度谈谈自己的看法，大数据都有哪个领域，都需要学习什么技术。

第一，首先要把这些大数据都可靠的存储起来，经过多年的发展，hdfs已经成了一个数据存储的标准。当然还有其他的存储，比如kudu，hbase等，都是适合不同领域的存储。

第二，既然有了这么多的数据，我们可以开始基于这些数据做计算了，于是从最早的MapReduce到后来的hive，spark，都是做批处理的。

第三， 由于像hive这些基于MapReduce的引擎处理速度过慢，于是有了基于内存的olap查询引擎，比如impala，presto。

第四，由于批处理一般都是天级别或者小时级别的，为了更快的处理数据，于是有了spark streaming或者flink这样的流处理引擎。

第五，由于没有一个软件能覆盖住所有场景。所以针对不同的领域，有了一些特有的软件，来解决特定场景下的问题，比如基于时间序列的聚合分析查询数据库，inflexdb opentsdb等。采用预聚合数据以提高查询的druid或者kylin等，

第六，还有其他用于数据削峰和消费订阅的消息队列，比如kafka和其他各种mq

第七，还有一些其他的组件，比如用于资源管理的yarn，协调一致性的zookeeper等。

第八，由于hdfs 处理小文件问题不太好，还有为了解决大数据update和insert等问题，引入了数据湖的概念，比如hudi，iceberg等等。

第九，业务方面，我们基于大数据做一些计算，给公司的运营提供数据支撑。做一些推荐，给用户做个性化推荐。机器学习，报警监控等等。

附一张大数据技术图谱，你可以参考下

神经网络是什么？

大数据作为当下互联网编程语言培训热门明星学科，大数据培训需要学习的内容很多，培训学习除了会有大数据技术知识的学习，同时还会在学习的过程中阶段性的插入一些相关企业项目进行实操学习，大数据主要的学习内容为：

1、基础部分：JAVA语言 和 LINUX系统。

2、大数据技术部分：HADOOP、HIVE、OOZIE、WEB、FLUME、PYTHON、HBASE、KAFKA、SCALA、SPARK、SPARK调优等，覆盖前沿技术：Hadoop,Spark,Flink,实时数据处理、离线数据处理、机器学习。

3、实训项目：一般包括JAVA项目，大数据项目，企业大数据平台等，大数据企业的商业项目直接为学员所用，一线大牛工程师亲自指导实战开发，业务覆盖电商、在线教育、旅游、新闻、智慧城市等主流行业，全程贯穿项目实战。

另外，在选择大数据培训机构时，要选择专业做大数据的，还要考虑机构的课程设置、讲师团队、硬件设施、实训项目等多方面条件。

2024大数据学习路线图：