大数据领域的六年巨变

在过去的 6 年里，本文的作者一直在关注 Data Eng Weekly（前身是 Hadoop Weekly），它是与大数据和数据工程相关内容的重要来源，涵盖了非常广泛的技术文章、产品公告和行业新闻。

今年，作者打算将分析 Data Eng 的归档内容（这些归档可追溯到 2013 年 1 月）作为其个人项目，来析过去 6 年中的大数据的趋势和变化。

为此，作者抓取并清理了 290 多期内容（使用了 Python 爬虫），保留了与技术、新闻和发布公告相关的文章片段。接下来，他对文章片段进行了一些基本的自然语言处理并应用了一些基本的过滤，最后生成关键字和下下列表。

过去七年的主要趋势

作者绘制了特定关键词被提及次数的月滚动平均值，并将它们绘制在同一个图表上。下面的图表说明了这些技术大约在什么时间点变得越来越流行。

Hadoop 与 Spark

从 2013 年 Spark 开始接管 Hadoop 的那一刻起，Hadoop 就开始稳步下滑。

Hadoop 与 Kafka

Kafka 成为所有大数据技术栈的主要构建块。

Hadoop 与 Kubernetes

Kubernestes 的崛起，尽管 Data Eng Weekly 并不十分关注 DevOps，但却也见证了从 2017 年开始围绕 Kubernetes 在各个领域的全面炒作。

年度热门关键词

我只是简单地画出在给定年份中被提及次数最多的 10 个关键词。

 2013 年：Hadoop 的黄金时期！

所有原始的 Hadoop 项目都在这里：HDFS、YARN、MR、PIG……以及两大主流发行版 CDH 和 HDP，除此之外别无其他！

 2014 年：Spark 的崛起！

Hadoop 总体上延续了它的统治地位，但 Spark 在这一年推出的第一个版本成为 2014 年最热门的话题！

 2015 年：Kafka 来了！

Spark 取代 Hadoop 的一名位的置，Kafka 进入前三。大多数旧项目（HDFS、YARN、MR、PIG……）都没有进入前十。

 2016 年：流式处理火热！

2016 年是流式处理年，Kafka 取代了 Hadoop 第二名的位置，Spark（流式处理）继续占据主导地位。

 2017：一切向流式处理看齐！

与 2016 年的阵容相同，只是加入了 Flink。

 2018 年：回到基础！

Kubernetes 首次亮相，我们回到了基础，试图找出如何管理（K8S）、调度（airflow）和运行（Spark、Kafka、存储……）我们的流。

 2019 年：…

现在对 2019 年给出任何结论还为时过早，但看起来 K8s 将在 2019 年成为主流！

 英文原文：https://blog.marouni.fr/bidata-trends-analysis/

作者 | Abbass Marouni

译者 | 无明

来自： InfoQ

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。