您的位置 首页 资料

美光专栏 | 使用闪存存储提高 Apache Kafka 的功能

我是美光科技的首席存储解决方案工程师DennisLattka。这个头衔的真正含义是,我要致力于确定如何利用闪存存储改善工作负载应用的性能和结果。为此,我决定对大数据生态系统中最常用的分布式消息传递

  我是美光科技的首席存储解决方案工程师Dennis Lattka。这个头衔的真实意义是,我要致力于确认怎么运用闪存存储改进作业负载运用的功用和成果。为此,我决议对大数据生态体系中最常用的分布式音讯传递体系之一的Apache Kafka进行评价,测验怎么以最佳方法将美光固态存储运用于 Apache Kafka,以及将发生怎样的收益。

    

  Apache Kafka介绍

  如果您不熟悉Apache Kafka,能够阅览http://kafka.apache.org/网站,了解一些快速入门常识。

  经过对所触及的各种资源(即 CPU、内存、磁盘活动和网络)进行监控,我发现首要的瓶颈要素依次为磁盘和网络。

  全部取决于吞吐量

  经过 Apache Kafka我发现,吞吐量决议全部。Kafka 开发人员在将写入数据直接传递到内核页面缓存方面做得十分超卓,最大极限地减少了与 I/O 相关的问题。可是,不管这项开发功用怎么超卓,I/O 终究仍会转化为对 Kafka 分区(主题日志文件)的接连写入。因而所运用的磁盘的吞吐量越高,功用进步起伏就会越大。

  在弄清楚了怎么以最佳方法测验 Apache Kafka 以及运用哪些参数作用最好之后,我运用其内置的发生器测验脚本进行了一次简略的测验。3 个发生器共向一个 Kafka 署理发送了 6 亿条 100 字节的音讯。

  测验包含以下内容:(没有进行调整,仅选用默许装备。)

  - 一共发生了 600 个主题。

  - 为每个发生器分配了 200 个特定于该发生器的主题。

  - 每个发生器为每个主题创建了 100 万条音讯。

  - 选用的音讯巨细为每条音讯 100 字节。  

 

  运用的硬件:

  - 每个服务器装备 1 个署理和 3 个发生器,选用相同装备。

  - 两个英特尔(R)至强(R) CPU E5-2690 v3 @ 2.60GHz 处理器。

  - 384GB 内存

  - 两个固定在 ALB 形式的 10Gb 网卡。

  运用 6TB 7.2k 硬盘、美光5100 ECO 1920GB 固态硬盘和美光9100 Pro 3.2TB NVMe硬盘进行了比照。

  在每次测验中,Apache Kafka 署理分区都坐落进行测验的硬盘上。

  成果如下:

  

  从上表能够看出,吞吐量越高,每秒的 I/O 就越高,这关于 Apache Kafka 意味着每秒能够处理更多数量的接连音讯(显现单位为 MB/s)。

  定论

  在 Apache Kafka 装备中选用吞吐量更高的磁盘设备(如美光5100 系列固态硬盘或美光 NVMe 固态硬盘)将明显进步 Apache Kafka 的功用。

  了解更多美光科技固态硬盘产品为企业IT带来的超强动力,请点击阅览原文,登录美光科技官网检查。

声明:本文内容来自网络转载或用户投稿,文章版权归原作者和原出处所有。文中观点,不代表本站立场。若有侵权请联系本站删除(kf@86ic.com)https://www.86ic.net/ziliao/160293.html

为您推荐

联系我们

联系我们

在线咨询: QQ交谈

邮箱: kf@86ic.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部