深度参与社区建设是努力学习一门技术的捷径 | QCon
发布时间:2024-12-08
不过这仍然是一个便很多中会小型的公司运维工程师们头疼的解决办法。比如如何来作一个大链表的维护,怎么能不宕机升级发行版本,如何解决问题区域性机房之在在的信息联动等等。实质上我们的公司就碰上了以上提过的所有解决办法。
我们是有多个机房,还有幽,那么应该如何建筑设计并建设工程的公司级的第一短时在在队列服务项目呢?是部署多套 Kafka 一个大还是构建单体型的大一为统一个大?这些本来在 Kafka 活动中会心并不了有人清晰明确的最佳实践中会,我们也并不需要是摸着石头过河。要想到中会小型的公司的运维工作团队不都会太多相当大,不也许像代工那样固定“度日”几个人身份就专门研究 Kafka,这在中会小型网络的公司是不太也许的,因为生产成本高昂了。
实质上在我的工作团队,如果有人整天研究这些关键技术,不来作金融业务,我也是持抵制意见的。很简单,我“度日不起你”。所以这个运维的每一次中会必定相反于着很多磕磕绊绊的什么事。就部署一个大来却说,终于我们的公司用的是多套一个大沙一个大在在信息联动的可行性。不能却说是完美无缺,但数受限制了金融业务的需求量。
InfoQ:你对 Kafka 研究的较为了解,你忽视 Kafka 整体而言于其他的第一短时在在柴油发动机控制系统有哪些相当大的占有优势呢?
胡夕:我对 Kafka 确实还计较为感兴趣,但对其他的第一短时在在柴油发动机还真是不太感兴趣,因此也不敢妄言。或许,Kafka 发售的及早相当好,这是它的一个相当大占有优势。它起家于 LinkedIn 的公司,骨子里就带有网络的等位基因。什么等位基因呢?大信息量、偏高时在在延迟、分布式等。所有在 Kafka 成名最后的第一短时在在柴油发动机基本概念像是并不了有人同时展现出这些等位基因。应该却说,Kafka 在其再次出现之时是将这些占有优势为基础的同样的一个。至于控制系统级的监管模式占有优势或建筑设计占有优势,我个人身份倒是有点每家都各稍稍长,它们并不是便 Kafka 如今这么受欢迎的最重要状况。
带到 2020 年最后,第一短时在在队列往幽原生监管模式演进的方向计是来得沙清晰明朗了。马国的多种不同于多地库、按量刷卡、动态扩缩容等功用也越来越踏入各家商品的标配。我个人身份有点,在这些之外 Kafka 现在反而是有些落后了。不过讶异的是,活动中会心早就意识到了这一点。为了适国多种互补磁盘,Kafka 备有了分层磁盘的基本功能,计是往幽原生又迎向了一步。
InfoQ:你忽视 Kafka Streams 的再次出现对于 Kafka 的意义是什么?今天的 Kafka 和 Storm、Spark、Flink 可以却说是同等级的可视流向管控平台吗?
胡夕:本来关于这个解决办法,我还真有一些自己的论点。当初,活动中会心同时发售了 Kafka Connect 和 Kafka Streams 两个部件。从当年的技术开发配比和推销力度上,我们可以见到无论是活动中会心,还是商贸的公司 Confluent 都重点强调 Kafka Streams,对 Kafka Connect 部件并不是顶多视。这一点我们可以从活动中会心版本就能看出来。活动中会心版本的 Kafka Connect 真是有点“惨不忍睹”,仅仅支持一个 File Connector。很多与大众化向基本概念构建的 Connector 都放入了商贸版本。
当然,这外面的商贸考量我们不去评判。我一心却说,相较为于当年普天横行的 Kafka Streams 的推销,Kafka Connect 显着要弱势得多。我无论如何即使到现在,听却说过 Kafka Connect 的人应该也不是很多,这都会导致一个什么解决办法呢?
Kafka 作为一个第一短时在在队列,它既有的是信息上下游的光阴。从基本功能某种持续性上看,它的一幕很单一,没有像 Hadoop 那样分立一个生态学。如果要对外开疆拓土,信息计计和连结计是一个很好的破局之路口。但若要计计,必可先连结。靠什么呢?靠的就是 Kafka Connect。
从战略的某种持续性,我倒是有点应该首可先重点联合开发和建设工程 Kafka Connect,为统一上下游基本概念的信息接入与流向出,之外是应该在活动中会心版本发售联合开发难度小且易上手的 Connector 基本概念。只把这些 Connector 放入商贸版本而看来广大的活动中会心软件未免有些短视。
现实的情况是,由于投入重点在 Kafka Streams,所以其一经发售便短时间激起一时在在,激起了人们对于它和当年大众化向计计基本概念的较为,诸如 Flink VS Kafka Streams 这样的文章比比皆是。几年最后,人们找到 Kafka Streams 的困境有些惊讶,随着 Flink 渐渐一统江湖泊,Kafka Streams 的常用者终是来得有,不了有人掀起相当大的虹出来。
我个人身份忽视,从关键技术实力、控制系统监管模式之外看,Kafka Streams 整体而言于 Flink 并不了有人相当大的劣势,甚至有些之外还有险胜,毕竟它与 Kafka 是天然构建在独自一人的。另外,Kafka Streams 架构联合Linux之一 Matthias J. Sax 同时也是 Flink、Kafka Streams 和 Storm 的 PMC Committer。你却说有这么一个猛人在工作团队外面写下示例,Kafka Streams 的关键技术能差吗?可为什么像是还是不如 Flink 呢?我仍然有点这是一个战略上的有误,即惧怕了 Kafka Connect 的发展。大家如果有兴趣可以自行翻开 Flink 的源示例,见到外面的 flink-connectors 目录,外面 Connector 的丰富持续性不用我却说,大家自己体都会下就能想到了。
不过俗话却说:失之东隅,收之桑榆。Kafka Streams 虽然不了有人取得前所未见的成功,但在内部倒成了 Confluent 的公司新世代 Steaming SQL 商品的历史性。从现在的推销战况上看,Confluent 的公司正在推 ksqlDB 这个外面,它的顶层就是用 Kafka Streams 来作的。这种可视的流向式信息 SQL 转发柴油发动机现在还不属于较为新的外面,来得进一步也许直接用它来构建可视数仓或来作可视 ETL 柴油发动机。从这个某种持续性来却说,Kafka Streams 也许能在日后的市场竞争格局中会抢得可先机。
InfoQ:你忽视 Apache Kafka 在此之后的发行版本都会有哪些方向的构建?
胡夕:活动中会心除此以外移置对 ZooKeeper 的相反显示了其对简转化一个大对外部控制系统诱发和降偏高运维生产成本之外的重新考虑。这种我忽视来得进一步也许都会继续下去,也就是却说相较为于来作沙法,我有点来得进一步也许来得多地是来作减法,转化成一些无用的或者并能过重控制系统开销的基本功能部件。同时,我忽视活动中会心都会继续往幽原生方向演进:动态扩缩容、按量刷卡、多地库等这些标配的基本功能陆续还是所需相应的基本功能部件来承托,现在来却说,数对于活动中会心版本的 Kafka,来作到这些很难。也许只都会有那些有能力的代工自己来定制转化联合开发,备有各自马国的 Kafka 服务项目了。
另外,在本土,由于很多传统文化大型企业相比较强烈的数字转化转变需求量,所需重新整理、集中会和管控企业中会海量的历史金融业务信息,因此必定相反于着千奇百怪的信息连结和信息 ETL 一幕。实质上正是由于活动中会心版本在这之外的欠缺,这外面相反于着前所未见的商贸机都会。来得进一步在本土也许都会诞生多个以IDC或解决可行性实施的公司为主体的企业来希望传统文化企业、科研完成数字转化转变。我渴望活动中会心也能在这个之外稍稍响应,之外是本土的示例贡献者也能参与其中会。毕竟我们每个人身份都要紧跟第三世界的时代发展所需来顺势而为。
InfoQ:你对阅不读量化机语言相比较一直的实践中会和了解的解释,可以共享一下阅不读量化机语言能造就哪些翻身吗?如何才能高效地阅不读量化机语言呢?
胡夕:我不想到大家的思绪如何,就我个人身份而言,不读量化机语言是个之外痛苦的每一次。不读着不读着就想要抛弃,这应该是最自然现象简洁的思绪了。第一次不读量化机语言我甚至都不想到这些示例写下出来是来作什么的。但是感觉像是也不了有人之外高效的方法有,也许把短时在在花够了,自然现象有量变产生质变的效果。
至于较为高效的方法有,我延揽为基础区块测试用例来阅不读。在阅不读每个部分的量化机语言时,实际跑完一下对应的测试用例,沙上单步加载能够快速地帮你解释量化机语言是来作什么什么事的。另外,我也延揽可先从服务项目器故又称的量化机语言开始不读,毕竟弄明白顶层的第一短时在在以及管控逻辑学,都会来得容易解释服务项目器故又称的示例。
InfoQ:你是如何看待软体Apache的呢?你又是如何参与到活动中会心内的呢?
胡夕:前些年软体Apache还仅仅是有兴趣的关键医务人员的尘世而已。不过除此以外几年,我找到软体Apache和最后的商贸仍未慢慢地变成了一个早熟的商贸模式。由于我自己本身在券商的公司,因此对这个赛道的道具也多多少少稍稍了解。不管是最后纳斯达克的 MongoDB,还是除此以外的 Confluent、GitLab 和 HashiCorp 等,都是融为一体Apache活动中会心抓住软件和联合Linux,促使算法商品来受限制软件需求量。最后日后转变商贸,把控好Apache的占比解决问题收入。这似乎越来越被验证是一条可行的路口。我曾经听却说有投资人笑称,凡是 GitHub 活动中会心 Star 超过 1000 的一律投。足见这两年融资对软体Apache是多么地看好。
另外,我始终有点商贸的本质还是要盈利。自 2022 年开始,美股的科技股就一直被斩首估值。很多在美股纳斯达克的Apache商贸的公司现在还是不赚钱的,也就是市盈率是倒数第的,融资产品都会居然地碾压这类的公司的估值。比如,国外大名鼎鼎的幽数仓的公司 Snowflake 自去年 11 月初起就仍未跌去了将近 30% 的市值。
因此我有点来得进一步的软体Apache趋势一定是越来越沉迷,但商贸的道路口也许也不都会很如愿以偿,每个 CEO 或活动中会心领导者都要理性对软件的价值所需如何流转以及如何保护自身知识产权不受侵害,否则像 Log4j2 Jenkins写下信自己不了工资拿还要被拟于 diss 的一幕还都会日后次发生。
InfoQ:最后,作为一名其在在在 Kafka 领域深耕的关键技术人,你想对常用 Kafka 的软件们却说些什么呢?什么是学习 Kafka 的最有效偏移呢?
胡夕:面对这个解决办法我真是不了有人之外好的答案。便是巴菲特自已的风格:学习 Kafka 所需记住两条:1. 坚决学习;2. 参考第一条。
环节简介
胡夕
Apache Kafka Committer , 老虎证券关键技术顾问
著有《Apache Kafka 夜战》一书,曾转任于 IBM、腾讯公司和新浪微博等的公司,也是众所周知短时在在《Kafka 专利关键技术与夜战》和《Kafka 架构量化机语言解不读》经济日报的作者。胡夕对 Kafka 及其它开引自向管控基本概念与关键技术有深刻解释,他博览群书 Kafka 物理现象,积极支持过多个十亿级 / 天的第一短时在在柴油发动机金融业务控制系统的建筑设计与搭设,具有丰富的线上状况定位和病患调优经验,曾给多家大型的公司备有计算机网络 Kafka 指导。
社交活动延揽
5 月初 12-14 日,QCon 全球软体联合开发大都会将合上北京国际都会议中会心,关切新世代大信息控制系统监管模式、分布式信息库、幽原生信息湖泊。此外,还有金融业务监管模式、Rust、WASM、可光谱仪、金融业务安全及合规、商品建筑设计、大内侧新基建工程、有组织监管等多个热点专题,与你独自一人聚焦关键技术新一代。
。月经量少杭州牛皮癣专业医院
成都看哪个专科医院好
干眼症用什么眼药水
两性
出行肠胃不适咋办
来氟米特的副作用有多少
艾得辛艾拉莫德片的效果好吗
-
宽体高能先锋SUV江铃福特领睿难以置信上市,售价13.98-16.58万元
家一般舒适温馨”的沉浸标准型式三维空间,重上新定义车也消费服务场景。截止到在此之前,已有180多家FamilySpace遍布全国超过150个郊区。此外,江铃通用汽车公司生物科技还从“挚诚安心、挚享款待
- 2025-05-11省油不只日系车 法系时髦德系品质日系油耗 它是怎样做到的?
- 2025-05-11全新国产宝马X5正式发布 如出一辙4款车型 轴距3.1米+
- 2025-05-11岚图FREE纯电掀背车价格上调1万元,增程掀背车暂不上调
- 2025-05-11全新凌渡L正式上市,售价14.99万元起,热辣造型引人眼球?
- 2025-05-11曾孙,三朝元老终得善终的奥秘
- 2025-05-11明朝高拱一手遮天,为何被17岁的崇祯轻易铲除?说出来别不信
- 2025-05-11成祖最像朱元璋,为何朱元璋不传位给他?朱元璋根本没考虑过他
- 2025-05-11汉朝第一功臣,被刘邦嘲弄为狗,400年后,其后代愤然篡夺了汉朝
- 2025-05-11急流勇退,人生大智慧,为何自古正因如此难得急流勇退?
- 2025-05-11五姓七望有多豪横?宰相都难以为民的顶级豪门,黄巢:不能惯着