新系统设计(二) Design Monitoring and Alerting System

HeartWeighsATon:
因为时序数据库不可用，有数据丢失风险，因此加MQ 但引入依赖MQ，当MQ不可用时也会有数据丢失风险 那么我们能说MQ的可用性比时序数据库的可用性高嘛？ 我理解MQ 异步，解耦，削峰，从削峰角度也是有引入的价值

HeartWeighsATon:
Push Monitoring System VS Pull Monitoring System 基本上是Pull Monitoring System，城主理解主要的原因的什么呢？ 在我看来 1. 不需要在每个Metric Source部署（解耦），在Metric Collector集中控制配置（统一）； 2. 间隔拉取，相当于desampling；

【回复】E.g. Cloud Watch/graphite 1. Which is better ( push vs pull model )? 2. think in terms of debugging(pull wins), Health check ( pull wins), Short-lived jobs(push wins) , firewall or complicated network setups ( push wins), performance ( TCP vs UDP: Push wins), data authenticity ( Pull wins)，这块如何理解呢？
【回复】非对称网络，push就很方便
pangkateliu:
Prometheus并不具备大容量存储能力，可以考虑引入VictoriaMetrics,Grafana Mimir, Thanos 等Prometheus大容量存储方案，或者 clickhouse

HeartWeighsATon:
大佬，上一个系统设计——附近的朋友/陌生人， 怎么只有一半？详细和总结是没录嘛？

【回复】后面dive deep没讲因为zoom那会限时30分钟，后来换号不限时了还没讲
AI视频小助理:
一、关于系统监控和警报系统的讲解，包括监控的定义、警报系统的作用以及相关技术的细节。同时，还介绍了系统设计的步骤和方法。 01:02 - 开始讲解监控和警报系统，包括trigger和matrix等概念 02:32 - 监控系统通过matrix和线来trigger警报，需要修理服务和查看log dashboard 04:48 - 第一部分是理解问题和确定设计范围，需要先问问题来聚焦关注点 二、如何使用不同的工具和技术来监控和管理服务和依赖项的可用性和性能，以及如何处理和报告警报和指标。 08:20 - 介绍不同方式来通知故障，如打电话或WEBHOOKS 09:30 - 讨论数据的收集和储存，包括服务层面的数据如CPU、内存、请求计数等 14:58 - 讨论数据读取和储存的类型，例如MYSQL或NOSQL，以及它是读取还是写入密集型 三、如何使用一些存储系统来优化有时间戳的数据，并详细讲解了push model和pull model的区别和应用场景。同时，还介绍了一些相关的高级设计。 16:41 - 使用storage system可以简单地写出类似if if else的语句 17:43 - 高层设计中，matrix source作为起点，每个service都有自己的matrix metrics 21:53 - aggregation可以发生在很多地方，包括server side和query service中 四、在服务器端收集数据并推送到云端的监控系统中，使用最多的两种模式:push模式和拉模式。同时介绍了它们的优缺点和适用场景。 25:00 - 使用matrix收集数据，每个server都有一个long running的data collector 25:56 - 使用push model可以将数据推送到各个服务器，方便新客户的on board 29:13 - 使用PO model可以远程访问数据，方便检查和审查数据，但可能需要定期检查和清理过时数据 五、在时间序列数据库中使用push模型和pull模型的优缺点，以及如何使用kafka和spark等处理数据。同时还讨论 --本内容由AI视频小助理生成，关注解锁AI助理，由@想佛了 召唤发送

ZzZT的WinnieP:
eddie 请问下视频中提到的twitter design是哪一期视频？另外第一期的chat system design B站是不是没留档啊[doge]

【回复】https://www.bilibili.com/video/BV1Vv411t7W9/?spm_id_from=333.999.0.0&vd_source=16a021d5bfe85134307c51df7d1e261b
【回复】https://space.bilibili.com/21630984/channel/seriesdetail?sid=1376259