2024年微博信息流,分享微博信息流是怎样实现的

专栏结束后,有不少同学留言希望我能讲一些微博基础架构的知识。所以接下来的微博技术解密系列,我将分享微博在信息流架构、存储中间件等方面的经验,希望能给你带来启发和帮助。
今天我们先来看微博信息流架构,也就是微博的 Feed 是如何构建的。首先什么是 Feed 呢?根据我的理解,Feed 是互联网 2.0 时代的产物,它与互联网 1.0 时代的产物――门户网站最大的不同之处就是 Feed 不需要用户在各个板块之间来回跳转获取信息,而是把不同的信息都聚合在一起,可以供用户源源不断地访问。这里就涉及了两个问题,一个是信息如何保存,另一个是信息如何聚合。这也是今天我要分享的主要内容,我会从存储架构的角度阐述微博 Feed 是如何存储的,然后会从业务架构的角度阐述微博 Feed 是如何聚合的。
微博 Feed 存储架构
我们知道,微博 Feed 是由关注人的微博聚合在一起组成的,所以要存储每个人发的微博,那么在设计存储架构时主要需要注意三个问题:
- 每秒数据写入量,也就是每秒发博量是多大。
- 每秒数据访问量,也就是每秒微博请求量是多大。
- 是否有冷热数据之分,也就是微博的请求是否有时间特点。
结合微博的业务场景,我来回答上面提出的三个问题。首先是每秒发博量,这里要考虑到极端情况,比如元旦零点,瞬间会有大量用户发博,达到数万 QPS。再来看下每秒微博请求量,同样要考虑到在热点事件时,比如“春晚”时会有大量用户访问微博,请求量也会达到数万 QPS;并且每个用户关注的不止是一个人,假设关注数的平均值是 200,那么微博数据的请求量就是几百万 QPS。除此之外,微博的访问也是有时间特点的,用户一般访问新发微博的概率要远远大于一周前发的微博,所以说微博数据也是有冷热之分的。
这三个问题共同决定了微博的存储架构应该如何设计。在讨论微博存储架构前,我们先来看看目前业界比较成熟的存储方案,主要分为下面几种。
- 以 MySQL 为代表的关系型数据库。主要用来存储结构比较固定的数据,因为使用的是磁盘存储,所以写入和访问能力主要取决于磁盘的读写能力。而磁盘主要分为 SAS 盘和 SSD 盘,也就是机械盘和固态盘,两者的读写能力有一定的差距,SSD 盘读写能力是 SAS 盘的 3 倍左右,不过 QPS 都在千级别。磁盘存储的特点是不易丢失数据,可以永久保存。
- 以 Memcached 和 Redis 为代表的内存存储。服务器的内存大小一般要远小于磁盘,在几十 GB 到几百 GB 之间,而磁盘通常都是 TB 级。内存存储的优势就是读写速度快,读写能力能到几十万 QPS,远远大于磁盘存储。但由于数据存储在内存中,如果进程挂掉或者机器重启,内存中的数据就清空了。
微信扫码上方二维码,可领取2025年最新互联网创业项目!
项目收款截图
推荐阅读:
- 2024年最火的小本生意有哪些(一年四季不愁销路的生意)
- 2024年注册shopee要多少钱?需要哪些其他费用?
- 2024年自媒体发视频怎么赚钱?赚钱方式有哪些?
- 2024年中消协点名,特斯拉登上年度维权第一
- 2024年最火的儿童生意(吸引小孩子的生意项目)
- 2024年做tiktok需要投资多少钱?有哪些费用?
- 2024年做啥生意投资小利润大(2024年做啥生意投资小利润大)
- 2024年中国将推动跨境电商等新业态新模式加快发展,培育外贸新动能
- 2024年做淘宝店需要投入多少钱(做淘宝店需要具备什么)
- 2024年做跨境电商需要哪些条件?要做好哪几方面?
- 2024年种植1亩羊肚菌成本(羊肚菌一亩的成本多少)
- 2024年中国半导体进口,两年来首次下跌
- 2024年做亚马逊要设置包邮吗?亚马逊自发货包装要求
- 2024年做电商如何自己出单号(自发货打单全流程)
- 2024年做跨境电商不会英语怎么办?新手如何运营?