Reliability
四件事,决定了你多久能重新看上片子
我们不打算用形容词说服你。下面四条是运维流程里真实存在、可被核对的部分:多久查一次、出事怎么分级、什么时候动服务器、动的时候你怎么知道。
每 5 分钟自动巡检
监控探针每 5 分钟对 12 个 CDN 节点、4 条主链路(登录、起播、播放、支付)各拨测一次,连续 2 次失败自动开单并呼叫值班人,平均比第一条用户投诉早约 3 分钟发现问题。
故障分四级计时
P1 全站不可播放、P2 单区域或单运营商不可用、P3 部分功能异常、P4 体验瑕疵。响应上限依次是 15 分钟、30 分钟、4 小时、次工作日;P1 与 P2 必须在 2 小时内给出结论或降级说明。
周三凌晨维护窗口
灰度维护固定在每周三 02:00–04:00,单次不超过 120 分钟,提前 48 小时在 App 内和状态页同步公告。遇大版本或节假日,最多提前 7 天改用备用窗口 04:00–06:00,并单独通知。
状态公告三条必发
每次事故至少发三条公告:开始、进展、恢复,间隔不超过 60 分钟;恢复后 24 小时内出复盘,写明根因、影响时长和已上线的修复项。写不出来就说明还没修完,我们不会假装修完了。
Last 90 days
过去 90 天的真实数字
四个数字按季度重新统计,统计口径写在状态页附录里。可用率不含计划内维护,含所有 P1 与 P2 事故时长;数字不好看的时候我们照原样放上来。
90 天可用率
巡检间隔
P1 响应上限
事故必发公告
Real outages
真遇上故障的人,怎么评价处理速度
这三条都是从客服工单回访里摘的,我们只删了个人隐私,没删差评的部分。修得快不快,得由当晚在等的人说了算。
「去年 12 月 3 日晚上八点多全站起播失败,我在群里骂了两句。18 分钟后 App 里弹出一条『已定位,回滚中』的横幅,21:40 恢复正常。速度我给高分,但那天前 20 分钟状态页还是绿的,这点确实该改,后来他们说把 P1 判定从人工确认改成自动触发了。」
「我做夜班,凌晨维护窗口撞上过两次。一次提前两天在首页看到了公告,一次完全没看到——因为我把系统通知关了。维护期间 App 里是个倒计时页,缓存的片子照常能播,这点挺实在。唯一希望就是维护前能再多推一次站内信。」
「P3 级别的字幕错位我提过一次,说好 4 小时响应,实际第二天下午才修,属于是慢的,我不替他们说好话。但 P1 那回是真的快:凌晨 1 点 40 分我提交日志,1 点 52 分客服回我说定位到某个区域的调度节点,1 点 58 分换线路就能播了。」