客户现场服务器2288H V5,设备出现宕机的故障,BMC伴随存在CPU1.2的CE告警信息
告警信息 94 Critical CPU CPU 2 configuration error (SN:01CBCD939BE65104, PN:41020659). 2020/5/24 0:46 93 Critical CPU CPU 1 configuration error (SN:0193EA9363BE33F7, PN:41020659). 2020/5/24 0:46 91 Critical CPU CPU 2 configuration error (SN:01CBCD939BE65104, PN:41020659). 2020/5/24 0:45 90 Critical CPU CPU 1 configuration error (SN:0193EA9363BE33F7, PN:41020659). 2020/5/24 0:45
处理过程 收集BMC日志进一步分析 fdm日志中可以看到有CPU中级缓存(MLC: Middle alt=”Fatal不可纠正的错误),同时触发BMC告警。二级缓存报错原因为:CPU 核心向核心外部发起一个访问,在12至20秒内没有收到响应,从而产生中级缓存(MLC: Middle Level Cache)错误。” Level Cache)报错,错误类型为UCE(Uncorrected Error-Catastrophic/Fatal不可纠正的错误),同时触发BMC告警。二级缓存报错原因为:CPU 核心向核心外部发起一个访问,没有收到响应,从而产生中级缓存(MLC: Middle Level Cache)错误。
根因 综上分析,服务器CPU内部缓存出现异常导致中级缓存错误,导致BMC上报correctable error告警。故障CPU在Intel公版上也复现了该问题,经Intel分析,可以判断为CPU本身问题。另外,Intel分析该问题触发是极低概率事件,同时与业务场景强相关。
解决方案 关闭P-State可有效规避该问题。因该问题发生在CPU频率切换时,关闭P-state,CPU会工作在标准频率不变。其对功能无影响。但修改时需要重启服务器 考虑到客户当前的业务模型,建议通过规避方案解决,该方案需重启服务器并修改BIOS相关设置。
关闭P-State规避方案如下: 进入BIOS界面,Advanced >Socket Configuration >Advanced Power Mgmt. Configuration >CPU P-State Control >EIST(P-State),将EIST(P-State)设置为Disabled即可。