服務器常見故障及排除方法有哪些？服務器作為現代信息系統的核心基礎設施，其穩定運行直接關系到企業業務連續性。然而在實際運維中，硬件故障、軟件異常、網絡問題等各類故障頻發。本文邀請蘇州濟豐寰亞IT技術將系統梳理六類典型服務器故障現象，并提供經過驗證的解決方案，幫助運維人員快速定位和解決問題。
一、硬件類故障及處理方案
1. 磁盤故障
機械硬盤出現壞道時，系統日志通常顯示"UNC error"或"I/O device error"。通過SMART工具檢測時，Reallocated_Sector_Count（重映射扇區計數）數值超過閾值即需警惕。企業級解決方案建議：
- 立即啟用熱備盤進行數據重建
- 使用ddrescue工具嘗試搶救數據
- 對于SSD，需監控PE周期和Wear_Leveling指標
2. 內存故障
典型癥狀包括系統藍屏、應用程序崩潰（特別是Java應用）。診斷時可采用memtest86+進行72小時壓力測試。
3. 電源異常
雙電源冗余環境中，單個電源模塊失效可能不會立即導致宕機，但會觸發IPMI告警。建議每月檢查PDU負載均衡，確保每個電源模塊負載不超過額定值的70%。
二、操作系統級故障處理
1. 文件系統損壞
EXT4文件系統出現"Structure needs cleaning"錯誤時，應采用fsck進行修復：
```bash
umount /dev/sdX
fsck -y /dev/sdX
```
NTFS系統則需使用chkdsk /f命令。
2. 資源耗盡
- CPU飽和：使用top命令查看%wa值，超過30%說明存在I/O等待
- 內存泄漏：通過`cat /proc/meminfo | grep -i commit`監控已提交內存
3. 內核崩潰
分析vmcore文件時應注意：
- `crash> bt`查看調用棧
- 重點關注Oops信息中的BUG_ON觸發條件
- 企業級環境建議部署kexec-tools實現快速轉儲
三、網絡連接故障排查
1. 物理層問題
使用ethtool檢測網卡狀態：
```bash
ethtool eth0 | grep -i speed
```
當出現"Auto-negotiation failed"時，需強制設置雙工模式。
2. TCP連接異常
- ESTABLISHED狀態連接堆積：`netstat -tn | awk '{print $6}' | sort | uniq -c`
- TIME_WAIT過多：調整`net.ipv4.tcp_tw_reuse=1`
3. DNS解析故障
使用dig命令進行診斷鏈：
```
dig +trace example.com
```
建議同時配置3個以上DNS服務器，resolv.conf中設置options timeout:2 attempts:3 rotate
四、存儲系統故障處理
1. RAID卡故障
MegaCli工具關鍵命令：
```bash
MegaCli64 -LDInfo -Lall -aAll # 查看RAID級別
MegaCli64 -PDList -aAll # 檢查物理磁盤
```
當Foreign State出現時，需執行`MegaCli64 -CfgForeign -Clear -aAll`
2. 多路徑沖突
DM-Multipath常見問題處理：
- 查看路徑狀態：`multipath -ll`
- 某銀行存儲系統通過調整path_checker tur提升檢測精度
3. NFS掛載失敗
排查步驟：
1. `rpcinfo -p`驗證端口映射
2. `showmount -e <server>`檢查導出列表
3. 添加mount參數`soft,intr,tcp,timeo=300`
五、虛擬化環境故障
1. VM啟動失敗
KVM環境診斷：
```bash
virsh dumpxml vm_name > vm.xml
virsh domblklist vm_name
```
常見于qcow2鏡像鏈斷裂，需使用`qemu-img check`修復
2. 資源爭用
vSphere環境需監控：
- %RDY（就緒時間）超過10%需警惕
- %CSTP（CPU停滯）反映調度延遲
某云服務商通過設置CPU預留值解決性能抖動問題
3. 存儲遷移失敗
OpenStack Cinder卷遷移錯誤處理：
- 檢查cinder-volume日志中的QuotaError
- 調整max_over_subscription_ratio參數
六、安全相關故障
1. SSH暴力破解
防護措施：
```bash
# 修改默認端口
Port 58222
# 啟用密鑰認證
PasswordAuthentication no
# 安裝fail2ban
fail2ban-client status sshd
```
某企業日志分析顯示，暴露22端口服務器日均遭受23萬次掃描
2. rootkit檢測
使用rkhunter進行深度檢查：
```bash
rkhunter --check --sk
```
特別注意/dev/.udev目錄下的異常文件
3. 證書過期
OpenSSL檢查命令：
```bash
openssl x509 -in cert.pem -noout -dates
```
建議在到期前30天設置監控告警，某支付平臺因證書過期導致2小時服務中斷
系統化運維建議
1. 建立故障知識庫，記錄解決方案和處置時長
2. 實施分級告警機制，區分P0-P4級別事件
3. 定期進行故障演練，測試備份恢復流程
4. 部署集中式日志系統（如ELK），實現跨服務器分析
5. 關鍵業務系統建議采用雙活架構，確保RTO<15分鐘
通過上述系統化的故障處理方法，結合自動化監控工具，可將服務器平均修復時間（MTTR）降低60%以上。碰到服務器具體問題，直接咨詢蘇州濟豐寰亞信息技術在線客服，或者來電咨詢。