CPU 出现soft lockup的解决办法

linux

soft lockup, 软中断 ， 内核中有进程进入了死循环，结束不了，或执行时间过长。
原因1：死循环
原因2：死锁

死锁就是多个进程（线程）因为等待别的进程已占有的自己所需要的资源而陷入阻塞的一种状态，死锁状态一旦形成，进程本身是解决不了的，需要外在的推动，才能解决，最重要的是死锁不仅仅影响进程业务，而且还会占用系统资源，影响其他进程。所以内核中设计了内核死锁检测机制，一旦发现死锁进程，就重启OS，快刀斩乱麻解决问题。

官方2.6.32内核，相关函数是softlockup_tick()，这个函数在时钟中断的处理函数run_local_timers()中调用。
- 这个函数会首先检查watchdog线程是否被挂起，如果不是watchdog线程，会检查当前占有CPU的线程占有的时间是否超过系统配置的阈值，即softlockup_thresh。如果当前占有CPU的时间过长，则会在系统日志中输出我们上面看到的那条日志。

if (now <= (touch_timestamp + softlockup_thresh))return;
per_cpu(print_timestamp, this_cpu) = touch_timestamp;
spin_lock(&print_lock);
printk(KERN_ERR BUG: soft lockup - CPU#%d stuck for %lus! [%s:%d]\n,
this_cpu, now - touch_timestamp,
current-comm, task_pid_nr(current));

• 接下来才输出模块信息、寄存器信息和堆栈信息，检查softlockup_panic的值是否为1。如果softlockup_panic为1，则调用panic()让内核挂起，输出OOPS信息。

print_modules();
print_irqtrace_events(current);if (regs)show_regs(regs);elsedump_stack();
spin_unlock(&print_lock);
if (softlockup_panic)
panic(softlockup: hung tasks);}

服务器跑大量高负载程序，造成cpu soft lockup。如果确认不是软件的问题。采用下面的解决办法。

#softlockup_panic的值默认竟然是0，所以在出现死锁或者死循环的时候，会一直只输出日志信息，而不会宕机
cat /proc/sys/kernel/hung_task_panic
0
#修改为1
echo 1> /proc/sys/kernel/hung_task_panic
#修改超时阈值
echo 30 > /proc/sys/kernel/watchdog_thresh //centos
#如果标准内核 /proc/sys/kernel/softlockup_thresh