前言：生产上有4台应用主机对外提供服务，架构为两台lvs+keepalived以主备方式提供一个虚ip和负载均衡，后面以双活方式接入两台nginx，4台应用接在nginx后面：

图片.png

web服务器其中两台为suse11sp4两台为sp2，部署的应用相同，sp2两台偶尔会出现服务卡死现象，经代码排查、weblogic升级、系统资源使用分析等都没解决问题，现决定对操作升级。

生产变更步骤：

1.确认系统版本

#version#issue#uname -a#suse-release

2.搜集主机系统信息

df -hmore /etc/hostsmore /etc/groupifconfig -acd /ls -lid callcentps -ef|grep javaps -ef|grep java|wc -lsu - callcentmore .bash_profilecd /var/spool/cron/tabsmore monitormore rootmore callcent

主要有文件系统、用户、组、网络、应用用户、应用进程、环境变量、定时任务等常规检查项。

3.登陆console控制台
http://172.xx.x.xx:8001/console
截图

该步骤是确认哪些进程处于RUNNING哪些属于SHUTDOWN

4.登陆nginx服务器
172.xx.x.58/59
备份nginx.conf

cd /usr/local/webserver/nginx/confcp nginx.conf nginx.conf.bak

若升级失败，可在nginx服务器上摘掉该应用主机，恢复正常后再加入upstream配置

5.操作系统升级

6.拉起应用
cd /callcent/Oracle/Middleware/user_projects/domains/callcent_domain
拉起Admin、csr、sso、rs、wo、manager服务
7.nginx注释非升级主机
只保留升级主机对外服务，目的是检查升级后应用状态，通知客服坐席测试，工单测试。
8.恢复nginx配置
测试通过后恢复nginx配置，继续以负载均衡方式对外提供服务。

9.拉起nmon

10.清除报错日志

检查是否有告警日志产生，如有则清除以免触发告警事件。

系统升级步骤：

以下操作都在虚拟机上完成：

1.确认版本

图片.png

2.升级步骤

生产环境按F12进入光驱启动（IBM X3650 M4）

图片.png

图片.png

图片.png

图片.png

图片.png

选择update

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

图片.png

3.验证版本

图片.png

至此完成系统升级。

升级遇到的坑：

升级完一段时间后应用报错，定位原因为服务器系统时间问题，也就是说ntp时钟同步失败。

sp2的时钟同步脚本：

suse11sp2:~ #/usr/sbin/sntp -P no -r  ntpserver

升级到sp4后如果运行该定时任务会报错：

suse11sp4:~ # /usr/sbin/sntp  -P no -r ntpserver/usr/sbin/sntp: illegal option -- Psntp - standard Simple Network Time Protocol client program - Ver. 4.2.8p2Usage:  sntp [ -
     
       [
      
       ] | --
       
        [{=| }
        
         ] ]... \                [ hostname-or-IP ...]Try 'sntp --help' for more information.

问题解决办法：

改由ntpdate方式同步

suse11sp4:~ # /usr/sbin/ntpdate ntpserver