<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div>Hi all,</div><div><br></div><div>When i use the following command to simulate data lost of network at one member of my 3 nodes Pacemaker+Corosync cluster,</div><div>sometimes it cause Pacemaker on another node exit.</div><div><br></div><div>&nbsp; tc qdisc add dev eth2 root netem loss 90%</div><div><br></div><div>Is there any method to avoid this proleam?</div><div><br></div><div>[root@node3 ~]# ps -ef|grep pacemaker</div><div>root &nbsp; &nbsp; &nbsp;32540 &nbsp; &nbsp; &nbsp;1 &nbsp;0 00:57 ? &nbsp; &nbsp; &nbsp; &nbsp;00:00:00 /usr/libexec/pacemaker/lrmd</div><div>189 &nbsp; &nbsp; &nbsp; 32542 &nbsp; &nbsp; &nbsp;1 &nbsp;0 00:57 ? &nbsp; &nbsp; &nbsp; &nbsp;00:00:00 /usr/libexec/pacemaker/pengine</div><div>root &nbsp; &nbsp; &nbsp;33491 &nbsp;11491 &nbsp;0 00:58 pts/1 &nbsp; &nbsp;00:00:00 grep pacemaker</div><div><br></div><div>/var/log/cluster/corosync.log&nbsp;</div><div>------------------------------------------------</div><div>Aug 27 12:33:59 [46855] node3 &nbsp; &nbsp; &nbsp; &nbsp;cib: &nbsp; &nbsp; info: cib_process_request: &nbsp; &nbsp; &nbsp; &nbsp;Completed cib_modify operation for section status: OK (rc=0, origin=local/attrd/230, version=10.657.19)</div><div>Aug 27 12:33:59 corosync [CPG &nbsp; ] chosen downlist: sender r(0) ip(192.168.125.129) ; members(old:2 left:1)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: pcmk_cpg_membership: &nbsp; &nbsp; &nbsp; &nbsp;Node 2172496064 joined group pacemakerd (counter=12.0)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: pcmk_cpg_membership: &nbsp; &nbsp; &nbsp; &nbsp;Node 2172496064 still member of group pacemakerd (peer=node2, counter=12.0)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: crm_update_peer_proc: &nbsp; &nbsp; &nbsp; pcmk_cpg_membership: Node node2[2172496064] - corosync-cpg is now online</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: pcmk_cpg_membership: &nbsp; &nbsp; &nbsp; &nbsp;Node 2273159360 still member of group pacemakerd (peer=node3, counter=12.1)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: crm_cs_flush: &nbsp; &nbsp; &nbsp; Sent 0 CPG messages &nbsp;(1 remaining, last=19): Try again (6)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: pcmk_cpg_membership: &nbsp; &nbsp; &nbsp; &nbsp;Node 2273159360 left group pacemakerd (peer=node3, counter=13.0)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: crm_update_peer_proc: &nbsp; &nbsp; &nbsp; pcmk_cpg_membership: Node node3[2273159360] - corosync-cpg is now offline</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: pcmk_cpg_membership: &nbsp; &nbsp; &nbsp; &nbsp;Node 2172496064 still member of group pacemakerd (peer=node2, counter=13.0)</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp;error: pcmk_cpg_membership: &nbsp; &nbsp; &nbsp; &nbsp;We're not part of CPG group 'pacemakerd' anymore!</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp;error: pcmk_cpg_dispatch: &nbsp;Evicted from CPG membership</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp;error: mcp_cpg_destroy: &nbsp; &nbsp;Connection destroyed</div><div>Aug 27 12:33:59 [46849] node3 pacemakerd: &nbsp; &nbsp; info: crm_xml_cleanup: &nbsp; &nbsp;Cleaning up memory from libxml2</div><div>Aug 27 12:33:59 [46858] node3 &nbsp; &nbsp; &nbsp;attrd: &nbsp; &nbsp;error: crm_ipc_read: &nbsp; &nbsp; &nbsp; Connection to pacemakerd failed</div><div>Aug 27 12:33:59 [46858] node3 &nbsp; &nbsp; &nbsp;attrd: &nbsp; &nbsp;error: mainloop_gio_callback: &nbsp; &nbsp; &nbsp;Connection to pacemakerd[0x1255eb0] closed (I/O condition=17)</div><div>Aug 27 12:33:59 [46858] node3 &nbsp; &nbsp; &nbsp;attrd: &nbsp; &nbsp; crit: attrd_cs_destroy: &nbsp; Lost connection to Corosync service!</div><div>Aug 27 12:33:59 [46858] node3 &nbsp; &nbsp; &nbsp;attrd: &nbsp; notice: main: &nbsp; &nbsp; &nbsp; Exiting...</div><div>Aug 27 12:33:59 [46858] node3 &nbsp; &nbsp; &nbsp;attrd: &nbsp; notice: main: &nbsp; &nbsp; &nbsp; Disconnecting client 0x12579a0, pid=46860...</div><div>Aug 27 12:33:59 [46858] node3 &nbsp; &nbsp; &nbsp;attrd: &nbsp; &nbsp;error: attrd_cib_connection_destroy: &nbsp; &nbsp; &nbsp; Connection to the CIB terminated...</div><div>Aug 27 12:33:59 corosync [pcmk &nbsp;] info: pcmk_ipc_exit: Client attrd (conn=0x1955f80, async-conn=0x1955f80) left</div><div>Aug 27 12:33:59 [46856] node3 stonith-ng: &nbsp; &nbsp;error: crm_ipc_read: &nbsp; &nbsp; &nbsp; Connection to pacemakerd failed</div><div>Aug 27 12:33:59 [46856] node3 stonith-ng: &nbsp; &nbsp;error: mainloop_gio_callback: &nbsp; &nbsp; &nbsp;Connection to pacemakerd[0x2314af0] closed (I/O condition=17)</div><div>Aug 27 12:33:59 [46856] node3 stonith-ng: &nbsp; &nbsp;error: stonith_peer_cs_destroy: &nbsp; &nbsp;Corosync connection terminated</div><div>Aug 27 12:33:59 [46856] node3 stonith-ng: &nbsp; &nbsp; info: stonith_shutdown: &nbsp; Terminating with &nbsp;1 clients</div><div>Aug 27 12:33:59 [46856] node3 stonith-ng: &nbsp; &nbsp; info: cib_connection_destroy: &nbsp; &nbsp; Connection to the CIB closed.</div><div>...</div><div><br></div><div>please see corosynclog.txt for detail of log&nbsp;</div><div><br></div><div><br></div><div>[root@node3 ~]# cat /etc/corosync/corosync.conf</div><div>totem {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;version: 2</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;secauth: off</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;interface {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;member {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;memberaddr: 192.168.125.134</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;}</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;member {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;memberaddr: 192.168.125.129</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;}</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;member {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;memberaddr: 192.168.125.135</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;}</div><div><br></div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;ringnumber: 0</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;bindnetaddr: 192.168.125.135</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;mcastport: 5405</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;ttl: 1</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;}</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;transport: udpu</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>}</div><div><br></div><div><span class="Apple-tab-span" style="white-space:pre">        </span>logging {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;fileline: off</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;to_logfile: yes</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;to_syslog: no</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;logfile: /var/log/cluster/corosync.log</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;debug: off</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;timestamp: on</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;logger_subsys {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;subsys: AMF</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;debug: off</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;}</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>}</div><div><br></div><div><span class="Apple-tab-span" style="white-space:pre">        </span>service {</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;ver: 1</div><div><span class="Apple-tab-span" style="white-space:pre">        </span> &nbsp; &nbsp; &nbsp; &nbsp;name: pacemaker</div><div><span class="Apple-tab-span" style="white-space:pre">        </span>}</div><div><br></div><div>Environment:</div><div>[root@node3 ~]# rpm -q corosync</div><div>corosync-1.4.1-7.el6.x86_64</div><div>[root@node3 ~]# cat /etc/redhat-release&nbsp;</div><div>CentOS release 6.3 (Final)</div><div>[root@node3 ~]# pacemakerd -F</div><div>Pacemaker 1.1.14-1.el6 (Build: 70404b0)</div><div>&nbsp;Supporting v3.0.10: &nbsp;generated-manpages agent-manpages ascii-docs ncurses libqb-logging libqb-ipc nagios &nbsp;corosync-plugin cman acls</div></div>