<html><body><p>Ken (and <font face="Default Sans  Serif">Ulrich</font>), <br><br>Found it!  You're right, we do deliver a man page... <br><br>man]# find . -name *Virtual* -print<br>./man7/ocf_heartbeat_VirtualDomain.7.gz<br><br># rpm -q --whatprovides /usr/share/man/man7/ocf_heartbeat_VirtualDomain.7.gz<br>resource-agents-3.9.7-4.el7_2.kvmibm1_1_3.1.s390x<br><br>Much obliged, sir(s). <br><br>Scott Greenlese ... IBM z/BX Solutions Test,  Poughkeepsie, N.Y.<br>  INTERNET:  swgreenl@us.ibm.com  <br>  PHONE:  8/293-7301 (845-433-7301)    M/S:  POK 42HA/P966<br><br><br><img width="16" height="16" src="cid:1__=8FBB0A29DFC976058f9e8a93df938690918c8FB@" border="0" alt="Inactive hide details for Ken Gaillot ---02/01/2017 10:33:07 AM---On 02/01/2017 09:15 AM, Scott Greenlese wrote: &gt; Hi all..."><font color="#424282">Ken Gaillot ---02/01/2017 10:33:07 AM---On 02/01/2017 09:15 AM, Scott Greenlese wrote: &gt; Hi all...</font><br><br><font size="2" color="#5F5F5F">From:        </font><font size="2">Ken Gaillot &lt;kgaillot@redhat.com&gt;</font><br><font size="2" color="#5F5F5F">To:        </font><font size="2">users@clusterlabs.org</font><br><font size="2" color="#5F5F5F">Date:        </font><font size="2">02/01/2017 10:33 AM</font><br><font size="2" color="#5F5F5F">Subject:        </font><font size="2">Re: [ClusterLabs] Live Guest Migration timeouts for VirtualDomain resources</font><br><hr width="100%" size="2" align="left" noshade style="color:#8091A5; "><br><br><br><tt>On 02/01/2017 09:15 AM, Scott Greenlese wrote:<br>&gt; Hi all...<br>&gt; <br>&gt; Just a quick follow-up.<br>&gt; <br>&gt; Thought I should come clean and share with you that the incorrect<br>&gt; &quot;migrate-to&quot; operation name defined in my VirtualDomain<br>&gt; resource was my mistake. It was mis-coded in the virtual guest<br>&gt; provisioning script. I have since changed it to &quot;migrate_to&quot;<br>&gt; and of course, the specified live migration timeout value is working<br>&gt; effectively now. (For some reason, I assumed we were letting that<br>&gt; operation meta value default).<br>&gt; <br>&gt; I was wondering if someone could refer me to the definitive online link<br>&gt; for pacemaker resource man pages? I don't see any resource man pages<br>&gt; installed<br>&gt; on my system anywhere. I found this one online:<br>&gt; </tt><tt><a href="https://www.mankier.com/7/ocf_heartbeat_VirtualDomain">https://www.mankier.com/7/ocf_heartbeat_VirtualDomain</a></tt><tt>&nbsp;but is there a<br>&gt; more 'official' page I should refer our<br>&gt; Linux KVM on System z customers to?<br><br>All distributions that I know of include the man pages with the packages<br>they distribute. Are you building from source? They are named like &quot;man<br>ocf_heartbeat_IPaddr2&quot;.<br><br>FYI after following this thread, the pcs developers are making a change<br>so that pcs refuses to add an unrecognized operation unless the user<br>uses --force. Thanks for being involved in the community; this is how we<br>learn to improve!<br><br>&gt; Thanks again for your assistance.<br>&gt; <br>&gt; Scott Greenlese ...IBM KVM on System Z Solution Test Poughkeepsie, N.Y.<br>&gt; INTERNET: swgreenl@us.ibm.com<br>&gt; <br>&gt; <br>&gt; Inactive hide details for &quot;Ulrich Windl&quot; ---01/27/2017 02:32:43 AM---&gt;&gt;&gt;<br>&gt; &quot;Scott Greenlese&quot; &lt;swgreenl@us.ibm.com&gt; schrieb am 27.&quot;Ulrich Windl&quot;<br>&gt; ---01/27/2017 02:32:43 AM---&gt;&gt;&gt; &quot;Scott Greenlese&quot; &lt;swgreenl@us.ibm.com&gt;<br>&gt; schrieb am 27.01.2017 um 02:47 in Nachricht<br>&gt; <br>&gt; From: &quot;Ulrich Windl&quot; &lt;Ulrich.Windl@rz.uni-regensburg.de&gt;<br>&gt; To: &lt;users@clusterlabs.org&gt;, Scott Greenlese/Poughkeepsie/IBM@IBMUS<br>&gt; Cc: &quot;Si Bo Niu&quot; &lt;niusibo@cn.ibm.com&gt;, Michael Tebolt/Poughkeepsie/IBM@IBMUS<br>&gt; Date: 01/27/2017 02:32 AM<br>&gt; Subject: Antw: Re: [ClusterLabs] Antw: Re: Live Guest Migration timeouts<br>&gt; for VirtualDomain resources<br>&gt; <br>&gt; ------------------------------------------------------------------------<br>&gt; <br>&gt; <br>&gt; <br>&gt;&gt;&gt;&gt; &quot;Scott Greenlese&quot; &lt;swgreenl@us.ibm.com&gt; schrieb am 27.01.2017 um<br>&gt; 02:47 in<br>&gt; Nachricht<br>&gt; &lt;OF63CD0E10.D58C4C3D-ON002580B5.0005C410-852580B5.0009DBDE@notes.na.collabserv.c<br>&gt; <br>&gt; m&gt;:<br>&gt; <br>&gt;&gt; Hi guys..<br>&gt;&gt;<br>&gt;&gt; Well, today I confirmed that what Ulrich said is correct. &nbsp;If I update the<br>&gt;&gt; VirtualDomain resource with the operation name &nbsp;&quot;migrate_to&quot; instead of<br>&gt;&gt; &quot;migrate-to&quot;, &nbsp;it effectively overrides and enforces the 1200ms default<br>&gt;&gt; value to the new value.<br>&gt;&gt;<br>&gt;&gt; I am wondering how I would have known that I was using the wrong operation<br>&gt;&gt; name, when the initial operation name is already incorrect<br>&gt;&gt; when the resource is created?<br>&gt; <br>&gt; For SLES 11, I made a quick (portable non-portable unstable) try (print<br>&gt; the operations known to an RA):<br>&gt; # crm ra info VirtualDomain |sed -n -e &quot;/Operations' defaults/,\$p&quot;<br>&gt; Operations' defaults (advisory minimum):<br>&gt; <br>&gt; &nbsp; &nbsp;start &nbsp; &nbsp; &nbsp; &nbsp; timeout=90<br>&gt; &nbsp; &nbsp;stop &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;timeout=90<br>&gt; &nbsp; &nbsp;status &nbsp; &nbsp; &nbsp; &nbsp;timeout=30 interval=10<br>&gt; &nbsp; &nbsp;monitor &nbsp; &nbsp; &nbsp; timeout=30 interval=10<br>&gt; &nbsp; &nbsp;migrate_from &nbsp;timeout=60<br>&gt; &nbsp; &nbsp;migrate_to &nbsp; &nbsp;timeout=120<br>&gt; <br>&gt; Regards,<br>&gt; Ulrich<br>&gt; <br>&gt;&gt;<br>&gt;&gt; This is what the meta data for my resource looked like after making the<br>&gt;&gt; update:<br>&gt;&gt;<br>&gt;&gt; [root@zs95kj VD]# date;pcs resource update zs95kjg110065_res op migrate_to<br>&gt;&gt; timeout=&quot;360s&quot;<br>&gt;&gt; Thu Jan 26 16:43:11 EST 2017<br>&gt;&gt; You have new mail in /var/spool/mail/root<br>&gt;&gt;<br>&gt;&gt; [root@zs95kj VD]# date;pcs resource show zs95kjg110065_res<br>&gt;&gt; Thu Jan 26 16:43:46 EST 2017<br>&gt;&gt; &nbsp;Resource: zs95kjg110065_res (class=ocf provider=heartbeat<br>&gt;&gt; type=VirtualDomain)<br>&gt;&gt; &nbsp; Attributes: config=/guestxml/nfs1/zs95kjg110065.xml<br>&gt;&gt; hypervisor=qemu:///system migration_transport=ssh<br>&gt;&gt; &nbsp; Meta Attrs: allow-migrate=true<br>&gt;&gt; &nbsp; Operations: start interval=0s timeout=120<br>&gt;&gt; (zs95kjg110065_res-start-interval-0s)<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; stop interval=0s timeout=120<br>&gt;&gt; (zs95kjg110065_res-stop-interval-0s)<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; monitor interval=30s<br>&gt; (zs95kjg110065_res-monitor-interval-30s)<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; migrate-from interval=0s timeout=1200<br>&gt;&gt; (zs95kjg110065_res-migrate-from-interval-0s)<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; migrate-to interval=0s timeout=1200<br>&gt;&gt; (zs95kjg110065_res-migrate-to-interval-0s) &nbsp; &lt;&lt;&lt; Original op name / value<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; migrate_to interval=0s timeout=360s<br>&gt;&gt; (zs95kjg110065_res-migrate_to-interval-0s) &nbsp;&lt;&lt;&lt; New op name / value<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; Where does that original op name come from in the VirtualDomain resource<br>&gt;&gt; definition? &nbsp;How can we get the initial meta value changed and shipped<br>&gt; with<br>&gt;&gt; a valid operation name (i.e. migrate_to), and<br>&gt;&gt; maybe a more reasonable migrate_to timeout value... something<br>&gt; significantly<br>&gt;&gt; higher than 1200ms , i.e. 1.2 seconds ? &nbsp;Can I report this request as a<br>&gt;&gt; bugzilla on the RHEL side, or should this go to my internal IBM bugzilla<br>&gt;&gt; for KVM on System Z development?<br>&gt;&gt;<br>&gt;&gt; Anyway, thanks so much for identifying my issue. &nbsp;I can reconfigure my<br>&gt;&gt; resources to make them tolerate longer migration execution times.<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; Scott Greenlese ... IBM KVM on System Z Solution Test<br>&gt;&gt; &nbsp; INTERNET: &nbsp;swgreenl@us.ibm.com<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; From: Ken Gaillot &lt;kgaillot@redhat.com&gt;<br>&gt;&gt; To: Ulrich Windl &lt;Ulrich.Windl@rz.uni-regensburg.de&gt;,<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; users@clusterlabs.org<br>&gt;&gt; Date: 01/19/2017 10:26 AM<br>&gt;&gt; Subject: Re: [ClusterLabs] Antw: Re: Live Guest Migration timeouts for<br>&gt;&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; VirtualDomain resources<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; On 01/19/2017 01:36 AM, Ulrich Windl wrote:<br>&gt;&gt;&gt;&gt;&gt;&gt; Ken Gaillot &lt;kgaillot@redhat.com&gt; schrieb am 18.01.2017 um 16:32 in<br>&gt;&gt; Nachricht<br>&gt;&gt;&gt; &lt;4b02d3fa-4693-473b-8bed-dc98f9e3f3f3@redhat.com&gt;:<br>&gt;&gt;&gt;&gt; On 01/17/2017 04:45 PM, Scott Greenlese wrote:<br>&gt;&gt;&gt;&gt;&gt; Ken and Co,<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt; Thanks for the useful information.<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; [...]<br>&gt;&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt;&gt; Is this internally coded within the class=ocf provider=heartbeat<br>&gt;&gt;&gt;&gt;&gt; type=VirtualDomain resource agent?<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; Aha, I just realized what the issue is: the operation name is<br>&gt;&gt;&gt;&gt; migrate_to, not migrate-to.<br>&gt;&gt;&gt;&gt;<br>&gt;&gt;&gt;&gt; For technical reasons, pacemaker can't validate operation names (at the<br>&gt;&gt;&gt;&gt; time that the configuration is edited, it does not necessarily have<br>&gt;&gt;&gt;&gt; access to the agent metadata).<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; BUT the set of operations is finite, right? So if those were in some XML<br>&gt;&gt; schema, the names could be verified at least (not meaning that the<br>&gt;&gt; operation is actually supported).<br>&gt;&gt;&gt; BTW: Would a &quot;crm configure verify&quot; detect this kijnd of problem?<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; [...]<br>&gt;&gt;&gt;<br>&gt;&gt;&gt; Ulrich<br>&gt;&gt;<br>&gt;&gt; Yes, it's in the resource agent meta-data. While pacemaker itself uses a<br>&gt;&gt; small set of well-defined actions, the agent may define any arbitrarily<br>&gt;&gt; named actions it desires, and the user could configure one of these as a<br>&gt;&gt; recurring action in pacemaker.<br>&gt;&gt;<br>&gt;&gt; Pacemaker itself has to be liberal about where its configuration comes<br>&gt;&gt; from -- the configuration can be edited on a separate machine, which<br>&gt;&gt; doesn't have resource agents, and then uploaded to the cluster. So<br>&gt;&gt; Pacemaker can't do that validation at configuration time. (It could<br>&gt;&gt; theoretically do some checking after the fact when the configuration is<br>&gt;&gt; loaded, but this could be a lot of overhead, and there are<br>&gt;&gt; implementation issues at the moment.)<br>&gt;&gt;<br>&gt;&gt; Higher-level tools like crmsh and pcs, on the other hand, can make<br>&gt;&gt; simplifying assumptions. They can require access to the resource agents<br>&gt;&gt; so that they can do extra validation.<br><br>_______________________________________________<br>Users mailing list: Users@clusterlabs.org<br></tt><tt><a href="http://lists.clusterlabs.org/mailman/listinfo/users">http://lists.clusterlabs.org/mailman/listinfo/users</a></tt><tt><br><br>Project Home: </tt><tt><a href="http://www.clusterlabs.org">http://www.clusterlabs.org</a></tt><tt><br>Getting started: </tt><tt><a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a></tt><tt><br>Bugs: </tt><tt><a href="http://bugs.clusterlabs.org">http://bugs.clusterlabs.org</a></tt><tt><br><br></tt><br><br><BR>
</body></html>