<div dir="ltr">Just to add to Walter's excellent description, while I've thankfully not had to deal much with MPI's infiniband pickiness myself I think that Cormac Reynolds and/or Helge Rottman have overcome similar problems on their compute clusters in the past, so they might be able to chime in if Walter's suggestions don't work.  <div><br></div><div>Googling 'infiniband slurm mpi' yields a lot of hits, so I doubt you are the only person that's come across similar issues!</div><div><br></div><div>Cheers,<br>Adam</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 17 Aug 2021 at 08:21, Walter Brisken via Difx-users <<a href="mailto:difx-users@listmgr.nrao.edu">difx-users@listmgr.nrao.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Hi Joe,<br>
<br>
I've not used slurm or any process management layer above MPI, so can't <br>
directly get at your problem.<br>
<br>
I can give you one bit of advice on working out MPI problems though.<br>
<br>
mpifxcorr is a pretty complicated program and it can add complexity when <br>
sorting out MPI issues.  There is a program packaged with mpifxcorr called <br>
"mpispeed".  This program requires an even number of processes to be <br>
started at the same time.  All the program does is tell the odd numbered <br>
processes to stream data as fast as possible to the even numbered <br>
processes (1 goes to 2, 3 goes to 4, ...)  The program would exercise all <br>
of the machinery required to start the MPI process without the <br>
dependencies on difx filesets, ...<br>
<br>
On the MPI issue itself: a couple things to try:<br>
<br>
1. If some of your machines have multiple ethernet ports that are on <br>
different networks, then the routing tables need to be configured properly <br>
so you stay on the initiating network.<br>
<br>
2. If you are using ssh between nodes, there can be subtle authentication <br>
issues that creep in.  Make sure you can ssh from the head node to each of <br>
the other nodes without entry of a password or passphrase.<br>
<br>
3. Probably if you have infiniband, it will only try to use TCP/ethernet <br>
for the process management, not for IPC.  You might try removing the <br>
"--mca btl_tcp_if_include eth0" parameters.  You could even try forcefully <br>
excluding it with "--mca btl self,openib".  If you were explicitly using <br>
"btl_tcp_if_include" to work around network routing issues, see suggestion <br>
#1 above.<br>
<br>
<br>
Hopefully something above helps a bit...<br>
<br>
-Walter<br>
<br>
<br>
-------------------------<br>
Walter Brisken<br>
NRAO<br>
Deputy Assistant Director for VLBA Development<br>
(505)-234-5912 (cell)<br>
(575)-835-7133 (office; not useful during COVID times)<br>
<br>
On Mon, 16 Aug 2021, Joe Skeens via Difx-users wrote:<br>
<br>
> Hi all,<br>
> I'm what you might call an MPI newbie, and I've been trying to run mpifxcorr on a cluster with the Slurm<br>
> scheduler and running into some problems. In the cluster setup, there's an InfiniBand device that handles<br>
> communication between nodes, but the setup doesn't seem to recognize/utilize it properly.<br>
> <br>
> For the command line prompt,<br>
> salloc -N 7 mpirun -np 7 mpifxcorr ${EXPER}.input<br>
> <br>
> I get:<br>
> WARNING: There is at least non-excluded one OpenFabrics device found, but there are no active ports<br>
> detected (or Open MPI was unable to use them). This is most certainly not what you wanted. Check your<br>
> cables, subnet manager configuration, etc. The openib BTL will be ignored for this job. Local host: nod50<br>
> <br>
> This leads to a fatal failure to connect between nodes (I think):<br>
> <br>
> WARNING: Open MPI failed to TCP connect to a peer MPI process. This should not happen. Your Open MPI job<br>
> may now fail. Local host: nod77 PID: 4410 Message: connect() to MailScanner warning: numerical links are<br>
> often malicious: MailScanner warning: numerical links are often malicious: <a href="http://192.168.5.76:1024" rel="noreferrer" target="_blank"><font color="red"><b>MailScanner warning: numerical links are often malicious:</b></font> 192.168.5.76:1024</a> failed Error:<br>
> Operation now in progress (115)<br>
> <br>
> Notably, if I force connection through an ethernet device with the command line prompt,<br>
> <br>
> salloc -N 7 mpirun -np 7 --mca btl_tcp_if_include eth0 mpifxcorr ${EXPER}.input<br>
> <br>
> mpifxcorr runs with no problem, although presumably at a large loss in efficiency.<br>
> <br>
> This may be impossible to diagnose without knowing more about the server/cluster architecture, but I<br>
> figured I'd see if anyone else has run into similar issues and found a solution. It's also entirely<br>
> possible I'm missing something obvious.<br>
> <br>
> <br>
> Thanks,<br>
> <br>
> Joe Skeens<br>
> <br>
> <br>
> [no_photo.png]<br>
> ReplyForward<br>
> <br>
>_______________________________________________<br>
Difx-users mailing list<br>
<a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
<a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px">!=============================================================!<br><div dir="ltr" style="font-size:12.8px">A/Prof. Adam Deller         </div><div dir="ltr" style="font-size:12.8px">ARC Future Fellow</div></div><div style="font-size:12.8px">Centre for Astrophysics & Supercomputing </div><div dir="ltr" style="font-size:12.8px">Swinburne University of Technology    <br>John St, Hawthorn VIC 3122 Australia</div><div style="font-size:12.8px">phone: +61 3 9214 5307</div><div style="font-size:12.8px">fax: +61 3 9214 8797</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">office days (usually): Mon-Thu<br>!=============================================================!</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>