<div dir="ltr">Walter, Adam, et all,<div><br></div><div>The Open Fabrics Alliance, <a href="http://www.openfabrics.org" target="_blank">www.openfabrics.org</a>, developed the software for both IB and ROCE. Suggest your questions may well get useful responses for both, for and against, by contacting the Alliance. </div><div><br></div><div>One useful rarely mentioned fact is that at the physical cable level the SERDES for both Ethernet and IB is identical in the NVIDIA (nee Mellanox) chips and adapter cards, and the physical cable latency difference is the serialization time for serial (Ethernet) vs parallel (IB).</div><div><br></div><div>So the criteria to consider are primarily in the software distributions and host interfaces, mostly PCIe. Here the options to evaluate are NVIDIA, Cornelis (nee Intel's Omnipath, IB by another label) and most recently UCX and CXL both follow ons from IB and OpenFabrics which incidentally is coming up to 20 years from conception. There is also GIGAIO which is physically a PCI fabric.</div><div><br></div><div>Bill.</div><div>Bill Boas</div><div>ex-Co-Founder OpenFabrics Alliance</div><div>M: 510-375-8840</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Sep 20, 2021 at 4:05 PM Adam Deller via Difx-users <<a href="mailto:difx-users@listmgr.nrao.edu" target="_blank">difx-users@listmgr.nrao.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><div dir="ltr">I've spoken to people about RoCE, but not sure if any of them have gone ahead and taken the plunge on it yet.  I'll ask around to update myself.<div><br></div><div>Cheers,</div><div>Adam<br><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 21 Sept 2021 at 05:28, Walter Brisken via Difx-users <<a href="mailto:difx-users@listmgr.nrao.edu" target="_blank">difx-users@listmgr.nrao.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><br>
Hi DiFX Users,<br>
<br>
In the not so distant future we at VLBA may be be in the position to upgrade <br>
the network backbone of the VLBA correlator.  Currently we have a 40 Gbps <br>
Infiniband system dating back about 10 years.  At the time we installed that <br>
system, Infiniband showed clear advantages, likely driven by RDMA capability <br>
which offloads a significant amount of work from the CPU.  Now it seems <br>
Ethernet has RoCE (RDMA over Converged Ethernet) which aims to do the same <br>
thing.<br>
<br>
1. Does anyone have experience with RoCE?  If so, is this as easy to configure <br>
as the OpenMPI page suggests?  Any drawbacks of using it?<br>
<br>
2. Has anyone else gone through this decision process recently?  If so, any <br>
thoughts or advice?<br>
<br>
3. Has anyone run DiFX on an RoCE-based network?<br>
<br>
        -Walter<br>
<br>
-------------------------<br>
Walter Brisken<br>
NRAO<br>
Deputy Assistant Director for VLBA Development<br>
(505)-234-5912 (cell)<br>
(575)-835-7133 (office; not useful during COVID times)<br>
<br>
_______________________________________________<br>
Difx-users mailing list<br>
<a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
<a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px">!=============================================================!<br><div dir="ltr" style="font-size:12.8px">A/Prof. Adam Deller         </div><div dir="ltr" style="font-size:12.8px">ARC Future Fellow</div></div><div style="font-size:12.8px">Centre for Astrophysics & Supercomputing </div><div dir="ltr" style="font-size:12.8px">Swinburne University of Technology    <br>John St, Hawthorn VIC 3122 Australia</div><div style="font-size:12.8px">phone: +61 3 9214 5307</div><div style="font-size:12.8px">fax: +61 3 9214 8797</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">office days (usually): Mon-Thu<br>!=============================================================!</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>
_______________________________________________<br>
Difx-users mailing list<br>
<a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
<a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Bill.<div>Bill Boas</div><div>510-375-8840</div><div><br></div></div></div>