<div dir="ltr">I've spoken to people about RoCE, but not sure if any of them have gone ahead and taken the plunge on it yet.  I'll ask around to update myself.<div><br></div><div>Cheers,</div><div>Adam<br><div><br></div><div><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 21 Sept 2021 at 05:28, Walter Brisken via Difx-users <<a href="mailto:difx-users@listmgr.nrao.edu">difx-users@listmgr.nrao.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
Hi DiFX Users,<br>
<br>
In the not so distant future we at VLBA may be be in the position to upgrade <br>
the network backbone of the VLBA correlator.  Currently we have a 40 Gbps <br>
Infiniband system dating back about 10 years.  At the time we installed that <br>
system, Infiniband showed clear advantages, likely driven by RDMA capability <br>
which offloads a significant amount of work from the CPU.  Now it seems <br>
Ethernet has RoCE (RDMA over Converged Ethernet) which aims to do the same <br>
thing.<br>
<br>
1. Does anyone have experience with RoCE?  If so, is this as easy to configure <br>
as the OpenMPI page suggests?  Any drawbacks of using it?<br>
<br>
2. Has anyone else gone through this decision process recently?  If so, any <br>
thoughts or advice?<br>
<br>
3. Has anyone run DiFX on an RoCE-based network?<br>
<br>
        -Walter<br>
<br>
-------------------------<br>
Walter Brisken<br>
NRAO<br>
Deputy Assistant Director for VLBA Development<br>
(505)-234-5912 (cell)<br>
(575)-835-7133 (office; not useful during COVID times)<br>
<br>
_______________________________________________<br>
Difx-users mailing list<br>
<a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
<a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
</blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px"><div dir="ltr" style="font-size:12.8px">!=============================================================!<br><div dir="ltr" style="font-size:12.8px">A/Prof. Adam Deller         </div><div dir="ltr" style="font-size:12.8px">ARC Future Fellow</div></div><div style="font-size:12.8px">Centre for Astrophysics & Supercomputing </div><div dir="ltr" style="font-size:12.8px">Swinburne University of Technology    <br>John St, Hawthorn VIC 3122 Australia</div><div style="font-size:12.8px">phone: +61 3 9214 5307</div><div style="font-size:12.8px">fax: +61 3 9214 8797</div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px">office days (usually): Mon-Thu<br>!=============================================================!</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>