<div dir="ltr">Dear difx-users,<div><br></div>After almost 2 years on the DiFX-2.5 series, the DiFX developers are pleased to roll out the first release of a new stable major version of DiFX: DiFX-2.6.1.  This version has gone through extensive testing at several locations and brings quite some new functionality as well as the DiFX reliability you all know and love. As always, a huge thanks to all who contributed code, documentation, testing, and funding for these efforts: I am privileged to get to send these emails, but I've only contributed a fraction of the work!<div><br></div><div>Only the highlights of the new version are listed in the release notes below, while numerous other new utilities and added functionality are identified in the ChangeLog file that accompanies most DiFX modules.  Updated, but still incomplete, documentation for DiFX can be found at the DiFX wiki: <a href="https://www.atnf.csiro.au/vlbi/dokuwiki/doku.php/difx/start">https://www.atnf.csiro.au/vlbi/dokuwiki/doku.php/difx/start</a> and the users guide: <a href="https://www.atnf.csiro.au/vlbi/dokuwiki/lib/exe/fetch.php/difx/difxuserguide.pdf">https://www.atnf.csiro.au/vlbi/dokuwiki/lib/exe/fetch.php/difx/difxuserguide.pdf</a>.  My special thanks to Walter Brisken for keeping the user guide up to date.<br><br>The source code can be obtained via SVN at: <a href="https://svn.atnf.csiro.au/difx/master_tags/DiFX-2.6.1">https://svn.atnf.csiro.au/difx/master_tags/DiFX-2.6.1</a> .<br><br>I'd also like to take this chance to remind everyone that the annual DiFX Developers and Users meeting will be held November 11 to 15, 2019 at Swinburne University in Melbourne, Australia - the first DiFX workshop to be held at DiFX's spiritual home!  Information about this meeting can be found at <a href="http://astronomy.swin.edu.au/research/conferences/difx2019/">http://astronomy.swin.edu.au/research/conferences/difx2019/</a>, and we hope to see many of you there.  Please register and consider contributing a talk: the SOC will be looking at registrations and beginning to bed down the program in September.<br><br>Kind regards,<br>Adam on behalf of the DiFX developers<br><br><br><b><u>DiFX 2.6.1 Release Notes</u></b><br><br><h4 id="gmail-major_new_features" style="padding:0px;line-height:1.2;clear:left;font-size:14px;margin:0px 0px 1em;color:rgb(51,51,51);font-family:Arial,sans-serif">Major new features</h4><div class="gmail-level4" style="margin:0px;padding:0px;color:rgb(51,51,51);font-family:Arial,sans-serif;font-size:14px"><ul style="margin:0px 0px 1.4em;padding:0px 0px 0px 1.5em;list-style:square outside"><li class="gmail-level1 gmail-node" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Improved VDIF support</div><ul style="margin:0px;padding:0px;list-style:square outside"><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Increased robustness in processing VDIF data with many gaps</div></li><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Improvements in processing VDIF with frame sizes very different from 5000 bytes</div></li><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">New in-line reordering functionality via vdifreader…() functions; allows operation on more highly skewed VDIF files</div></li></ul></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">mpifxcorr input, calc, threads, pulsar files are now only read by the head node and distributed by MPI, negating the need for these files to be visible to all nodes.</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">mpifxcorr can be provided a new stop time via a DifxParameter message; results in clean shutdown at that time.</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">mpifxcorr can extract pulse cals with tone spacing smaller than 1 <abbr title="Megahertz" style="border-bottom:1px dotted">MHz</abbr></div></li><li class="gmail-level1 gmail-node" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Support for Intel Performance Primitives version > 9 (specfically IPP 2018 and 2019)</div><ul style="margin:0px;padding:0px;list-style:square outside"><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">These newer IPP versions are more readily available than earlier versions</div></li></ul></li><li class="gmail-level1 gmail-node" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Improved support for Mark6 playback</div><ul style="margin:0px;padding:0px;list-style:square outside"><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Mark6 activity messages in difxmessage</div></li><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Support in genmachines with updated mk5daemon</div></li><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Support playback of Mark5B data on Mark6</div></li><li class="gmail-level2" style="padding:0px;margin:0px 0px 0px 1.5em"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">New and improved mark6 utilities</div></li></ul></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">difx2fits: populate antenna diameters and mount types for antennas known to the difxio antenna database</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">difx2fits: in verbose mode, explain why files are being split</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">difx2fits: new options for merging correlator jobs run with different clock models</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">vex2difx: new parameter “exhaustiveAutocorrs” can be used to generate cross-hand autocorrelations even when the two polarizations for an antenna come from different datastreams</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">difx2mark4: support multiple bandwidths in one pass</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">hops: to rev 3.19 (see notes on 2.5.3 below for details on several new and useful features)</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">polconvert: to rev 1.7.5 (see notes on 2.5.3 below for details)</div></li></ul></div><h4 id="gmail-bug_fixes" style="padding:0px;line-height:1.2;clear:left;font-size:14px;margin:0px 0px 1em;color:rgb(51,51,51);font-family:Arial,sans-serif">Bug fixes</h4><div class="gmail-level4" style="margin:0px;padding:0px;color:rgb(51,51,51);font-family:Arial,sans-serif;font-size:14px"><ul style="margin:0px 0px 1.4em;padding:0px 0px 0px 1.5em;list-style:square outside"><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">mpifxcorr: Retry on NFS open errors of kind: “EAGAIN Resource temporarily unavailable”</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">mpifxcorr: Fix weight issue when the parameter nBufferedFFTs > 1</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">startdifx/genmachines: Fixes for cases when multiple input files are provided</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">python 2 scripts now explicitly call python2</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">vex2difx: allow up to 32 IFs (was 4) and warn when this is exceeded</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">vex2difx: support units in the clock rate (e.g., usec/sec); in general support time in the numerators.</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Sun RPC is on its way out; support for “tirpc” added to calcif2 and calcserver</div></li></ul></div><h4 id="gmail-caveats" style="padding:0px;line-height:1.2;clear:left;font-size:14px;margin:0px 0px 1em;color:rgb(51,51,51);font-family:Arial,sans-serif">Caveats</h4><div class="gmail-level4" style="margin:0px;padding:0px;color:rgb(51,51,51);font-family:Arial,sans-serif;font-size:14px"><ul style="margin:0px 0px 1.4em;padding:0px 0px 0px 1.5em;list-style:square outside"><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Moved “mark6gather” functions from vdifio to mark6sg; this changes the order of dependencies!</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">Various changes made between DiFX 2.5 and 2.6 are not <abbr title="Application Programming Interface" style="border-bottom:1px dotted">API</abbr>-compatible. Please don't mix packages from these two releases. If you have non-DiFX software that links against the DiFX libraries, be sure to recompile them. A small number of changes may result in need to restructure such code.</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">There is some suspicion that correlation of very narrow bandwidth VDIF modes on Mark6 media can result in premature termination of datastreams.</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">The .threads file must now exist; previously (before the change to only have manager read these files), a missing .threads file would cause each core process instance to have a single thread.</div></li><li class="gmail-level1" style="padding:0px;margin:0px 0px 0px 1.5em;color:rgb(153,153,153)"><div class="gmail-li" style="margin:0px;padding:0px;color:rgb(51,51,51)">“difx_monitor” won't compile with IPP >= 9</div></li></ul></div><br>--<br>!=============================================================!<br>A/Prof. Adam Deller         <br>ARC Future Fellow<br>Centre for Astrophysics & Supercomputing <br>Swinburne University of Technology    <br>John St, Hawthorn VIC 3122 Australia<br>phone: +61 3 9214 5307<br>fax: +61 3 9214 8797<br><br>office days (usually): Mon-Thu<br>!=============================================================!</div></div>