<div dir="ltr">Hi all,<div><br></div><div>I can safely say that FiLa10G does NOT produce legacy VDIF headers, it produces nice 32-byte VDIF headers. Always has.</div><div>jive5ab produces legacy VDIF headers when using the cornerturning functionality. However, not two days ago I merged a patch in the master branch that would fix this.</div><div><br></div><div>So, if that would be only thing keeping you from reading the VDIF, it can be A Thing Of The Past.</div><div><br></div><div>Cheers,</div><div>h</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, 20 Mar 2020 at 03:57, Paul Demorest via Difx-users <<a href="mailto:difx-users@listmgr.nrao.edu">difx-users@listmgr.nrao.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">hi all,<br>
<br>
Not sure I have a whole lot to add here, but a couple quick comments <br>
about the VDIF capabilites in dspsr..<br>
<br>
The main thing is that it only handles a pretty specific flavor of VDIF, <br>
namely single-thread with either one or two polarization channels.  If <br>
this is a one-off data analysis project I would probably recommend just <br>
munging your data into this format using vmux before feeding it into <br>
dspsr.  I've done this occasionally for various projects, it's a little <br>
kludgey but works fine.  If this is something that will need to be done <br>
more often you could think about generalizing the dspsr VDIF reader.<br>
<br>
Also, it looks like the vdifio-based code that dspsr uses may already <br>
have some modifications to read legacy headers.  Apparently Andrew <br>
Jameson put this in about a year ago, I don't have any experience using <br>
it though.<br>
<br>
Cheers,<br>
Paul<br>
<br>
On 2020-03-19 19:25, Adam Deller via Difx-users wrote:<br>
> Yep, that'll be your problem, I suspect.  It shouldn't be too much work <br>
> to<br>
> fix vdifio to understand legacy 16 byte headers, but it would be good <br>
> to<br>
> only have to do it once.  I'd suggest that it might be best to fix <br>
> vdifio<br>
> in DiFX, and then make sure that dspsr pulls this update (might need <br>
> some<br>
> checking/coordination with Paul D).<br>
> <br>
> If you want to do a real quick and dirty hack check, just change the<br>
> definition of VDIF_HEADER_BYTES from 32 to 16 locally and recompile.<br>
> <br>
> If you get it going, would you be interested in making a better and <br>
> more<br>
> permanent fix to VDIFIO?<br>
> <br>
> Cheers,<br>
> Adam<br>
> <br>
> On Fri, 20 Mar 2020 at 12:16, Stuart Weston <<a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a>> <br>
> wrote:<br>
> <br>
>> >> legacy (16 byte) headers?<br>
>> <br>
>> <br>
>> <br>
>> I think our chain (DBBC/Fila10G/Jive5ab) is producing 16byte headers.<br>
>> <br>
>> <br>
>> <br>
>> Well when I do a dumb read (python script) to check the data I have to <br>
>> use<br>
>> 16bytes<br>
>> <br>
>> <br>
>> <br>
>> Stuart Weston<br>
>> <br>
>> <br>
>> <br>
>> Mobile: 021 713062<br>
>> <br>
>> Skype: stuart.d.weston<br>
>> Email:  <a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a><br>
>> <br>
>> <a href="http://www.atnf.csiro.au/people/Stuart.Weston/index.html" rel="noreferrer" target="_blank">http://www.atnf.csiro.au/people/Stuart.Weston/index.html</a><br>
>> <br>
>> Software Engineer<br>
>> Institute for Radio Astronomy & Space Research (IRASR)<br>
>> School of Engineering, Computer and Mathematical Sciences<br>
>> Faculty of Design and Creative Technologies<br>
>> Auckland University of Technology, New Zealand.<br>
>> <br>
>> <a href="http://www.irasr.aut.ac.nz/" rel="noreferrer" target="_blank">http://www.irasr.aut.ac.nz/</a><br>
>> <br>
>> <br>
>> <br>
>> *From:* Adam Deller <<a href="mailto:adeller@astro.swin.edu.au" target="_blank">adeller@astro.swin.edu.au</a>><br>
>> *Sent:* Friday, 20 March 2020 2:11 PM<br>
>> *To:* Stuart Weston <<a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a>><br>
>> *Cc:* Phillips, Chris (CASS, Marsfield) <Chris.Phillips@csiro.au>;<br>
>> <a href="mailto:difx-users@listmgr.nrao.edu" target="_blank">difx-users@listmgr.nrao.edu</a><br>
>> *Subject:* Re: [Difx-users] Question : What library/code is DiFX using <br>
>> to<br>
>> read VDIF files<br>
>> <br>
>> <br>
>> <br>
>> Hi Stuart,<br>
>> <br>
>> <br>
>> <br>
>> Is your VDIF data regular (32 byte) or legacy (16 byte) headers?  I'm<br>
>> pretty sure that the latter is known to be not supported by VDIFIO (a<br>
>> relatively simple fix, that should certainly be made at some stage...)<br>
>> <br>
>> <br>
>> <br>
>> Cheers,<br>
>> <br>
>> Adam<br>
>> <br>
>> <br>
>> <br>
>> On Fri, 20 Mar 2020 at 11:54, Stuart Weston <<a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a>><br>
>> wrote:<br>
>> <br>
>> Thanks Adam,<br>
>> <br>
>> <br>
>> <br>
>> I am working with some code that Willem hacked together for DSPSR <br>
>> using<br>
>> Mark5Access.<br>
>> <br>
>> <br>
>> <br>
>> Trying to get it to use our single dish data recorded in vdif format <br>
>> from<br>
>> the DBBC/Fila10G/Jive5ab.<br>
>> <br>
>> <br>
>> <br>
>> Paul’s code doesn’t read our vdif ☹ data<br>
>> <br>
>> <br>
>> <br>
>> Stuart Weston<br>
>> <br>
>> <br>
>> <br>
>> Mobile: 021 713062<br>
>> <br>
>> Skype: stuart.d.weston<br>
>> Email:  <a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a><br>
>> <br>
>> <a href="http://www.atnf.csiro.au/people/Stuart.Weston/index.html" rel="noreferrer" target="_blank">http://www.atnf.csiro.au/people/Stuart.Weston/index.html</a><br>
>> <br>
>> Software Engineer<br>
>> Institute for Radio Astronomy & Space Research (IRASR)<br>
>> School of Engineering, Computer and Mathematical Sciences<br>
>> Faculty of Design and Creative Technologies<br>
>> Auckland University of Technology, New Zealand.<br>
>> <br>
>> <a href="http://www.irasr.aut.ac.nz/" rel="noreferrer" target="_blank">http://www.irasr.aut.ac.nz/</a><br>
>> <br>
>> <br>
>> <br>
>> *From:* Adam Deller <<a href="mailto:adeller@astro.swin.edu.au" target="_blank">adeller@astro.swin.edu.au</a>><br>
>> *Sent:* Friday, 20 March 2020 1:50 PM<br>
>> *To:* Stuart Weston <<a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a>><br>
>> *Cc:* Phillips, Chris (CASS, Marsfield) <Chris.Phillips@csiro.au>;<br>
>> <a href="mailto:difx-users@listmgr.nrao.edu" target="_blank">difx-users@listmgr.nrao.edu</a><br>
>> *Subject:* Re: [Difx-users] Question : What library/code is DiFX using <br>
>> to<br>
>> read VDIF files<br>
>> <br>
>> <br>
>> <br>
>> Hi Stuart,<br>
>> <br>
>> <br>
>> <br>
>> mpifxcorr uses mark5access to unpack VDIF samples.  The vdifio library<br>
>> that is also included with DiFX is quite limited - apart from what <br>
>> Chris<br>
>> already noted, I believe it doesn't support legacy VDIF.  Without any<br>
>> disrespect to anyone who worked on it (including me :) ) it was really <br>
>> a<br>
>> fairly quick hack to support some simple utilities.<br>
>> <br>
>> <br>
>> <br>
>> Now, dspsr I think based some of its VDIF support code on vdifio.  <br>
>> Paul<br>
>> Demorest first made a copy of vdifio onto git - whether it ultimately<br>
>> became an external mirror of the vdifio hosted on SVN in DiFX or if it <br>
>> has<br>
>> branched off (and had functionality added) I'm actually not sure.<br>
>> <br>
>> <br>
>> <br>
>> I know dspsr is capable of processing the VDIF-formatted data produced <br>
>> by<br>
>> the VLA tied array system, so I'm pretty sure that unpacking is <br>
>> already<br>
>> available in dspsr somewhere!  I'd suggest checking with Paul <br>
>> Demorest,<br>
>> since he is definitely the key person for VDIF in dspsr.<br>
>> <br>
>> <br>
>> <br>
>> Cheers,<br>
>> <br>
>> Adam<br>
>> <br>
>> <br>
>> <br>
>> On Fri, 20 Mar 2020 at 10:32, Stuart Weston via Difx-users <<br>
>> <a href="mailto:difx-users@listmgr.nrao.edu" target="_blank">difx-users@listmgr.nrao.edu</a>> wrote:<br>
>> <br>
>> >> If your question is a licensing one<br>
>> <br>
>> <br>
>> <br>
>> Nope its not that.<br>
>> <br>
>> <br>
>> <br>
>> So I take it DiFX uses Mark5access, yes ?<br>
>> <br>
>> <br>
>> <br>
>> Stuart Weston<br>
>> <br>
>> <br>
>> <br>
>> Mobile: 021 713062<br>
>> <br>
>> Skype: stuart.d.weston<br>
>> Email:  <a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a><br>
>> <br>
>> <a href="http://www.atnf.csiro.au/people/Stuart.Weston/index.html" rel="noreferrer" target="_blank">http://www.atnf.csiro.au/people/Stuart.Weston/index.html</a><br>
>> <br>
>> Software Engineer<br>
>> Institute for Radio Astronomy & Space Research (IRASR)<br>
>> School of Engineering, Computer and Mathematical Sciences<br>
>> Faculty of Design and Creative Technologies<br>
>> Auckland University of Technology, New Zealand.<br>
>> <br>
>> <a href="http://www.irasr.aut.ac.nz/" rel="noreferrer" target="_blank">http://www.irasr.aut.ac.nz/</a><br>
>> <br>
>> <br>
>> <br>
>> *From:* Phillips, Chris (CASS, Marsfield) <Chris.Phillips@csiro.au><br>
>> *Sent:* Friday, 20 March 2020 11:43 AM<br>
>> *To:* Stuart Weston <<a href="mailto:stuart.weston@aut.ac.nz" target="_blank">stuart.weston@aut.ac.nz</a>><br>
>> *Cc:* <a href="mailto:difx-users@listmgr.nrao.edu" target="_blank">difx-users@listmgr.nrao.edu</a><br>
>> *Subject:* Re: [Difx-users] Question : What library/code is DiFX using <br>
>> to<br>
>> read VDIF files<br>
>> <br>
>> <br>
>> <br>
>> Hi Stuart<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> Just wondering if we can use the DiFX VDIF library/code instead ?<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> <br>
>> It is not clear what your question actually is.<br>
>> <br>
>> <br>
>> <br>
>> The initial VDIFIO library I wrote had *no* sampling unpacking <br>
>> routines.<br>
>> Others may had added some, I am not sure. Without that the answer <br>
>> would be<br>
>> essentially be no. VDIFIO is in no way a plug in replacement for<br>
>> mark5access.<br>
>> <br>
>> <br>
>> <br>
>> If your question is a licensing one, then yes as all of DFIX is GPLv3 <br>
>> now.<br>
>> <br>
>> <br>
>> <br>
>> Cheers<br>
>> <br>
>> Chris<br>
>> <br>
>> _______________________________________________<br>
>> Difx-users mailing list<br>
>> <a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
>> <a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
>> <br>
>> <br>
>> <br>
>> <br>
>> --<br>
>> <br>
>> !=============================================================!<br>
>> <br>
>> A/Prof. Adam Deller<br>
>> <br>
>> ARC Future Fellow<br>
>> <br>
>> Centre for Astrophysics & Supercomputing<br>
>> <br>
>> Swinburne University of Technology<br>
>> John St, Hawthorn VIC 3122 Australia<br>
>> <br>
>> phone: +61 3 9214 5307<br>
>> <br>
>> fax: +61 3 9214 8797<br>
>> <br>
>> <br>
>> <br>
>> office days (usually): Mon-Thu<br>
>> !=============================================================!<br>
>> <br>
>> <br>
>> <br>
>> <br>
>> --<br>
>> <br>
>> !=============================================================!<br>
>> <br>
>> A/Prof. Adam Deller<br>
>> <br>
>> ARC Future Fellow<br>
>> <br>
>> Centre for Astrophysics & Supercomputing<br>
>> <br>
>> Swinburne University of Technology<br>
>> John St, Hawthorn VIC 3122 Australia<br>
>> <br>
>> phone: +61 3 9214 5307<br>
>> <br>
>> fax: +61 3 9214 8797<br>
>> <br>
>> <br>
>> <br>
>> office days (usually): Mon-Thu<br>
>> !=============================================================!<br>
>> <br>
> <br>
> <br>
> _______________________________________________<br>
> Difx-users mailing list<br>
> <a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
> <a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
<br>
_______________________________________________<br>
Difx-users mailing list<br>
<a href="mailto:Difx-users@listmgr.nrao.edu" target="_blank">Difx-users@listmgr.nrao.edu</a><br>
<a href="https://listmgr.nrao.edu/mailman/listinfo/difx-users" rel="noreferrer" target="_blank">https://listmgr.nrao.edu/mailman/listinfo/difx-users</a><br>
</blockquote></div>