<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, 2 May 2020, 03:19 Thomas Walker, <<a href="mailto:Thomas.Walker@twosigma.com">Thomas.Walker@twosigma.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Fri, May 01, 2020 at 01:46:02PM +0200, Christian Nilsson wrote:<br>
> Hi,<br>
> Are you using ipxe.efi, snponly.efi or which build are you using?<br>
> What does ifstat show you when you in the scenario where it doesn't work?<br>
> Especially which driver is it using?<br>
> <br>
> If you are seeing snponly than that is the driver and part of stack in (this<br>
> case) Dells firmware, the broadcom driver itself probably comes from broadcom.<br>
> if this is the case you might want to try and use ipxe.efi to try and get it to<br>
> use a ipxe driver instead, the bcm ones are a bit buggy, but the mellanox ones<br>
> should not be.<br>
> <br>
<br>
We're using ipxe.efi.<br>
<br>
iPXE> ifstat<br>
net0: f4:02:70:bf:91:e4 using NII on NII-0x63e2fa20 (open)<br>
  [Link:up, TX:4 TXE:0 RX:10 RXE:0]<br>
net1: f4:02:70:bf:91:e5 using NII on NII-0x63debaa0 (closed)<br>
  [Link:down, TX:0 TXE:0 RX:0 RXE:0]<br>
  [Link status: Unknown (<a href="http://ipxe.org/1a086194" rel="noreferrer noreferrer" target="_blank">http://ipxe.org/1a086194</a>)]<br>
<br>
(I currently have the PCI-E slots associated with the Mellanox NIC disabled in BIOS as I don't have those ports mirrored, so these are the Broadcom only)<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">That shows us that the NII driver is used, which is the firmware driver, and not the built in iPXE ones for broadcom.</div><div dir="auto"><br></div><div dir="auto">Don't know if we can suggest much other then enable level 3 debugging of maybe the NII driver, something like DEBUG=nii:3 to get as much data as possible for what iPXE sends, and then compare that to what goes out the wire, send that information to both Dell and Broadcom and ask them to take a look on what might be going on.</div><div dir="auto"><br></div><div dir="auto">I find it more probable to be an firmware issue than iPXE, with that said, it's not impossible that iPXE could make something differently to mitigate the issue when using NII.</div><div dir="auto"><br></div><div dir="auto">If you see the same issue on other cards, and that is also using NII driver, then the firmware handling is more likely to blame rather than Broadcom driver in firmware.</div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
</blockquote></div></div></div>