<div dir="ltr">Hi, <div><br></div><div>I have some nodes which have Mellanox ConnectX4 nics in them and when I boot with iPXE they seem (based on observed speed) to be negotiating 100 Mbps when bringing the links up. I enabled debugging (make DEBUG=golan ...), which produces the following output:<br><br><font size="1" face="monospace">  NBP file downloaded successfully.<br>iPXE initialising devices...golan_probe: start<br>golan_probe: Using NODNIC driver<br>golan_probe: rc = 0<br>golan_probe: start<br>golan_probe: Using NODNIC driver<br>golan_probe: rc = 0<br>golan_probe: start<br>golan_probe: Using normal driver<br>golan_bring_up<br>golan_cmd_init Command interface was initialized<br>golan_core_enable_hca<br>golan_handle_pages<br>golan_handle_pages pages needed: 6<br>golan_provide_pages<br>golan_provide_pages Pages handled<br>golan_set_hca_cap<br>golan_set_hca_cap caps.uar_sz = 5<br>golan_set_hca_cap caps.log_pg_sz = 12<br>golan_set_hca_cap caps.log_uar_sz = 0<br>golan_handle_pages<br>golan_handle_pages pages needed: 10024<br>golan_provide_pages<br>golan_provide_pages Pages handled<br>golan_hca_init<br>golan_alloc_uar: UAR allocated with index 0x80<br>UAR idx 80 (BE 80000003)<br>golan_create_eq: Event queue created (EQN = 0x4)<br>golan_alloc_pd: Protection domain created (PDN = 0x11)<br>golan_create_mkey: Got DMA Key for local access read/write (MKEY = 0x1000)<br>golan_bring_down: start<br>golan_destroy_mkey DMA Key (0x1000) for local access write was destroyed<br>golan_dealloc_pd in<br>golan_dealloc_pd Protection domain (0x11) was destroyed<br>golan_destory_eq in<br>golan_destory_eq Event queue (0x4) was destroyed<br>golan_dealloc_uar in<br>golan_dealloc_uar UAR (0x80) was destroyed<br>golan_teardown_hca in<br>golan_teardown_hca HCA teardown compleated<br>golan_handle_pages<br>golan_handle_pages pages needed: -10024<br>golan_take_pages<br>golan_take_pages Pages handled<br>golan_bring_down: end<br>golan_probe: rc = 0<br>ok<br></font></div><div><font size="1" face="monospace"><br></font></div><div><font size="1" face="monospace">[[ normal boot stuff is here ]]</font></div><div><font size="1" face="monospace"><br></font></div><div><font size="1" face="monospace">golan_remove: start<br>golan_remove: Using NODNIC driver remove<br>golan_remove: end<br>golan_remove: start<br>golan_remove: Using NODNIC driver remove<br>golan_remove: end<br>golan_remove: start<br>golan_remove: Using normal driver remove<br>golan_remove_normal<br></font></div><div><font size="1" face="monospace"><br></font></div><div><font size="1" face="monospace">[[ node boots ]]</font></div><div><font size="1" face="monospace"><br></font></div><div><br></div><div>Is there something in that which confirms 100 Mbps or gives a clue as to why these are so slow? Once booted to an OS the NICs work fine, I only see this slowdown during the initial ipxe fetching of kernel and initrd. I don't (yet) have easy access to watch this at the switch but will get that soon. For now I base my guess that this is auto negotiating 100 Mbps on watching the host that sends the images max out at 11 MB/s when one of these nodes is fetching an image.</div><div><br></div><div>Is there a way to get more debugging here or better, force the link to come up at a higher speed?</div><div><br></div><div>Best,</div><div><br></div><div>griznog</div></div>