Skip to content

NUMA parameter exploration on KNL (Cori@NERSC)

Kevin Huck edited this page Jan 14, 2017 · 13 revisions

The Octotiger application was executed with 2 different numactl settings and three HPX bind parameters, using an allocation of "knl,quad,flat". Each execution uses the same build, type "Release", with tcmalloc memory management. Each test uses the same program arguments:

/project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger \
    -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 \
    --hpx:threads=68 --hpx:print-bind --hpx:bind [compact,scatter,balanced]

The configurations are taken from the NERSC support website.

Here is the summary:

NUMA Mode Memory Mode HPX Binding numactl Computation Regrid Total
quad flat compact -m 0 7.56811 9.23650 206.719
quad flat compact -m 1 3.62402 9.19225 208.408
quad flat scatter -m 0 3.18884 6.83862 118.547
quad flat scatter -m 1 3.09396 6.89953 119.315
quad flat balanced -m 0 5.59823 6.88120 118.767
quad flat balanced -m 1 4.41642 6.91154 118.923
quad cache compact 9.77688 9.37835 210.503
quad cache scatter 3.78501 7.08007 119.634
quad cache balanced 4.32734 7.15081 119.433
quad hybrid compact 4.54470 9.35072 210.384
quad hybrid scatter 3.76888 7.10408 119.168
quad hybrid balanced 2.75204 6.96220 119.154
snc2 flat scatter -m 0,1 4.09402 7.77332 127.354
snc2 flat balanced -m 2,3 5.09288 7.76328 127.155
snc2 flat scatter -m 0,1 3.17282 7.74773 128.688
snc2 flat balanced -m 2,3 4.26550 7.74751 125.165
snc2 cache scatter 4.06513 8.13305 125.411
snc2 cache balanced 5.23077 7.99736 124.739
snc2 hybrid scatter 3.44839 7.97843 125.522
snc2 hybrid balanced 4.17951 8.07218 126.278
snc4 flat scatter -m 0,1,2,3 3.15802 7.73088 135.786
snc4 flat balanced -m 4,5,6,7 5.73402 7.75788 140.611
snc4 flat scatter -m 0,1,2,3 3.71595 7.60880 136.678
snc4 flat balanced -m 4,5,6,7 2.86013 7.84870 137.640
snc4 cache scatter 5.49968 8.16799 138.640
snc4 cache balanced 3.03578 8.19287 139.325
snc4 hybrid scatter 2.72542 8.22674 140.961
snc4 hybrid balanced 6.15577 8.25517 139.840

Here are the HPX bind specifics for each run:

Bind: Compact, numactl -m 0

numactl -m 0 /project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 --hpx:threads=68 --hpx:print-bind --hpx:bind compact
*******************************************************************************
locality: 0
   0: PU L#0(P#0), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   1: PU L#1(P#68), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   2: PU L#2(P#136), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   3: PU L#3(P#204), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   4: PU L#4(P#1), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   5: PU L#5(P#69), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   6: PU L#6(P#137), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   7: PU L#7(P#205), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   8: PU L#8(P#2), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
   9: PU L#9(P#70), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
  10: PU L#10(P#138), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
  11: PU L#11(P#206), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
  12: PU L#12(P#3), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  13: PU L#13(P#71), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  14: PU L#14(P#139), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  15: PU L#15(P#207), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  16: PU L#16(P#4), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  17: PU L#17(P#72), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  18: PU L#18(P#140), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  19: PU L#19(P#208), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  20: PU L#20(P#5), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  21: PU L#21(P#73), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  22: PU L#22(P#141), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  23: PU L#23(P#209), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  24: PU L#24(P#6), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  25: PU L#25(P#74), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  26: PU L#26(P#142), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  27: PU L#27(P#210), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  28: PU L#28(P#7), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  29: PU L#29(P#75), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  30: PU L#30(P#143), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  31: PU L#31(P#211), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  32: PU L#32(P#8), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  33: PU L#33(P#76), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  34: PU L#34(P#144), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  35: PU L#35(P#212), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  36: PU L#36(P#9), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  37: PU L#37(P#77), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  38: PU L#38(P#145), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  39: PU L#39(P#213), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  40: PU L#40(P#10), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  41: PU L#41(P#78), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  42: PU L#42(P#146), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  43: PU L#43(P#214), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  44: PU L#44(P#11), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  45: PU L#45(P#79), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  46: PU L#46(P#147), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  47: PU L#47(P#215), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  48: PU L#48(P#12), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  49: PU L#49(P#80), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  50: PU L#50(P#148), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  51: PU L#51(P#216), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  52: PU L#52(P#13), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  53: PU L#53(P#81), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  54: PU L#54(P#149), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  55: PU L#55(P#217), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  56: PU L#56(P#14), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  57: PU L#57(P#82), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  58: PU L#58(P#150), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  59: PU L#59(P#218), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  60: PU L#60(P#15), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  61: PU L#61(P#83), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  62: PU L#62(P#151), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  63: PU L#63(P#219), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  64: PU L#64(P#16), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  65: PU L#65(P#84), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  66: PU L#66(P#152), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  67: PU L#67(P#220), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
...
   Total: 206.719
   Computation: 7.56811
   Regrid: 9.2365
   Find Localities: 0.000149371

Bind: Compact, numactl -m 1

numactl -m 1 /project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 --hpx:threads=68 --hpx:print-bind --hpx:bind compact
*******************************************************************************
locality: 0
   0: PU L#0(P#0), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   1: PU L#1(P#68), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   2: PU L#2(P#136), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   3: PU L#3(P#204), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   4: PU L#4(P#1), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   5: PU L#5(P#69), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   6: PU L#6(P#137), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   7: PU L#7(P#205), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   8: PU L#8(P#2), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
   9: PU L#9(P#70), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
  10: PU L#10(P#138), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
  11: PU L#11(P#206), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
  12: PU L#12(P#3), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  13: PU L#13(P#71), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  14: PU L#14(P#139), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  15: PU L#15(P#207), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
  16: PU L#16(P#4), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  17: PU L#17(P#72), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  18: PU L#18(P#140), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  19: PU L#19(P#208), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
  20: PU L#20(P#5), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  21: PU L#21(P#73), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  22: PU L#22(P#141), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  23: PU L#23(P#209), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
  24: PU L#24(P#6), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  25: PU L#25(P#74), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  26: PU L#26(P#142), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  27: PU L#27(P#210), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
  28: PU L#28(P#7), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  29: PU L#29(P#75), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  30: PU L#30(P#143), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  31: PU L#31(P#211), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
  32: PU L#32(P#8), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  33: PU L#33(P#76), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  34: PU L#34(P#144), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  35: PU L#35(P#212), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
  36: PU L#36(P#9), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  37: PU L#37(P#77), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  38: PU L#38(P#145), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  39: PU L#39(P#213), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  40: PU L#40(P#10), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  41: PU L#41(P#78), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  42: PU L#42(P#146), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  43: PU L#43(P#214), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  44: PU L#44(P#11), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  45: PU L#45(P#79), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  46: PU L#46(P#147), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  47: PU L#47(P#215), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  48: PU L#48(P#12), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  49: PU L#49(P#80), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  50: PU L#50(P#148), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  51: PU L#51(P#216), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  52: PU L#52(P#13), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  53: PU L#53(P#81), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  54: PU L#54(P#149), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  55: PU L#55(P#217), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  56: PU L#56(P#14), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  57: PU L#57(P#82), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  58: PU L#58(P#150), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  59: PU L#59(P#218), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  60: PU L#60(P#15), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  61: PU L#61(P#83), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  62: PU L#62(P#151), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  63: PU L#63(P#219), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  64: PU L#64(P#16), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  65: PU L#65(P#84), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  66: PU L#66(P#152), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  67: PU L#67(P#220), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
...
   Total: 208.408
   Computation: 3.62402
   Regrid: 9.19225
   Find Localities: 0.00021939

Bind: Scattered, numactl -m 0

numactl -m 0 /project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 --hpx:threads=68 --hpx:print-bind --hpx:bind scatter
*******************************************************************************
locality: 0
   0: PU L#0(P#0), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   1: PU L#4(P#1), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   2: PU L#8(P#2), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
   3: PU L#12(P#3), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
   4: PU L#16(P#4), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
   5: PU L#20(P#5), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
   6: PU L#24(P#6), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
   7: PU L#28(P#7), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
   8: PU L#32(P#8), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
   9: PU L#36(P#9), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  10: PU L#40(P#10), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  11: PU L#44(P#11), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  12: PU L#48(P#12), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  13: PU L#52(P#13), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  14: PU L#56(P#14), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  15: PU L#60(P#15), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  16: PU L#64(P#16), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  17: PU L#68(P#17), Core L#17(P#21), Node L#0(P#0), Socket L#0(P#0)
  18: PU L#72(P#18), Core L#18(P#22), Node L#0(P#0), Socket L#0(P#0)
  19: PU L#76(P#19), Core L#19(P#23), Node L#0(P#0), Socket L#0(P#0)
  20: PU L#80(P#20), Core L#20(P#24), Node L#0(P#0), Socket L#0(P#0)
  21: PU L#84(P#21), Core L#21(P#25), Node L#0(P#0), Socket L#0(P#0)
  22: PU L#88(P#22), Core L#22(P#26), Node L#0(P#0), Socket L#0(P#0)
  23: PU L#92(P#23), Core L#23(P#27), Node L#0(P#0), Socket L#0(P#0)
  24: PU L#96(P#24), Core L#24(P#28), Node L#0(P#0), Socket L#0(P#0)
  25: PU L#100(P#25), Core L#25(P#29), Node L#0(P#0), Socket L#0(P#0)
  26: PU L#104(P#26), Core L#26(P#30), Node L#0(P#0), Socket L#0(P#0)
  27: PU L#108(P#27), Core L#27(P#31), Node L#0(P#0), Socket L#0(P#0)
  28: PU L#112(P#28), Core L#28(P#32), Node L#0(P#0), Socket L#0(P#0)
  29: PU L#116(P#29), Core L#29(P#33), Node L#0(P#0), Socket L#0(P#0)
  30: PU L#120(P#30), Core L#30(P#34), Node L#0(P#0), Socket L#0(P#0)
  31: PU L#124(P#31), Core L#31(P#35), Node L#0(P#0), Socket L#0(P#0)
  32: PU L#128(P#32), Core L#32(P#36), Node L#0(P#0), Socket L#0(P#0)
  33: PU L#132(P#33), Core L#33(P#37), Node L#0(P#0), Socket L#0(P#0)
  34: PU L#136(P#34), Core L#34(P#38), Node L#0(P#0), Socket L#0(P#0)
  35: PU L#140(P#35), Core L#35(P#39), Node L#0(P#0), Socket L#0(P#0)
  36: PU L#144(P#36), Core L#36(P#40), Node L#0(P#0), Socket L#0(P#0)
  37: PU L#148(P#37), Core L#37(P#41), Node L#0(P#0), Socket L#0(P#0)
  38: PU L#152(P#38), Core L#38(P#42), Node L#0(P#0), Socket L#0(P#0)
  39: PU L#156(P#39), Core L#39(P#43), Node L#0(P#0), Socket L#0(P#0)
  40: PU L#160(P#40), Core L#40(P#44), Node L#0(P#0), Socket L#0(P#0)
  41: PU L#164(P#41), Core L#41(P#45), Node L#0(P#0), Socket L#0(P#0)
  42: PU L#168(P#42), Core L#42(P#46), Node L#0(P#0), Socket L#0(P#0)
  43: PU L#172(P#43), Core L#43(P#47), Node L#0(P#0), Socket L#0(P#0)
  44: PU L#176(P#44), Core L#44(P#48), Node L#0(P#0), Socket L#0(P#0)
  45: PU L#180(P#45), Core L#45(P#49), Node L#0(P#0), Socket L#0(P#0)
  46: PU L#184(P#46), Core L#46(P#50), Node L#0(P#0), Socket L#0(P#0)
  47: PU L#188(P#47), Core L#47(P#51), Node L#0(P#0), Socket L#0(P#0)
  48: PU L#192(P#48), Core L#48(P#52), Node L#0(P#0), Socket L#0(P#0)
  49: PU L#196(P#49), Core L#49(P#53), Node L#0(P#0), Socket L#0(P#0)
  50: PU L#200(P#50), Core L#50(P#54), Node L#0(P#0), Socket L#0(P#0)
  51: PU L#204(P#51), Core L#51(P#55), Node L#0(P#0), Socket L#0(P#0)
  52: PU L#208(P#52), Core L#52(P#56), Node L#0(P#0), Socket L#0(P#0)
  53: PU L#212(P#53), Core L#53(P#57), Node L#0(P#0), Socket L#0(P#0)
  54: PU L#216(P#54), Core L#54(P#60), Node L#0(P#0), Socket L#0(P#0)
  55: PU L#220(P#55), Core L#55(P#61), Node L#0(P#0), Socket L#0(P#0)
  56: PU L#224(P#56), Core L#56(P#62), Node L#0(P#0), Socket L#0(P#0)
  57: PU L#228(P#57), Core L#57(P#63), Node L#0(P#0), Socket L#0(P#0)
  58: PU L#232(P#58), Core L#58(P#64), Node L#0(P#0), Socket L#0(P#0)
  59: PU L#236(P#59), Core L#59(P#65), Node L#0(P#0), Socket L#0(P#0)
  60: PU L#240(P#60), Core L#60(P#68), Node L#0(P#0), Socket L#0(P#0)
  61: PU L#244(P#61), Core L#61(P#69), Node L#0(P#0), Socket L#0(P#0)
  62: PU L#248(P#62), Core L#62(P#70), Node L#0(P#0), Socket L#0(P#0)
  63: PU L#252(P#63), Core L#63(P#71), Node L#0(P#0), Socket L#0(P#0)
  64: PU L#256(P#64), Core L#64(P#72), Node L#0(P#0), Socket L#0(P#0)
  65: PU L#260(P#65), Core L#65(P#73), Node L#0(P#0), Socket L#0(P#0)
  66: PU L#264(P#66), Core L#66(P#74), Node L#0(P#0), Socket L#0(P#0)
  67: PU L#268(P#67), Core L#67(P#75), Node L#0(P#0), Socket L#0(P#0)
...
   Total: 118.547
   Computation: 3.18884
   Regrid: 6.83862
   Find Localities: 0.000107392

Bind: Scattered, numactl -m 1

numactl -m 1 /project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 --hpx:threads=68 --hpx:print-bind --hpx:bind scatter
*******************************************************************************
locality: 0
   0: PU L#0(P#0), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   1: PU L#4(P#1), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   2: PU L#8(P#2), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
   3: PU L#12(P#3), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
   4: PU L#16(P#4), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
   5: PU L#20(P#5), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
   6: PU L#24(P#6), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
   7: PU L#28(P#7), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
   8: PU L#32(P#8), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
   9: PU L#36(P#9), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  10: PU L#40(P#10), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  11: PU L#44(P#11), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  12: PU L#48(P#12), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  13: PU L#52(P#13), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  14: PU L#56(P#14), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  15: PU L#60(P#15), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  16: PU L#64(P#16), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  17: PU L#68(P#17), Core L#17(P#21), Node L#0(P#0), Socket L#0(P#0)
  18: PU L#72(P#18), Core L#18(P#22), Node L#0(P#0), Socket L#0(P#0)
  19: PU L#76(P#19), Core L#19(P#23), Node L#0(P#0), Socket L#0(P#0)
  20: PU L#80(P#20), Core L#20(P#24), Node L#0(P#0), Socket L#0(P#0)
  21: PU L#84(P#21), Core L#21(P#25), Node L#0(P#0), Socket L#0(P#0)
  22: PU L#88(P#22), Core L#22(P#26), Node L#0(P#0), Socket L#0(P#0)
  23: PU L#92(P#23), Core L#23(P#27), Node L#0(P#0), Socket L#0(P#0)
  24: PU L#96(P#24), Core L#24(P#28), Node L#0(P#0), Socket L#0(P#0)
  25: PU L#100(P#25), Core L#25(P#29), Node L#0(P#0), Socket L#0(P#0)
  26: PU L#104(P#26), Core L#26(P#30), Node L#0(P#0), Socket L#0(P#0)
  27: PU L#108(P#27), Core L#27(P#31), Node L#0(P#0), Socket L#0(P#0)
  28: PU L#112(P#28), Core L#28(P#32), Node L#0(P#0), Socket L#0(P#0)
  29: PU L#116(P#29), Core L#29(P#33), Node L#0(P#0), Socket L#0(P#0)
  30: PU L#120(P#30), Core L#30(P#34), Node L#0(P#0), Socket L#0(P#0)
  31: PU L#124(P#31), Core L#31(P#35), Node L#0(P#0), Socket L#0(P#0)
  32: PU L#128(P#32), Core L#32(P#36), Node L#0(P#0), Socket L#0(P#0)
  33: PU L#132(P#33), Core L#33(P#37), Node L#0(P#0), Socket L#0(P#0)
  34: PU L#136(P#34), Core L#34(P#38), Node L#0(P#0), Socket L#0(P#0)
  35: PU L#140(P#35), Core L#35(P#39), Node L#0(P#0), Socket L#0(P#0)
  36: PU L#144(P#36), Core L#36(P#40), Node L#0(P#0), Socket L#0(P#0)
  37: PU L#148(P#37), Core L#37(P#41), Node L#0(P#0), Socket L#0(P#0)
  38: PU L#152(P#38), Core L#38(P#42), Node L#0(P#0), Socket L#0(P#0)
  39: PU L#156(P#39), Core L#39(P#43), Node L#0(P#0), Socket L#0(P#0)
  40: PU L#160(P#40), Core L#40(P#44), Node L#0(P#0), Socket L#0(P#0)
  41: PU L#164(P#41), Core L#41(P#45), Node L#0(P#0), Socket L#0(P#0)
  42: PU L#168(P#42), Core L#42(P#46), Node L#0(P#0), Socket L#0(P#0)
  43: PU L#172(P#43), Core L#43(P#47), Node L#0(P#0), Socket L#0(P#0)
  44: PU L#176(P#44), Core L#44(P#48), Node L#0(P#0), Socket L#0(P#0)
  45: PU L#180(P#45), Core L#45(P#49), Node L#0(P#0), Socket L#0(P#0)
  46: PU L#184(P#46), Core L#46(P#50), Node L#0(P#0), Socket L#0(P#0)
  47: PU L#188(P#47), Core L#47(P#51), Node L#0(P#0), Socket L#0(P#0)
  48: PU L#192(P#48), Core L#48(P#52), Node L#0(P#0), Socket L#0(P#0)
  49: PU L#196(P#49), Core L#49(P#53), Node L#0(P#0), Socket L#0(P#0)
  50: PU L#200(P#50), Core L#50(P#54), Node L#0(P#0), Socket L#0(P#0)
  51: PU L#204(P#51), Core L#51(P#55), Node L#0(P#0), Socket L#0(P#0)
  52: PU L#208(P#52), Core L#52(P#56), Node L#0(P#0), Socket L#0(P#0)
  53: PU L#212(P#53), Core L#53(P#57), Node L#0(P#0), Socket L#0(P#0)
  54: PU L#216(P#54), Core L#54(P#60), Node L#0(P#0), Socket L#0(P#0)
  55: PU L#220(P#55), Core L#55(P#61), Node L#0(P#0), Socket L#0(P#0)
  56: PU L#224(P#56), Core L#56(P#62), Node L#0(P#0), Socket L#0(P#0)
  57: PU L#228(P#57), Core L#57(P#63), Node L#0(P#0), Socket L#0(P#0)
  58: PU L#232(P#58), Core L#58(P#64), Node L#0(P#0), Socket L#0(P#0)
  59: PU L#236(P#59), Core L#59(P#65), Node L#0(P#0), Socket L#0(P#0)
  60: PU L#240(P#60), Core L#60(P#68), Node L#0(P#0), Socket L#0(P#0)
  61: PU L#244(P#61), Core L#61(P#69), Node L#0(P#0), Socket L#0(P#0)
  62: PU L#248(P#62), Core L#62(P#70), Node L#0(P#0), Socket L#0(P#0)
  63: PU L#252(P#63), Core L#63(P#71), Node L#0(P#0), Socket L#0(P#0)
  64: PU L#256(P#64), Core L#64(P#72), Node L#0(P#0), Socket L#0(P#0)
  65: PU L#260(P#65), Core L#65(P#73), Node L#0(P#0), Socket L#0(P#0)
  66: PU L#264(P#66), Core L#66(P#74), Node L#0(P#0), Socket L#0(P#0)
  67: PU L#268(P#67), Core L#67(P#75), Node L#0(P#0), Socket L#0(P#0)
...
   Total: 119.315
   Computation: 3.09396
   Regrid: 6.89953
   Find Localities: 0.000116942

Bind: Balanced, numactl -m 0

numactl -m 0 /project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 --hpx:threads=68 --hpx:print-bind --hpx:bind balanced
*******************************************************************************
locality: 0
   0: PU L#0(P#0), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   1: PU L#4(P#1), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   2: PU L#8(P#2), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
   3: PU L#12(P#3), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
   4: PU L#16(P#4), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
   5: PU L#20(P#5), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
   6: PU L#24(P#6), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
   7: PU L#28(P#7), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
   8: PU L#32(P#8), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
   9: PU L#36(P#9), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  10: PU L#40(P#10), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  11: PU L#44(P#11), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  12: PU L#48(P#12), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  13: PU L#52(P#13), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  14: PU L#56(P#14), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  15: PU L#60(P#15), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  16: PU L#64(P#16), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  17: PU L#68(P#17), Core L#17(P#21), Node L#0(P#0), Socket L#0(P#0)
  18: PU L#72(P#18), Core L#18(P#22), Node L#0(P#0), Socket L#0(P#0)
  19: PU L#76(P#19), Core L#19(P#23), Node L#0(P#0), Socket L#0(P#0)
  20: PU L#80(P#20), Core L#20(P#24), Node L#0(P#0), Socket L#0(P#0)
  21: PU L#84(P#21), Core L#21(P#25), Node L#0(P#0), Socket L#0(P#0)
  22: PU L#88(P#22), Core L#22(P#26), Node L#0(P#0), Socket L#0(P#0)
  23: PU L#92(P#23), Core L#23(P#27), Node L#0(P#0), Socket L#0(P#0)
  24: PU L#96(P#24), Core L#24(P#28), Node L#0(P#0), Socket L#0(P#0)
  25: PU L#100(P#25), Core L#25(P#29), Node L#0(P#0), Socket L#0(P#0)
  26: PU L#104(P#26), Core L#26(P#30), Node L#0(P#0), Socket L#0(P#0)
  27: PU L#108(P#27), Core L#27(P#31), Node L#0(P#0), Socket L#0(P#0)
  28: PU L#112(P#28), Core L#28(P#32), Node L#0(P#0), Socket L#0(P#0)
  29: PU L#116(P#29), Core L#29(P#33), Node L#0(P#0), Socket L#0(P#0)
  30: PU L#120(P#30), Core L#30(P#34), Node L#0(P#0), Socket L#0(P#0)
  31: PU L#124(P#31), Core L#31(P#35), Node L#0(P#0), Socket L#0(P#0)
  32: PU L#128(P#32), Core L#32(P#36), Node L#0(P#0), Socket L#0(P#0)
  33: PU L#132(P#33), Core L#33(P#37), Node L#0(P#0), Socket L#0(P#0)
  34: PU L#136(P#34), Core L#34(P#38), Node L#0(P#0), Socket L#0(P#0)
  35: PU L#140(P#35), Core L#35(P#39), Node L#0(P#0), Socket L#0(P#0)
  36: PU L#144(P#36), Core L#36(P#40), Node L#0(P#0), Socket L#0(P#0)
  37: PU L#148(P#37), Core L#37(P#41), Node L#0(P#0), Socket L#0(P#0)
  38: PU L#152(P#38), Core L#38(P#42), Node L#0(P#0), Socket L#0(P#0)
  39: PU L#156(P#39), Core L#39(P#43), Node L#0(P#0), Socket L#0(P#0)
  40: PU L#160(P#40), Core L#40(P#44), Node L#0(P#0), Socket L#0(P#0)
  41: PU L#164(P#41), Core L#41(P#45), Node L#0(P#0), Socket L#0(P#0)
  42: PU L#168(P#42), Core L#42(P#46), Node L#0(P#0), Socket L#0(P#0)
  43: PU L#172(P#43), Core L#43(P#47), Node L#0(P#0), Socket L#0(P#0)
  44: PU L#176(P#44), Core L#44(P#48), Node L#0(P#0), Socket L#0(P#0)
  45: PU L#180(P#45), Core L#45(P#49), Node L#0(P#0), Socket L#0(P#0)
  46: PU L#184(P#46), Core L#46(P#50), Node L#0(P#0), Socket L#0(P#0)
  47: PU L#188(P#47), Core L#47(P#51), Node L#0(P#0), Socket L#0(P#0)
  48: PU L#192(P#48), Core L#48(P#52), Node L#0(P#0), Socket L#0(P#0)
  49: PU L#196(P#49), Core L#49(P#53), Node L#0(P#0), Socket L#0(P#0)
  50: PU L#200(P#50), Core L#50(P#54), Node L#0(P#0), Socket L#0(P#0)
  51: PU L#204(P#51), Core L#51(P#55), Node L#0(P#0), Socket L#0(P#0)
  52: PU L#208(P#52), Core L#52(P#56), Node L#0(P#0), Socket L#0(P#0)
  53: PU L#212(P#53), Core L#53(P#57), Node L#0(P#0), Socket L#0(P#0)
  54: PU L#216(P#54), Core L#54(P#60), Node L#0(P#0), Socket L#0(P#0)
  55: PU L#220(P#55), Core L#55(P#61), Node L#0(P#0), Socket L#0(P#0)
  56: PU L#224(P#56), Core L#56(P#62), Node L#0(P#0), Socket L#0(P#0)
  57: PU L#228(P#57), Core L#57(P#63), Node L#0(P#0), Socket L#0(P#0)
  58: PU L#232(P#58), Core L#58(P#64), Node L#0(P#0), Socket L#0(P#0)
  59: PU L#236(P#59), Core L#59(P#65), Node L#0(P#0), Socket L#0(P#0)
  60: PU L#240(P#60), Core L#60(P#68), Node L#0(P#0), Socket L#0(P#0)
  61: PU L#244(P#61), Core L#61(P#69), Node L#0(P#0), Socket L#0(P#0)
  62: PU L#248(P#62), Core L#62(P#70), Node L#0(P#0), Socket L#0(P#0)
  63: PU L#252(P#63), Core L#63(P#71), Node L#0(P#0), Socket L#0(P#0)
  64: PU L#256(P#64), Core L#64(P#72), Node L#0(P#0), Socket L#0(P#0)
  65: PU L#260(P#65), Core L#65(P#73), Node L#0(P#0), Socket L#0(P#0)
  66: PU L#264(P#66), Core L#66(P#74), Node L#0(P#0), Socket L#0(P#0)
  67: PU L#268(P#67), Core L#67(P#75), Node L#0(P#0), Socket L#0(P#0)
...
   Total: 118.767
   Computation: 5.59823
   Regrid: 6.8812
   Find Localities: 0.00011916

Bind: Balanced, numactl -m 1

numactl -m 1 /project/projectdirs/xpress/hpx-lsu-cori-II/mic-knl-build/octotiger-tcmalloc-Release/octotiger -Disableoutput -Problem=moving_star -Max_level=6 -Xscale=32 -Odt=0.5 -Stopstep=0 --hpx:threads=68 --hpx:print-bind --hpx:bind balanced
*******************************************************************************
locality: 0
   0: PU L#0(P#0), Core L#0(P#0), Node L#0(P#0), Socket L#0(P#0)
   1: PU L#4(P#1), Core L#1(P#1), Node L#0(P#0), Socket L#0(P#0)
   2: PU L#8(P#2), Core L#2(P#2), Node L#0(P#0), Socket L#0(P#0)
   3: PU L#12(P#3), Core L#3(P#3), Node L#0(P#0), Socket L#0(P#0)
   4: PU L#16(P#4), Core L#4(P#6), Node L#0(P#0), Socket L#0(P#0)
   5: PU L#20(P#5), Core L#5(P#7), Node L#0(P#0), Socket L#0(P#0)
   6: PU L#24(P#6), Core L#6(P#8), Node L#0(P#0), Socket L#0(P#0)
   7: PU L#28(P#7), Core L#7(P#9), Node L#0(P#0), Socket L#0(P#0)
   8: PU L#32(P#8), Core L#8(P#10), Node L#0(P#0), Socket L#0(P#0)
   9: PU L#36(P#9), Core L#9(P#11), Node L#0(P#0), Socket L#0(P#0)
  10: PU L#40(P#10), Core L#10(P#12), Node L#0(P#0), Socket L#0(P#0)
  11: PU L#44(P#11), Core L#11(P#13), Node L#0(P#0), Socket L#0(P#0)
  12: PU L#48(P#12), Core L#12(P#14), Node L#0(P#0), Socket L#0(P#0)
  13: PU L#52(P#13), Core L#13(P#15), Node L#0(P#0), Socket L#0(P#0)
  14: PU L#56(P#14), Core L#14(P#18), Node L#0(P#0), Socket L#0(P#0)
  15: PU L#60(P#15), Core L#15(P#19), Node L#0(P#0), Socket L#0(P#0)
  16: PU L#64(P#16), Core L#16(P#20), Node L#0(P#0), Socket L#0(P#0)
  17: PU L#68(P#17), Core L#17(P#21), Node L#0(P#0), Socket L#0(P#0)
  18: PU L#72(P#18), Core L#18(P#22), Node L#0(P#0), Socket L#0(P#0)
  19: PU L#76(P#19), Core L#19(P#23), Node L#0(P#0), Socket L#0(P#0)
  20: PU L#80(P#20), Core L#20(P#24), Node L#0(P#0), Socket L#0(P#0)
  21: PU L#84(P#21), Core L#21(P#25), Node L#0(P#0), Socket L#0(P#0)
  22: PU L#88(P#22), Core L#22(P#26), Node L#0(P#0), Socket L#0(P#0)
  23: PU L#92(P#23), Core L#23(P#27), Node L#0(P#0), Socket L#0(P#0)
  24: PU L#96(P#24), Core L#24(P#28), Node L#0(P#0), Socket L#0(P#0)
  25: PU L#100(P#25), Core L#25(P#29), Node L#0(P#0), Socket L#0(P#0)
  26: PU L#104(P#26), Core L#26(P#30), Node L#0(P#0), Socket L#0(P#0)
  27: PU L#108(P#27), Core L#27(P#31), Node L#0(P#0), Socket L#0(P#0)
  28: PU L#112(P#28), Core L#28(P#32), Node L#0(P#0), Socket L#0(P#0)
  29: PU L#116(P#29), Core L#29(P#33), Node L#0(P#0), Socket L#0(P#0)
  30: PU L#120(P#30), Core L#30(P#34), Node L#0(P#0), Socket L#0(P#0)
  31: PU L#124(P#31), Core L#31(P#35), Node L#0(P#0), Socket L#0(P#0)
  32: PU L#128(P#32), Core L#32(P#36), Node L#0(P#0), Socket L#0(P#0)
  33: PU L#132(P#33), Core L#33(P#37), Node L#0(P#0), Socket L#0(P#0)
  34: PU L#136(P#34), Core L#34(P#38), Node L#0(P#0), Socket L#0(P#0)
  35: PU L#140(P#35), Core L#35(P#39), Node L#0(P#0), Socket L#0(P#0)
  36: PU L#144(P#36), Core L#36(P#40), Node L#0(P#0), Socket L#0(P#0)
  37: PU L#148(P#37), Core L#37(P#41), Node L#0(P#0), Socket L#0(P#0)
  38: PU L#152(P#38), Core L#38(P#42), Node L#0(P#0), Socket L#0(P#0)
  39: PU L#156(P#39), Core L#39(P#43), Node L#0(P#0), Socket L#0(P#0)
  40: PU L#160(P#40), Core L#40(P#44), Node L#0(P#0), Socket L#0(P#0)
  41: PU L#164(P#41), Core L#41(P#45), Node L#0(P#0), Socket L#0(P#0)
  42: PU L#168(P#42), Core L#42(P#46), Node L#0(P#0), Socket L#0(P#0)
  43: PU L#172(P#43), Core L#43(P#47), Node L#0(P#0), Socket L#0(P#0)
  44: PU L#176(P#44), Core L#44(P#48), Node L#0(P#0), Socket L#0(P#0)
  45: PU L#180(P#45), Core L#45(P#49), Node L#0(P#0), Socket L#0(P#0)
  46: PU L#184(P#46), Core L#46(P#50), Node L#0(P#0), Socket L#0(P#0)
  47: PU L#188(P#47), Core L#47(P#51), Node L#0(P#0), Socket L#0(P#0)
  48: PU L#192(P#48), Core L#48(P#52), Node L#0(P#0), Socket L#0(P#0)
  49: PU L#196(P#49), Core L#49(P#53), Node L#0(P#0), Socket L#0(P#0)
  50: PU L#200(P#50), Core L#50(P#54), Node L#0(P#0), Socket L#0(P#0)
  51: PU L#204(P#51), Core L#51(P#55), Node L#0(P#0), Socket L#0(P#0)
  52: PU L#208(P#52), Core L#52(P#56), Node L#0(P#0), Socket L#0(P#0)
  53: PU L#212(P#53), Core L#53(P#57), Node L#0(P#0), Socket L#0(P#0)
  54: PU L#216(P#54), Core L#54(P#60), Node L#0(P#0), Socket L#0(P#0)
  55: PU L#220(P#55), Core L#55(P#61), Node L#0(P#0), Socket L#0(P#0)
  56: PU L#224(P#56), Core L#56(P#62), Node L#0(P#0), Socket L#0(P#0)
  57: PU L#228(P#57), Core L#57(P#63), Node L#0(P#0), Socket L#0(P#0)
  58: PU L#232(P#58), Core L#58(P#64), Node L#0(P#0), Socket L#0(P#0)
  59: PU L#236(P#59), Core L#59(P#65), Node L#0(P#0), Socket L#0(P#0)
  60: PU L#240(P#60), Core L#60(P#68), Node L#0(P#0), Socket L#0(P#0)
  61: PU L#244(P#61), Core L#61(P#69), Node L#0(P#0), Socket L#0(P#0)
  62: PU L#248(P#62), Core L#62(P#70), Node L#0(P#0), Socket L#0(P#0)
  63: PU L#252(P#63), Core L#63(P#71), Node L#0(P#0), Socket L#0(P#0)
  64: PU L#256(P#64), Core L#64(P#72), Node L#0(P#0), Socket L#0(P#0)
  65: PU L#260(P#65), Core L#65(P#73), Node L#0(P#0), Socket L#0(P#0)
  66: PU L#264(P#66), Core L#66(P#74), Node L#0(P#0), Socket L#0(P#0)
  67: PU L#268(P#67), Core L#67(P#75), Node L#0(P#0), Socket L#0(P#0)
...
   Total: 118.923
   Computation: 4.41642
   Regrid: 6.91154
   Find Localities: 0.000115123