ntt_kyber_123_4567_opt_a55.s

///
/// Copyright (c) 2022 Arm Limited
/// Copyright (c) 2022 Hanno Becker
/// Copyright (c) 2023 Amin Abdulrahman, Matthias Kannwischer
/// SPDX-License-Identifier: MIT
///
/// Permission is hereby granted, free of charge, to any person obtaining a copy
/// of this software and associated documentation files (the "Software"), to deal
/// in the Software without restriction, including without limitation the rights
/// to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
/// copies of the Software, and to permit persons to whom the Software is
/// furnished to do so, subject to the following conditions:
///
/// The above copyright notice and this permission notice shall be included in all
/// copies or substantial portions of the Software.
///
/// THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
/// IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
/// FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
/// AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
/// LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
/// OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
/// SOFTWARE.
///

// Needed to provide ASM_LOAD directive
#include <hal_env.h>

.macro mulmodq dst, src, const, idx0, idx1
        sqrdmulh t2.8h,   \src\().8h, \const\().h[\idx1]
        mul      \dst\().8h, \src\().8h, \const\().h[\idx0]
        mls      \dst\().8h, t2.8h,   consts.h[0]
.endm

.macro mulmod dst, src, const, const_twisted
        sqrdmulh t2.8h,   \src\().8h, \const_twisted\().8h
        mul      \dst\().8h, \src\().8h, \const\().8h
        mls      \dst\().8h, t2.8h,   consts.h[0]
.endm

.macro ct_butterfly a, b, root, idx0, idx1
        mulmodq tmp, \b, \root, \idx0, \idx1
        sub \b\().8h, \a\().8h, tmp.8h
        add \a\().8h, \a\().8h, tmp.8h
.endm

.macro ct_butterfly_v a, b, root, root_twisted
        mulmod tmp, \b, \root, \root_twisted
        sub \b\().8h, \a\().8h, tmp.8h
        add \a\().8h, \a\().8h, tmp.8h
.endm

.macro barrett_reduce a
        sqdmulh t0.8h, \a\().8h, consts.h[1]
        srshr   t0.8h, t0.8h, #11
        mls     \a\().8h, t0.8h, consts.h[0]
.endm

.macro load_roots_123
        ldr q_root0, [r_ptr0], #32
        ldr q_root1, [r_ptr0, #-16]
.endm

.macro load_next_roots_45
        ldr q_root0, [r_ptr0], #16
.endm

.macro load_next_roots_67
        ldr q_root0,    [r_ptr1], #(6*16)
        ldr q_root0_tw, [r_ptr1, #(-6*16 + 1*16)]
        ldr q_root1,    [r_ptr1, #(-6*16 + 2*16)]
        ldr q_root1_tw, [r_ptr1, #(-6*16 + 3*16)]
        ldr q_root2,    [r_ptr1, #(-6*16 + 4*16)]
        ldr q_root2_tw, [r_ptr1, #(-6*16 + 5*16)]
.endm

.macro transpose4 data
        trn1 t0.4s, \data\()0.4s, \data\()1.4s
        trn2 t1.4s, \data\()0.4s, \data\()1.4s
        trn1 t2.4s, \data\()2.4s, \data\()3.4s
        trn2 t3.4s, \data\()2.4s, \data\()3.4s

        trn2 \data\()2.2d, t0.2d, t2.2d
        trn2 \data\()3.2d, t1.2d, t3.2d
        trn1 \data\()0.2d, t0.2d, t2.2d
        trn1 \data\()1.2d, t1.2d, t3.2d
.endm

.macro transpose_single data_out, data_in
        trn1 \data_out\()0.4s, \data_in\()0.4s, \data_in\()1.4s
        trn2 \data_out\()1.4s, \data_in\()0.4s, \data_in\()1.4s
        trn1 \data_out\()2.4s, \data_in\()2.4s, \data_in\()3.4s
        trn2 \data_out\()3.4s, \data_in\()2.4s, \data_in\()3.4s
.endm

.macro save_gprs
        sub sp, sp, #(16*6)
        stp x19, x20, [sp, #16*0]
        stp x19, x20, [sp, #16*0]
        stp x21, x22, [sp, #16*1]
        stp x23, x24, [sp, #16*2]
        stp x25, x26, [sp, #16*3]
        stp x27, x28, [sp, #16*4]
        str x29, [sp, #16*5]
.endm

.macro restore_gprs
        ldp x19, x20, [sp, #16*0]
        ldp x21, x22, [sp, #16*1]
        ldp x23, x24, [sp, #16*2]
        ldp x25, x26, [sp, #16*3]
        ldp x27, x28, [sp, #16*4]
        ldr x29, [sp, #16*5]
        add sp, sp, #(16*6)
.endm

.macro save_vregs
        sub sp, sp, #(16*4)
        stp  d8,  d9, [sp, #16*0]
        stp d10, d11, [sp, #16*1]
        stp d12, d13, [sp, #16*2]
        stp d14, d15, [sp, #16*3]
.endm

.macro restore_vregs
        ldp  d8,  d9, [sp, #16*0]
        ldp d10, d11, [sp, #16*1]
        ldp d12, d13, [sp, #16*2]
        ldp d14, d15, [sp, #16*3]
        add sp, sp, #(16*4)
.endm

#define STACK_SIZE 16
#define STACK0 0

.macro restore a, loc
        ldr \a, [sp, #\loc]
.endm
.macro save loc, a
        str \a, [sp, #\loc]
.endm
.macro push_stack
        save_gprs
        save_vregs
        sub sp, sp, #STACK_SIZE
.endm

.macro pop_stack
        add sp, sp, #STACK_SIZE
        restore_vregs
        restore_gprs
.endm

.data
.p2align 4
roots:
        #include "ntt_kyber_123_45_67_twiddles.s"

        in      .req x0
        inp     .req x1
        count   .req x2
        r_ptr0  .req x3
        r_ptr1  .req x4
        xtmp    .req x5

        data0  .req v8
        data1  .req v9
        data2  .req v10
        data3  .req v11
        data4  .req v12
        data5  .req v13
        data6  .req v14
        data7  .req v15

        q_data0  .req q8
        q_data1  .req q9
        q_data2  .req q10
        q_data3  .req q11
        q_data4  .req q12
        q_data5  .req q13
        q_data6  .req q14
        q_data7  .req q15

        root0    .req v0
        root1    .req v1
        root2    .req v2
        root0_tw .req v4
        root1_tw .req v5
        root2_tw .req v6

        q_root0    .req q0
        q_root1    .req q1
        q_root2    .req q2
        q_root0_tw .req q4
        q_root1_tw .req q5
        q_root2_tw .req q6

        consts    .req v7
        q_consts  .req q7

        tmp .req v24
        t0  .req v25
        t1  .req v26
        t2  .req v27
        t3  .req v28

        .text
        .global ntt_kyber_123_4567_opt_a55
        .global _ntt_kyber_123_4567_opt_a55

.p2align 4
const_addr:
        .short 3329
        .short 20159
        .short 0
        .short 0
        .short 0
        .short 0
        .short 0
        .short 0

ntt_kyber_123_4567_opt_a55:
_ntt_kyber_123_4567_opt_a55:
        push_stack

        ASM_LOAD(r_ptr0, roots)
        ASM_LOAD(r_ptr1, roots_l56)
        ASM_LOAD(xtmp, const_addr)

        ld1 {consts.8h}, [xtmp]

        str in, [sp, #STACK0] // @slothy:writes=STACK0
        mov count, #4

        load_roots_123

        .p2align 2
                                           // Instructions:    10
                                           // Expected cycles: 17
                                           // Expected IPC:    0.59
                                           //
                                           // Cycle bound:     17.0
                                           // IPC bound:       0.59
                                           //
                                           // Wall time:     0.01s
                                           // User time:     0.01s
                                           //
                                           // ----- cycle (expected) ------>
                                           // 0                        25
                                           // |------------------------|----
        ldr q10, [x0, #0]                  // *.............................
        ldr q5, [x0, #64]                  // ..*...........................
        ldr q18, [x0, #128]                // ....*.........................
        ldr q15, [x0, #192]                // ......*.......................
        ldr q12, [x0, #256]                // ........*.....................
        ldr q23, [x0, #448]                // ..........*...................
        mul v16.8H, v12.8H, v0.H[0]        // ............*.................
        ldr q9, [x0, #320]                 // .............*................
        mul v8.8H, v23.8H, v0.H[0]         // ...............*..............
        ldr q31, [x0, #384]                // ................*.............

                                            // ------ cycle (expected) ------>
                                            // 0                        25
                                            // |------------------------|-----
        // ldr q10, [x0, #0]                // *..............................
        // ldr q5, [x0, #64]                // ..*............................
        // ldr q18, [x0, #128]              // ....*..........................
        // ldr q15, [x0, #192]              // ......*........................
        // ldr q12, [x0, #256]              // ........*......................
        // ldr q9, [x0, #320]               // .............*.................
        // mul v16.8H, v12.8H, v0.H[0]      // ............*..................
        // ldr q23, [x0, #448]              // ..........*....................
        // ldr q31, [x0, #384]              // ................*..............
        // mul v8.8H, v23.8H, v0.H[0]       // ...............*...............

        sub count, count, #1
layer123_start:
                                                // Instructions:    76
                                                // Expected cycles: 84
                                                // Expected IPC:    0.90
                                                //
                                                // Cycle bound:     84.0
                                                // IPC bound:       0.90
                                                //
                                                // Wall time:     2.40s
                                                // User time:     2.40s
                                                //
                                                // -------------------------------- cycle (expected) --------------------------------->
                                                // 0                        25                       50                       75
                                                // |------------------------|------------------------|------------------------|--------
        sqrdmulh v3.8H, v12.8H, v0.H[1]         // *...................................................................................
        sqrdmulh v12.8H, v9.8H, v0.H[1]         // .*..................................................................................
        mul v9.8H, v9.8H, v0.H[0]               // ..*.................................................................................
        sqrdmulh v17.8H, v31.8H, v0.H[1]        // ...*................................................................................
        mls v16.8H, v3.8H, v7.H[0]              // ....*...............................................................................
        mul v3.8H, v31.8H, v0.H[0]              // .....*..............................................................................
        mls v9.8H, v12.8H, v7.H[0]              // ......*.............................................................................
        sqrdmulh v12.8H, v23.8H, v0.H[1]        // .......*............................................................................
        sub v23.8H, v10.8H, v16.8H              // ........*...........................................................................
        mls v3.8H, v17.8H, v7.H[0]              // .........*..........................................................................
        sub v17.8H, v5.8H, v9.8H                // ..........*.........................................................................
        add v9.8H, v5.8H, v9.8H                 // ...........*........................................................................
        add v16.8H, v10.8H, v16.8H              // ............*.......................................................................
        sub v31.8H, v18.8H, v3.8H               // .............*......................................................................
        add v3.8H, v18.8H, v3.8H                // ..............*.....................................................................
        mls v8.8H, v12.8H, v7.H[0]              // ...............*....................................................................
        sqrdmulh v12.8H, v31.8H, v0.H[5]        // ................*...................................................................
        mul v31.8H, v31.8H, v0.H[4]             // .................*..................................................................
        sqrdmulh v10.8H, v3.8H, v0.H[3]         // ..................*.................................................................
        sub v5.8H, v15.8H, v8.8H                // ...................*................................................................
        add v8.8H, v15.8H, v8.8H                // ....................*...............................................................
        mls v31.8H, v12.8H, v7.H[0]             // .....................*..............................................................
        sqrdmulh v12.8H, v5.8H, v0.H[5]         // ......................*.............................................................
        mul v5.8H, v5.8H, v0.H[4]               // .......................*............................................................
        mul v3.8H, v3.8H, v0.H[2]               // ........................*...........................................................
        sub v18.8H, v23.8H, v31.8H              // .........................*..........................................................
        add v23.8H, v23.8H, v31.8H              // ..........................*.........................................................
        mls v5.8H, v12.8H, v7.H[0]              // ...........................*........................................................
        sqrdmulh v12.8H, v8.8H, v0.H[3]         // ............................*.......................................................
        mul v31.8H, v8.8H, v0.H[2]              // .............................*......................................................
        mls v3.8H, v10.8H, v7.H[0]              // ..............................*.....................................................
        sub v8.8H, v17.8H, v5.8H                // ...............................*....................................................
        add v17.8H, v17.8H, v5.8H               // ................................*...................................................
        mls v31.8H, v12.8H, v7.H[0]             // .................................*..................................................
        sub v12.8H, v16.8H, v3.8H               // ..................................*.................................................
        add v3.8H, v16.8H, v3.8H                // ...................................*................................................
        sqrdmulh v16.8H, v17.8H, v1.H[3]        // ....................................*...............................................
        sub v10.8H, v9.8H, v31.8H               // .....................................*..............................................
        add v9.8H, v9.8H, v31.8H                // ......................................*.............................................
        mul v17.8H, v17.8H, v1.H[2]             // .......................................*............................................
        sqrdmulh v31.8H, v10.8H, v1.H[1]        // ........................................*...........................................
        sqrdmulh v5.8H, v9.8H, v0.H[7]          // .........................................*..........................................
        mul v9.8H, v9.8H, v0.H[6]               // ..........................................*.........................................
        mul v10.8H, v10.8H, v1.H[0]             // ...........................................*........................................
        mls v17.8H, v16.8H, v7.H[0]             // ............................................*.......................................
        sqrdmulh v16.8H, v8.8H, v1.H[5]         // .............................................*......................................
        mls v9.8H, v5.8H, v7.H[0]               // ..............................................*.....................................
        mls v10.8H, v31.8H, v7.H[0]             // ...............................................*....................................
        sub v31.8H, v23.8H, v17.8H              // ................................................*...................................
        add v17.8H, v23.8H, v17.8H              // .................................................*..................................
        sub v23.8H, v3.8H, v9.8H                // ..................................................*.................................
        mul v8.8H, v8.8H, v1.H[4]               // ...................................................*................................
        add v3.8H, v3.8H, v9.8H                 // ....................................................*...............................
        sub v9.8H, v12.8H, v10.8H               // .....................................................*..............................
        add v12.8H, v12.8H, v10.8H              // ......................................................*.............................
        mls v8.8H, v16.8H, v7.H[0]              // .......................................................*............................
        str q3, [x0], #(16)                     // ........................................................*...........................
        ldr q10, [x0, #0]                       // .........................................................e..........................
        sub v3.8H, v18.8H, v8.8H                // ...........................................................*........................
        add v16.8H, v18.8H, v8.8H               // ............................................................*.......................
        str q23, [x0, #48]                      // .............................................................*......................
        ldr q5, [x0, #64]                       // ..............................................................e.....................
        str q12, [x0, #112]                     // ................................................................*...................
        ldr q18, [x0, #128]                     // .................................................................e..................
        str q9, [x0, #176]                      // ...................................................................*................
        ldr q15, [x0, #192]                     // ....................................................................e...............
        str q17, [x0, #240]                     // ......................................................................*.............
        ldr q12, [x0, #256]                     // .......................................................................e............
        str q31, [x0, #304]                     // .........................................................................*..........
        ldr q9, [x0, #320]                      // ..........................................................................e.........
        str q16, [x0, #368]                     // ............................................................................*.......
        mul v16.8H, v12.8H, v0.H[0]             // .............................................................................e......
        str q3, [x0, #432]                      // ..............................................................................*.....
        ldr q23, [x0, #448]                     // ...............................................................................e....
        ldr q31, [x0, #384]                     // .................................................................................e..
        mul v8.8H, v23.8H, v0.H[0]              // ...................................................................................e

                                                   // ------------------------------------------- cycle (expected) -------------------------------------------->
                                                   // 0                        25                       50                       75                       100
                                                   // |------------------------|------------------------|------------------------|------------------------|-----
        // ldr q8, [x0, #0]                        // e..........................'........................................................~.....................
        // ldr q9, [x0, #(1*(512/8))]              // .....e.....................'.............................................................~................
        // ldr q10, [x0, #(2*(512/8))]             // ........e..................'................................................................~.............
        // ldr q11, [x0, #(3*(512/8))]             // ...........e...............'...................................................................~..........
        // ldr q12, [x0, #(4*(512/8))]             // ..............e............'......................................................................~.......
        // ldr q13, [x0, #(5*(512/8))]             // .................e.........'.........................................................................~....
        // ldr q14, [x0, #(6*(512/8))]             // ........................e..'..............................................................................
        // ldr q15, [x0, #(7*(512/8))]             // ......................e....'..............................................................................
        // sqrdmulh v27.8h,   v12.8h, v0.h[1]      // ...........................*..............................................................................
        // mul      v24.8h, v12.8h, v0.h[0]        // ....................e......'............................................................................~.
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'...*..........................................................................
        // sub v12.8h, v8.8h, v24.8h               // ...........................'.......*......................................................................
        // add v8.8h, v8.8h, v24.8h                // ...........................'...........*..................................................................
        // sqrdmulh v27.8h,   v13.8h, v0.h[1]      // ...........................'*.............................................................................
        // mul      v24.8h, v13.8h, v0.h[0]        // ...........................'.*............................................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'.....*........................................................................
        // sub v13.8h, v9.8h, v24.8h               // ...........................'.........*....................................................................
        // add v9.8h, v9.8h, v24.8h                // ...........................'..........*...................................................................
        // sqrdmulh v27.8h,   v14.8h, v0.h[1]      // ...........................'..*...........................................................................
        // mul      v24.8h, v14.8h, v0.h[0]        // ...........................'....*.........................................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'........*.....................................................................
        // sub v14.8h, v10.8h, v24.8h              // ...........................'............*.................................................................
        // add v10.8h, v10.8h, v24.8h              // ...........................'.............*................................................................
        // sqrdmulh v27.8h,   v15.8h, v0.h[1]      // ...........................'......*.......................................................................
        // mul      v24.8h, v15.8h, v0.h[0]        // ..........................e'..............................................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'..............*...............................................................
        // sub v15.8h, v11.8h, v24.8h              // ...........................'..................*...........................................................
        // add v11.8h, v11.8h, v24.8h              // ...........................'...................*..........................................................
        // sqrdmulh v27.8h,   v10.8h, v0.h[3]      // ...........................'.................*............................................................
        // mul      v24.8h, v10.8h, v0.h[2]        // ...........................'.......................*......................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'.............................*................................................
        // sub v10.8h, v8.8h, v24.8h               // ...........................'.................................*............................................
        // add v8.8h, v8.8h, v24.8h                // ...........................'..................................*...........................................
        // sqrdmulh v27.8h,   v11.8h, v0.h[3]      // ...........................'...........................*..................................................
        // mul      v24.8h, v11.8h, v0.h[2]        // ...........................'............................*.................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'................................*.............................................
        // sub v11.8h, v9.8h, v24.8h               // ...........................'....................................*.........................................
        // add v9.8h, v9.8h, v24.8h                // ...........................'.....................................*........................................
        // sqrdmulh v27.8h,   v14.8h, v0.h[5]      // ...........................'...............*..............................................................
        // mul      v24.8h, v14.8h, v0.h[4]        // ...........................'................*.............................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'....................*.........................................................
        // sub v14.8h, v12.8h, v24.8h              // ...........................'........................*.....................................................
        // add v12.8h, v12.8h, v24.8h              // ...........................'.........................*....................................................
        // sqrdmulh v27.8h,   v15.8h, v0.h[5]      // ...........................'.....................*........................................................
        // mul      v24.8h, v15.8h, v0.h[4]        // ...........................'......................*.......................................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'..........................*...................................................
        // sub v15.8h, v13.8h, v24.8h              // ...........................'..............................*...............................................
        // add v13.8h, v13.8h, v24.8h              // ...........................'...............................*..............................................
        // sqrdmulh v27.8h,   v9.8h, v0.h[7]       // ...........................'........................................*.....................................
        // mul      v24.8h, v9.8h, v0.h[6]         // ...........................'.........................................*....................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'.............................................*................................
        // sub v9.8h, v8.8h, v24.8h                // ...........................'.................................................*............................
        // add v8.8h, v8.8h, v24.8h                // ...........................'...................................................*..........................
        // sqrdmulh v27.8h,   v11.8h, v1.h[1]      // ...........................'.......................................*......................................
        // mul      v24.8h, v11.8h, v1.h[0]        // ...........................'..........................................*...................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'..............................................*...............................
        // sub v11.8h, v10.8h, v24.8h              // ...........................'....................................................*.........................
        // add v10.8h, v10.8h, v24.8h              // ...........................'.....................................................*........................
        // sqrdmulh v27.8h,   v13.8h, v1.h[3]      // ...........................'...................................*..........................................
        // mul      v24.8h, v13.8h, v1.h[2]        // ...........................'......................................*.......................................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'...........................................*..................................
        // sub v13.8h, v12.8h, v24.8h              // ...........................'...............................................*..............................
        // add v12.8h, v12.8h, v24.8h              // ...........................'................................................*.............................
        // sqrdmulh v27.8h,   v15.8h, v1.h[5]      // ...........................'............................................*.................................
        // mul      v24.8h, v15.8h, v1.h[4]        // ...........................'..................................................*...........................
        // mls      v24.8h, v27.8h,   v7.h[0]      // ...........................'......................................................*.......................
        // sub v15.8h, v14.8h, v24.8h              // ..~........................'..........................................................*...................
        // add v14.8h, v14.8h, v24.8h              // ...~.......................'...........................................................*..................
        // str q8, [x0], #(16)                     // ...........................'.......................................................*......................
        // str q9, [x0, #(-16 + 1*(512/8))]        // ....~......................'............................................................*.................
        // str q10, [x0, #(-16 + 2*(512/8))]       // .......~...................'...............................................................*..............
        // str q11, [x0, #(-16 + 3*(512/8))]       // ..........~................'..................................................................*...........
        // str q12, [x0, #(-16 + 4*(512/8))]       // .............~.............'.....................................................................*........
        // str q13, [x0, #(-16 + 5*(512/8))]       // ................~..........'........................................................................*.....
        // str q14, [x0, #(-16 + 6*(512/8))]       // ...................~.......'...........................................................................*..
        // str q15, [x0, #(-16 + 7*(512/8))]       // .....................~.....'.............................................................................*

        sub count, count, #1
        cbnz count, layer123_start
                                                // Instructions:    66
                                                // Expected cycles: 67
                                                // Expected IPC:    0.99
                                                //
                                                // Cycle bound:     67.0
                                                // IPC bound:       0.99
                                                //
                                                // Wall time:     7.27s
                                                // User time:     7.27s
                                                //
                                                // ------------------------ cycle (expected) ------------------------>
                                                // 0                        25                       50
                                                // |------------------------|------------------------|----------------
        sqrdmulh v11.8H, v23.8H, v0.H[1]        // *..................................................................
        mul v19.8H, v31.8H, v0.H[0]             // .*.................................................................
        sqrdmulh v21.8H, v31.8H, v0.H[1]        // ..*................................................................
        mul v23.8H, v9.8H, v0.H[0]              // ...*...............................................................
        mls v8.8H, v11.8H, v7.H[0]              // ....*..............................................................
        sqrdmulh v17.8H, v9.8H, v0.H[1]         // .....*.............................................................
        mls v19.8H, v21.8H, v7.H[0]             // ......*............................................................
        sqrdmulh v4.8H, v12.8H, v0.H[1]         // .......*...........................................................
        add v30.8H, v15.8H, v8.8H               // ........*..........................................................
        mls v23.8H, v17.8H, v7.H[0]             // .........*.........................................................
        sub v20.8H, v18.8H, v19.8H              // ..........*........................................................
        sqrdmulh v9.8H, v30.8H, v0.H[3]         // ...........*.......................................................
        mul v12.8H, v30.8H, v0.H[2]             // ............*......................................................
        mul v31.8H, v20.8H, v0.H[4]             // .............*.....................................................
        sqrdmulh v17.8H, v20.8H, v0.H[5]        // ..............*....................................................
        mls v16.8H, v4.8H, v7.H[0]              // ...............*...................................................
        mls v12.8H, v9.8H, v7.H[0]              // ................*..................................................
        add v11.8H, v5.8H, v23.8H               // .................*.................................................
        mls v31.8H, v17.8H, v7.H[0]             // ..................*................................................
        sub v13.8H, v10.8H, v16.8H              // ...................*...............................................
        add v25.8H, v18.8H, v19.8H              // ....................*..............................................
        sub v3.8H, v11.8H, v12.8H               // .....................*.............................................
        add v18.8H, v13.8H, v31.8H              // ......................*............................................
        sub v28.8H, v13.8H, v31.8H              // .......................*...........................................
        mul v17.8H, v3.8H, v1.H[0]              // ........................*..........................................
        sqrdmulh v13.8H, v25.8H, v0.H[3]        // .........................*.........................................
        mul v21.8H, v25.8H, v0.H[2]             // ..........................*........................................
        sqrdmulh v9.8H, v3.8H, v1.H[1]          // ...........................*.......................................
        sub v3.8H, v15.8H, v8.8H                // ............................*......................................
        add v14.8H, v10.8H, v16.8H              // .............................*.....................................
        mls v21.8H, v13.8H, v7.H[0]             // ..............................*....................................
        sqrdmulh v13.8H, v3.8H, v0.H[5]         // ...............................*...................................
        mul v31.8H, v3.8H, v0.H[4]              // ................................*..................................
        mls v17.8H, v9.8H, v7.H[0]              // .................................*.................................
        sub v4.8H, v14.8H, v21.8H               // ..................................*................................
        sub v16.8H, v5.8H, v23.8H               // ...................................*...............................
        mls v31.8H, v13.8H, v7.H[0]             // ....................................*..............................
        sub v9.8H, v4.8H, v17.8H                // .....................................*.............................
        add v3.8H, v4.8H, v17.8H                // ......................................*............................
        add v17.8H, v11.8H, v12.8H              // .......................................*...........................
        str q9, [x0, #192]                      // ........................................*..........................
        add v9.8H, v16.8H, v31.8H               // .........................................*.........................
        str q3, [x0, #128]                      // ..........................................*........................
        sub v31.8H, v16.8H, v31.8H              // ...........................................*.......................
        sqrdmulh v5.8H, v9.8H, v1.H[3]          // ............................................*......................
        mul v8.8H, v9.8H, v1.H[2]               // .............................................*.....................
        add v4.8H, v14.8H, v21.8H               // ..............................................*....................
        sqrdmulh v12.8H, v31.8H, v1.H[5]        // ...............................................*...................
        mul v31.8H, v31.8H, v1.H[4]             // ................................................*..................
        mls v8.8H, v5.8H, v7.H[0]               // .................................................*.................
        sqrdmulh v3.8H, v17.8H, v0.H[7]         // ..................................................*................
        mul v9.8H, v17.8H, v0.H[6]              // ...................................................*...............
        mls v31.8H, v12.8H, v7.H[0]             // ....................................................*..............
        add v20.8H, v18.8H, v8.8H               // .....................................................*.............
        sub v17.8H, v18.8H, v8.8H               // ......................................................*............
        mls v9.8H, v3.8H, v7.H[0]               // .......................................................*...........
        str q20, [x0, #256]                     // ........................................................*..........
        add v3.8H, v28.8H, v31.8H               // .........................................................*.........
        str q17, [x0, #320]                     // ..........................................................*........
        sub v12.8H, v28.8H, v31.8H              // ...........................................................*.......
        str q3, [x0, #384]                      // ............................................................*......
        add v26.8H, v4.8H, v9.8H                // .............................................................*.....
        str q12, [x0, #448]                     // ..............................................................*....
        sub v17.8H, v4.8H, v9.8H                // ...............................................................*...
        str q26, [x0], #(16)                    // ................................................................*..
        str q17, [x0, #48]                      // ..................................................................*

                                                 // ------------------------ cycle (expected) ------------------------>
                                                 // 0                        25                       50
                                                 // |------------------------|------------------------|----------------
        // sqrdmulh v3.8H, v12.8H, v0.H[1]       // .......*...........................................................
        // sqrdmulh v12.8H, v9.8H, v0.H[1]       // .....*.............................................................
        // mul v9.8H, v9.8H, v0.H[0]             // ...*...............................................................
        // sqrdmulh v17.8H, v31.8H, v0.H[1]      // ..*................................................................
        // mls v16.8H, v3.8H, v7.H[0]            // ...............*...................................................
        // mul v3.8H, v31.8H, v0.H[0]            // .*.................................................................
        // mls v9.8H, v12.8H, v7.H[0]            // .........*.........................................................
        // sqrdmulh v12.8H, v23.8H, v0.H[1]      // *..................................................................
        // sub v23.8H, v10.8H, v16.8H            // ...................*...............................................
        // mls v3.8H, v17.8H, v7.H[0]            // ......*............................................................
        // sub v17.8H, v5.8H, v9.8H              // ...................................*...............................
        // add v9.8H, v5.8H, v9.8H               // .................*.................................................
        // add v16.8H, v10.8H, v16.8H            // .............................*.....................................
        // sub v31.8H, v18.8H, v3.8H             // ..........*........................................................
        // add v3.8H, v18.8H, v3.8H              // ....................*..............................................
        // mls v8.8H, v12.8H, v7.H[0]            // ....*..............................................................
        // sqrdmulh v12.8H, v31.8H, v0.H[5]      // ..............*....................................................
        // mul v31.8H, v31.8H, v0.H[4]           // .............*.....................................................
        // sqrdmulh v10.8H, v3.8H, v0.H[3]       // .........................*.........................................
        // sub v5.8H, v15.8H, v8.8H              // ............................*......................................
        // add v8.8H, v15.8H, v8.8H              // ........*..........................................................
        // mls v31.8H, v12.8H, v7.H[0]           // ..................*................................................
        // sqrdmulh v12.8H, v5.8H, v0.H[5]       // ...............................*...................................
        // mul v5.8H, v5.8H, v0.H[4]             // ................................*..................................
        // mul v3.8H, v3.8H, v0.H[2]             // ..........................*........................................
        // sub v18.8H, v23.8H, v31.8H            // .......................*...........................................
        // add v23.8H, v23.8H, v31.8H            // ......................*............................................
        // mls v5.8H, v12.8H, v7.H[0]            // ....................................*..............................
        // sqrdmulh v12.8H, v8.8H, v0.H[3]       // ...........*.......................................................
        // mul v31.8H, v8.8H, v0.H[2]            // ............*......................................................
        // mls v3.8H, v10.8H, v7.H[0]            // ..............................*....................................
        // sub v8.8H, v17.8H, v5.8H              // ...........................................*.......................
        // add v17.8H, v17.8H, v5.8H             // .........................................*.........................
        // mls v31.8H, v12.8H, v7.H[0]           // ................*..................................................
        // sub v12.8H, v16.8H, v3.8H             // ..................................*................................
        // add v3.8H, v16.8H, v3.8H              // ..............................................*....................
        // sqrdmulh v16.8H, v17.8H, v1.H[3]      // ............................................*......................
        // sub v10.8H, v9.8H, v31.8H             // .....................*.............................................
        // add v9.8H, v9.8H, v31.8H              // .......................................*...........................
        // mul v17.8H, v17.8H, v1.H[2]           // .............................................*.....................
        // sqrdmulh v31.8H, v10.8H, v1.H[1]      // ...........................*.......................................
        // sqrdmulh v5.8H, v9.8H, v0.H[7]        // ..................................................*................
        // mul v9.8H, v9.8H, v0.H[6]             // ...................................................*...............
        // mul v10.8H, v10.8H, v1.H[0]           // ........................*..........................................
        // mls v17.8H, v16.8H, v7.H[0]           // .................................................*.................
        // sqrdmulh v16.8H, v8.8H, v1.H[5]       // ...............................................*...................
        // mls v9.8H, v5.8H, v7.H[0]             // .......................................................*...........
        // mls v10.8H, v31.8H, v7.H[0]           // .................................*.................................
        // sub v31.8H, v23.8H, v17.8H            // ......................................................*............
        // add v17.8H, v23.8H, v17.8H            // .....................................................*.............
        // sub v23.8H, v3.8H, v9.8H              // ...............................................................*...
        // mul v8.8H, v8.8H, v1.H[4]             // ................................................*..................
        // add v3.8H, v3.8H, v9.8H               // .............................................................*.....
        // sub v9.8H, v12.8H, v10.8H             // .....................................*.............................
        // add v12.8H, v12.8H, v10.8H            // ......................................*............................
        // mls v8.8H, v16.8H, v7.H[0]            // ....................................................*..............
        // str q3, [x0], #(16)                   // ................................................................*..
        // sub v3.8H, v18.8H, v8.8H              // ...........................................................*.......
        // add v16.8H, v18.8H, v8.8H             // .........................................................*.........
        // str q23, [x0, #48]                    // ..................................................................*
        // str q12, [x0, #112]                   // ..........................................*........................
        // str q9, [x0, #176]                    // ........................................*..........................
        // str q17, [x0, #240]                   // ........................................................*..........
        // str q31, [x0, #304]                   // ..........................................................*........
        // str q16, [x0, #368]                   // ............................................................*......
        // str q3, [x0, #432]                    // ..............................................................*....


        ldr inp, [sp, #STACK0] // @slothy:reads=STACK0
        mov count, #8

        .p2align 2
                                                // Instructions:    18
                                                // Expected cycles: 25
                                                // Expected IPC:    0.72
                                                //
                                                // Cycle bound:     25.0
                                                // IPC bound:       0.72
                                                //
                                                // Wall time:     0.04s
                                                // User time:     0.04s
                                                //
                                                // ----- cycle (expected) ------>
                                                // 0                        25
                                                // |------------------------|----
        ldr q3, [x1, #48]                       // *.............................
        ldr q6, [x3], #16                       // ..*...........................
        ldr q12, [x1, #16]                      // ....*.........................
        mul v9.8H, v3.8H, v6.H[0]               // ......*.......................
        sqrdmulh v3.8H, v3.8H, v6.H[1]          // .......*......................
        ldr q31, [x1, #0]                       // ........*.....................
        ldr q17, [x1, #32]                      // ..........*...................
        mls v9.8H, v3.8H, v7.H[0]               // ............*.................
        ldr q10, [x4, #80]                      // .............*................
        sqrdmulh v3.8H, v17.8H, v6.H[1]         // ...............*..............
        add v14.8H, v12.8H, v9.8H               // ................*.............
        sub v12.8H, v12.8H, v9.8H               // .................*............
        mul v21.8H, v17.8H, v6.H[0]             // ..................*...........
        ldr q11, [x4, #64]                      // ...................*..........
        mul v26.8H, v12.8H, v6.H[4]             // .....................*........
        mls v21.8H, v3.8H, v7.H[0]              // ......................*.......
        sqrdmulh v15.8H, v12.8H, v6.H[5]        // .......................*......
        ldr q18, [x4, #48]                      // ........................*.....

                                                 // ------ cycle (expected) ------>
                                                 // 0                        25
                                                 // |------------------------|-----
        // ldr q15, [x1, #48]                    // *..............................
        // ldr q13, [x1, #16]                    // ....*..........................
        // ldr q6, [x3], #16                     // ..*............................
        // mul v19.8H, v15.8H, v6.H[0]           // ......*........................
        // ldr q31, [x1, #0]                     // ........*......................
        // ldr q10, [x4, #80]                    // .............*.................
        // ldr q20, [x1, #32]                    // ..........*....................
        // sqrdmulh v9.8H, v20.8H, v6.H[1]       // ...............*...............
        // sqrdmulh v3.8H, v15.8H, v6.H[1]       // .......*.......................
        // mul v21.8H, v20.8H, v6.H[0]           // ..................*............
        // mls v21.8H, v9.8H, v7.H[0]            // ......................*........
        // mls v19.8H, v3.8H, v7.H[0]            // ............*..................
        // ldr q11, [x4, #64]                    // ...................*...........
        // add v14.8H, v13.8H, v19.8H            // ................*..............
        // ldr q18, [x4, #48]                    // ........................*......
        // sub v15.8H, v13.8H, v19.8H            // .................*.............
        // mul v26.8H, v15.8H, v6.H[4]           // .....................*.........
        // sqrdmulh v15.8H, v15.8H, v6.H[5]      // .......................*.......

        sub count, count, #1
layer4567_start:
                                                               // Instructions:    72
                                                               // Expected cycles: 87
                                                               // Expected IPC:    0.83
                                                               //
                                                               // Cycle bound:     87.0
                                                               // IPC bound:       0.83
                                                               //
                                                               // Wall time:     154.77s
                                                               // User time:     154.77s
                                                               //
                                                               // ---------------------------------- cycle (expected) ---------------------------------->
                                                               // 0                        25                       50                       75
                                                               // |------------------------|------------------------|------------------------|-----------
        ldr q4, [x4, #16]                                      // *......................................................................................
        sqrdmulh v19.8H, v14.8H, v6.H[3]                       // ..*....................................................................................
        mul v29.8H, v14.8H, v6.H[2]                            // ...*...................................................................................
        sub v3.8H, v31.8H, v21.8H                              // ....*..................................................................................
        mls v26.8H, v15.8H, v7.H[0]                            // .....*.................................................................................
        ldr q2, [x4], #(6*16)                                  // ......*................................................................................
        mls v29.8H, v19.8H, v7.H[0]                            // ........*..............................................................................
        add v15.8H, v31.8H, v21.8H                             // .........*.............................................................................
        sub v5.8H, v3.8H, v26.8H                               // ..........*............................................................................
        add v25.8H, v3.8H, v26.8H                              // ...........*...........................................................................
        add v26.8H, v15.8H, v29.8H                             // ............*..........................................................................
        sub v27.8H, v15.8H, v29.8H                             // .............*.........................................................................
        trn2 v20.4S, v25.4S, v5.4S                             // ..............*........................................................................
        trn1 v14.4S, v25.4S, v5.4S                             // ...............*.......................................................................
        trn2 v16.4S, v26.4S, v27.4S                            // ................*......................................................................
        ldr q15, [x1, #112]                                    // .................e.....................................................................
        trn2 v17.2D, v16.2D, v20.2D                            // ...................*...................................................................
        ldr q13, [x1, #80]                                     // ....................e..................................................................
        sqrdmulh v12.8H, v17.8H, v4.8H                         // ......................*................................................................
        mul v28.8H, v17.8H, v2.8H                              // .......................*...............................................................
        trn1 v9.2D, v16.2D, v20.2D                             // ........................*..............................................................
        ldr q6, [x3], #16                                      // .........................e.............................................................
        mls v28.8H, v12.8H, v7.H[0]                            // ...........................*...........................................................
        ldr q5, [x4, #-64]                                     // ............................*..........................................................
        mul v19.8H, v15.8H, v6.H[0]                            // ..............................e........................................................
        sub v12.8H, v9.8H, v28.8H                              // ...............................*.......................................................
        add v9.8H, v9.8H, v28.8H                               // ................................*......................................................
        ldr q31, [x1, #64]                                     // .................................e.....................................................
        sqrdmulh v3.8H, v12.8H, v10.8H                         // ...................................*...................................................
        ldr q10, [x4, #80]                                     // ....................................e..................................................
        sqrdmulh v25.8H, v9.8H, v18.8H                         // ......................................*................................................
        trn1 v30.4S, v26.4S, v27.4S                            // .......................................*...............................................
        ldr q20, [x1, #96]                                     // ........................................e..............................................
        trn2 v17.2D, v30.2D, v14.2D                            // ..........................................*............................................
        trn1 v16.2D, v30.2D, v14.2D                            // ...........................................*...........................................
        sqrdmulh v18.8H, v17.8H, v4.8H                         // ............................................*..........................................
        mul v21.8H, v17.8H, v2.8H                              // .............................................*.........................................
        mul v29.8H, v12.8H, v11.8H                             // ..............................................*........................................
        mul v28.8H, v9.8H, v5.8H                               // ...............................................*.......................................
        sqrdmulh v9.8H, v20.8H, v6.H[1]                        // ................................................e......................................
        mls v21.8H, v18.8H, v7.H[0]                            // .................................................*.....................................
        mls v29.8H, v3.8H, v7.H[0]                             // ..................................................*....................................
        mls v28.8H, v25.8H, v7.H[0]                            // ...................................................*...................................
        sqrdmulh v3.8H, v15.8H, v6.H[1]                        // ....................................................e..................................
        add v30.8H, v16.8H, v21.8H                             // .....................................................*.................................
        sub v15.8H, v16.8H, v21.8H                             // ......................................................*................................
        mul v21.8H, v20.8H, v6.H[0]                            // .......................................................e...............................
        add v24.8H, v30.8H, v28.8H                             // ........................................................*..............................
        sub v27.8H, v15.8H, v29.8H                             // .........................................................*.............................
        sub v25.8H, v30.8H, v28.8H                             // ..........................................................*............................
        sqdmulh v16.8H, v24.8H, v7.H[1]                        // ...........................................................*...........................
        sqdmulh v12.8H, v27.8H, v7.H[1]                        // ............................................................*..........................
        sqdmulh v0.8H, v25.8H, v7.H[1]                         // .............................................................*.........................
        mls v21.8H, v9.8H, v7.H[0]                             // ..............................................................e........................
        srshr v9.8H, v16.8H, #11                               // ...............................................................*.......................
        srshr v30.8H, v12.8H, #11                              // ................................................................*......................
        srshr v1.8H, v0.8H, #11                                // .................................................................*.....................
        add v26.8H, v15.8H, v29.8H                             // ..................................................................*....................
        mls v27.8H, v30.8H, v7.H[0]                            // ...................................................................*...................
        mls v25.8H, v1.8H, v7.H[0]                             // ....................................................................*..................
        sqdmulh v14.8H, v26.8H, v7.H[1]                        // .....................................................................*.................
        mls v19.8H, v3.8H, v7.H[0]                             // ......................................................................e................
        ldr q11, [x4, #64]                                     // .......................................................................e...............
        srshr v8.8H, v14.8H, #11                               // .........................................................................*.............
        add v14.8H, v13.8H, v19.8H                             // ..........................................................................e............
        mls v24.8H, v9.8H, v7.H[0]                             // ...........................................................................*...........
        mls v26.8H, v8.8H, v7.H[0]                             // ............................................................................*..........
        ldr q18, [x4, #48]                                     // .............................................................................e.........
        sub v15.8H, v13.8H, v19.8H                             // ...............................................................................e.......
        st4 {v24.4S, v25.4S, v26.4S, v27.4S}, [x1], #64        // ................................................................................*......
        mul v26.8H, v15.8H, v6.H[4]                            // .....................................................................................e.
        sqrdmulh v15.8H, v15.8H, v6.H[5]                       // ......................................................................................e

                                                              // ------------------------------------------------------------------ cycle (expected) ------------------------------------------------------------------>
                                                              // 0                        25                       50                       75                       100                      125
                                                              // |------------------------|------------------------|------------------------|------------------------|------------------------|-------------------------
        // ldr q8, [x1, #(16*0)]                              // ................e.....................................................'................................~...............................................
        // ldr q9, [x1, #(16*1)]                              // ...e..................................................................'...................~............................................................
        // ldr q10, [x1, #(16*2)]                             // .......................e..............................................'.......................................~........................................
        // ldr q11, [x1, #(16*3)]                             // e.....................................................................'................~...............................................................
        // ldr q0, [x3], #16                                  // ........e.............................................................'........................~.......................................................
        // sqrdmulh v27.8h,   v10.8h, v0.h[1]                 // ...............................e......................................'...............................................~................................
        // mul      v24.8h, v10.8h, v0.h[0]                   // ......................................e...............................'......................................................~.........................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // .............................................e........................'.............................................................~..................
        // sub v10.8h, v8.8h, v24.8h                          // ......................................................................'...*............................................................................
        // add v8.8h, v8.8h, v24.8h                           // ......................................................................'........*.......................................................................
        // sqrdmulh v27.8h,   v11.8h, v0.h[1]                 // ...................................e..................................'...................................................~............................
        // mul      v24.8h, v11.8h, v0.h[0]                   // .............e........................................................'.............................~..................................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // .....................................................e................'.....................................................................~..........
        // sub v11.8h, v9.8h, v24.8h                          // ..............................................................e.......'..............................................................................~.
        // add v9.8h, v9.8h, v24.8h                           // .........................................................e............'.........................................................................~......
        // sqrdmulh v27.8h,   v9.8h, v0.h[3]                  // ......................................................................'.*..............................................................................
        // mul      v24.8h, v9.8h, v0.h[2]                    // ......................................................................'..*.............................................................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // ......................................................................'.......*........................................................................
        // sub v9.8h, v8.8h, v24.8h                           // ......................................................................'............*...................................................................
        // add v8.8h, v8.8h, v24.8h                           // ......................................................................'...........*....................................................................
        // sqrdmulh v27.8h,   v11.8h, v0.h[5]                 // .....................................................................e'................................................................................
        // mul      v24.8h, v11.8h, v0.h[4]                   // ....................................................................e.'................................................................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // ......................................................................'....*...........................................................................
        // sub v11.8h, v10.8h, v24.8h                         // ......................................................................'.........*......................................................................
        // add v10.8h, v10.8h, v24.8h                         // ......................................................................'..........*.....................................................................
        // trn1 v25.4s, v8.4s, v9.4s                          // ......................~...............................................'......................................*.........................................
        // trn2 v26.4s, v8.4s, v9.4s                          // ......................................................................'...............*................................................................
        // trn1 v27.4s, v10.4s, v11.4s                        // ......................................................................'..............*.................................................................
        // trn2 v28.4s, v10.4s, v11.4s                        // ......................................................................'.............*..................................................................
        // trn2 v10.2d, v25.2d, v27.2d                        // .........................~............................................'.........................................*......................................
        // trn2 v11.2d, v26.2d, v28.2d                        // ..~...................................................................'..................*.............................................................
        // trn1 v8.2d, v25.2d, v27.2d                         // ..........................~...........................................'..........................................*.....................................
        // trn1 v9.2d, v26.2d, v28.2d                         // .......~..............................................................'.......................*........................................................
        // ldr q0,    [x4], #(6*16)                           // ......................................................................'.....*..........................................................................
        // ldr q4, [x4, #(-6*16 + 1*16)]                      // ......................................................................*................................................................................
        // ldr q1,    [x4, #(-6*16 + 2*16)]                   // ...........~..........................................................'...........................*....................................................
        // ldr q5, [x4, #(-6*16 + 3*16)]                      // ............................................................e.........'............................................................................~...
        // ldr q2,    [x4, #(-6*16 + 4*16)]                   // ......................................................e...............'......................................................................~.........
        // ldr q6, [x4, #(-6*16 + 5*16)]                      // ...................e..................................................'...................................~............................................
        // sqrdmulh v27.8h,   v10.8h, v4.8h                   // ...........................~..........................................'...........................................*....................................
        // mul      v24.8h, v10.8h, v0.8h                     // ............................~.........................................'............................................*...................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // ................................~.....................................'................................................*...............................
        // sub v10.8h, v8.8h, v24.8h                          // .....................................~................................'.....................................................*..........................
        // add v8.8h, v8.8h, v24.8h                           // ....................................~.................................'....................................................*...........................
        // sqrdmulh v27.8h,   v11.8h, v4.8h                   // .....~................................................................'.....................*..........................................................
        // mul      v24.8h, v11.8h, v0.8h                     // ......~...............................................................'......................*.........................................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // ..........~...........................................................'..........................*.....................................................
        // sub v11.8h, v9.8h, v24.8h                          // ..............~.......................................................'..............................*.................................................
        // add v9.8h, v9.8h, v24.8h                           // ...............~......................................................'...............................*................................................
        // sqrdmulh v27.8h,   v9.8h, v5.8h                    // .....................~................................................'.....................................*..........................................
        // mul      v24.8h, v9.8h, v1.8h                      // ..............................~.......................................'..............................................*.................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // ..................................~...................................'..................................................*.............................
        // sub v9.8h, v8.8h, v24.8h                           // .........................................~............................'.........................................................*......................
        // add v8.8h, v8.8h, v24.8h                           // .......................................~..............................'.......................................................*........................
        // sqrdmulh v27.8h,   v11.8h, v6.8h                   // ..................~...................................................'..................................*.............................................
        // mul      v24.8h, v11.8h, v2.8h                     // .............................~........................................'.............................................*..................................
        // mls      v24.8h, v27.8h,   v7.h[0]                 // .................................~....................................'.................................................*..............................
        // sub v11.8h, v10.8h, v24.8h                         // ........................................~.............................'........................................................*.......................
        // add v10.8h, v10.8h, v24.8h                         // .................................................~....................'.................................................................*..............
        // sqdmulh v25.8h, v8.8h, v7.h[1]                     // ..........................................~...........................'..........................................................*.....................
        // srshr   v25.8h, v25.8h, #11                        // ..............................................~.......................'..............................................................*.................
        // mls     v8.8h, v25.8h, v7.h[0]                     // ..........................................................~...........'..........................................................................*.....
        // sqdmulh v25.8h, v9.8h, v7.h[1]                     // ............................................~.........................'............................................................*...................
        // srshr   v25.8h, v25.8h, #11                        // ................................................~.....................'................................................................*...............
        // mls     v9.8h, v25.8h, v7.h[0]                     // ...................................................~..................'...................................................................*............
        // sqdmulh v25.8h, v10.8h, v7.h[1]                    // ....................................................~.................'....................................................................*...........
        // srshr   v25.8h, v25.8h, #11                        // ........................................................~.............'........................................................................*.......
        // mls     v10.8h, v25.8h, v7.h[0]                    // ...........................................................~..........'...........................................................................*....
        // sqdmulh v25.8h, v11.8h, v7.h[1]                    // ...........................................~..........................'...........................................................*....................
        // srshr   v25.8h, v25.8h, #11                        // ...............................................~......................'...............................................................*................
        // mls     v11.8h, v25.8h, v7.h[0]                    // ..................................................~...................'..................................................................*.............
        // st4 {v8.4S, v9.4S, v10.4S, v11.4S}, [x1], #64      // ...............................................................~......'...............................................................................*

        sub count, count, #1
        cbnz count, layer4567_start
                                                               // Instructions:    54
                                                               // Expected cycles: 60
                                                               // Expected IPC:    0.90
                                                               //
                                                               // Cycle bound:     60.0
                                                               // IPC bound:       0.90
                                                               //
                                                               // Wall time:     5.15s
                                                               // User time:     5.15s
                                                               //
                                                               // -------------------- cycle (expected) --------------------->
                                                               // 0                        25                       50
                                                               // |------------------------|------------------------|---------
        mul v17.8H, v14.8H, v6.H[2]                            // *...........................................................
        sqrdmulh v1.8H, v14.8H, v6.H[3]                        // .*..........................................................
        mls v26.8H, v15.8H, v7.H[0]                            // ..*.........................................................
        sub v12.8H, v31.8H, v21.8H                             // ...*........................................................
        add v9.8H, v31.8H, v21.8H                              // ....*.......................................................
        mls v17.8H, v1.8H, v7.H[0]                             // .....*......................................................
        add v3.8H, v12.8H, v26.8H                              // ......*.....................................................
        ldr q8, [x4, #16]                                      // .......*....................................................
        sub v12.8H, v12.8H, v26.8H                             // .........*..................................................
        add v1.8H, v9.8H, v17.8H                               // ..........*.................................................
        sub v9.8H, v9.8H, v17.8H                               // ...........*................................................
        trn2 v17.4S, v3.4S, v12.4S                             // ............*...............................................
        trn1 v31.4S, v3.4S, v12.4S                             // .............*..............................................
        trn2 v12.4S, v1.4S, v9.4S                              // ..............*.............................................
        ldr q23, [x4], #(6*16)                                 // ...............*............................................
        trn2 v3.2D, v12.2D, v17.2D                             // .................*..........................................
        trn1 v1.4S, v1.4S, v9.4S                               // ..................*.........................................
        mul v16.8H, v3.8H, v23.8H                              // ...................*........................................
        sqrdmulh v9.8H, v3.8H, v8.8H                           // ....................*.......................................
        trn2 v3.2D, v1.2D, v31.2D                              // .....................*......................................
        trn1 v17.2D, v12.2D, v17.2D                            // ......................*.....................................
        mul v12.8H, v3.8H, v23.8H                              // .......................*....................................
        mls v16.8H, v9.8H, v7.H[0]                             // ........................*...................................
        sqrdmulh v3.8H, v3.8H, v8.8H                           // .........................*..................................
        ldr q9, [x4, #-64]                                     // ..........................*.................................
        sub v23.8H, v17.8H, v16.8H                             // ............................*...............................
        mls v12.8H, v3.8H, v7.H[0]                             // .............................*..............................
        add v16.8H, v17.8H, v16.8H                             // ..............................*.............................
        sqrdmulh v3.8H, v23.8H, v10.8H                         // ...............................*............................
        mul v17.8H, v23.8H, v11.8H                             // ................................*...........................
        mul v9.8H, v16.8H, v9.8H                               // .................................*..........................
        sqrdmulh v16.8H, v16.8H, v18.8H                        // ..................................*.........................
        trn1 v1.2D, v1.2D, v31.2D                              // ...................................*........................
        mls v17.8H, v3.8H, v7.H[0]                             // ....................................*.......................
        sub v3.8H, v1.8H, v12.8H                               // .....................................*......................
        mls v9.8H, v16.8H, v7.H[0]                             // ......................................*.....................
        add v12.8H, v1.8H, v12.8H                              // .......................................*....................
        sub v26.8H, v3.8H, v17.8H                              // ........................................*...................
        add v25.8H, v3.8H, v17.8H                              // .........................................*..................
        add v23.8H, v12.8H, v9.8H                              // ..........................................*.................
        sub v24.8H, v12.8H, v9.8H                              // ...........................................*................
        sqdmulh v3.8H, v25.8H, v7.H[1]                         // ............................................*...............
        sqdmulh v17.8H, v23.8H, v7.H[1]                        // .............................................*..............
        sqdmulh v12.8H, v24.8H, v7.H[1]                        // ..............................................*.............
        sqdmulh v9.8H, v26.8H, v7.H[1]                         // ...............................................*............
        srshr v3.8H, v3.8H, #11                                // ................................................*...........
        srshr v17.8H, v17.8H, #11                              // .................................................*..........
        srshr v12.8H, v12.8H, #11                              // ..................................................*.........
        mls v25.8H, v3.8H, v7.H[0]                             // ...................................................*........
        srshr v9.8H, v9.8H, #11                                // ....................................................*.......
        mls v23.8H, v17.8H, v7.H[0]                            // .....................................................*......
        mls v24.8H, v12.8H, v7.H[0]                            // ......................................................*.....
        mls v26.8H, v9.8H, v7.H[0]                             // .......................................................*....
        st4 {v23.4S, v24.4S, v25.4S, v26.4S}, [x1], #64        // ...........................................................*

                                                                // -------------------- cycle (expected) --------------------->
                                                                // 0                        25                       50
                                                                // |------------------------|------------------------|---------
        // ldr q4, [x4, #16]                                    // .......*....................................................
        // sqrdmulh v19.8H, v14.8H, v6.H[3]                     // .*..........................................................
        // mul v29.8H, v14.8H, v6.H[2]                          // *...........................................................
        // sub v3.8H, v31.8H, v21.8H                            // ...*........................................................
        // mls v26.8H, v15.8H, v7.H[0]                          // ..*.........................................................
        // ldr q2, [x4], #(6*16)                                // ...............*............................................
        // mls v29.8H, v19.8H, v7.H[0]                          // .....*......................................................
        // add v15.8H, v31.8H, v21.8H                           // ....*.......................................................
        // sub v5.8H, v3.8H, v26.8H                             // .........*..................................................
        // add v25.8H, v3.8H, v26.8H                            // ......*.....................................................
        // add v26.8H, v15.8H, v29.8H                           // ..........*.................................................
        // sub v27.8H, v15.8H, v29.8H                           // ...........*................................................
        // trn2 v20.4S, v25.4S, v5.4S                           // ............*...............................................
        // trn1 v14.4S, v25.4S, v5.4S                           // .............*..............................................
        // trn2 v16.4S, v26.4S, v27.4S                          // ..............*.............................................
        // trn2 v17.2D, v16.2D, v20.2D                          // .................*..........................................
        // sqrdmulh v12.8H, v17.8H, v4.8H                       // ....................*.......................................
        // mul v28.8H, v17.8H, v2.8H                            // ...................*........................................
        // trn1 v9.2D, v16.2D, v20.2D                           // ......................*.....................................
        // mls v28.8H, v12.8H, v7.H[0]                          // ........................*...................................
        // ldr q5, [x4, #-64]                                   // ..........................*.................................
        // sub v12.8H, v9.8H, v28.8H                            // ............................*...............................
        // add v9.8H, v9.8H, v28.8H                             // ..............................*.............................
        // sqrdmulh v3.8H, v12.8H, v10.8H                       // ...............................*............................
        // sqrdmulh v25.8H, v9.8H, v18.8H                       // ..................................*.........................
        // trn1 v30.4S, v26.4S, v27.4S                          // ..................*.........................................
        // trn2 v17.2D, v30.2D, v14.2D                          // .....................*......................................
        // trn1 v16.2D, v30.2D, v14.2D                          // ...................................*........................
        // sqrdmulh v18.8H, v17.8H, v4.8H                       // .........................*..................................
        // mul v21.8H, v17.8H, v2.8H                            // .......................*....................................
        // mul v29.8H, v12.8H, v11.8H                           // ................................*...........................
        // mul v28.8H, v9.8H, v5.8H                             // .................................*..........................
        // mls v21.8H, v18.8H, v7.H[0]                          // .............................*..............................
        // mls v29.8H, v3.8H, v7.H[0]                           // ....................................*.......................
        // mls v28.8H, v25.8H, v7.H[0]                          // ......................................*.....................
        // add v30.8H, v16.8H, v21.8H                           // .......................................*....................
        // sub v15.8H, v16.8H, v21.8H                           // .....................................*......................
        // add v24.8H, v30.8H, v28.8H                           // ..........................................*.................
        // sub v27.8H, v15.8H, v29.8H                           // ........................................*...................
        // sub v25.8H, v30.8H, v28.8H                           // ...........................................*................
        // sqdmulh v16.8H, v24.8H, v7.H[1]                      // .............................................*..............
        // sqdmulh v12.8H, v27.8H, v7.H[1]                      // ...............................................*............
        // sqdmulh v0.8H, v25.8H, v7.H[1]                       // ..............................................*.............
        // srshr v9.8H, v16.8H, #11                             // .................................................*..........
        // srshr v30.8H, v12.8H, #11                            // ....................................................*.......
        // srshr v1.8H, v0.8H, #11                              // ..................................................*.........
        // add v26.8H, v15.8H, v29.8H                           // .........................................*..................
        // mls v27.8H, v30.8H, v7.H[0]                          // .......................................................*....
        // mls v25.8H, v1.8H, v7.H[0]                           // ......................................................*.....
        // sqdmulh v14.8H, v26.8H, v7.H[1]                      // ............................................*...............
        // srshr v8.8H, v14.8H, #11                             // ................................................*...........
        // mls v24.8H, v9.8H, v7.H[0]                           // .....................................................*......
        // mls v26.8H, v8.8H, v7.H[0]                           // ...................................................*........
        // st4 {v24.4S, v25.4S, v26.4S, v27.4S}, [x1], #64      // ...........................................................*


        pop_stack
        ret