// Code generated by command: go run gen.go -avx512 -out ../accum_vector_avx512_amd64.s -pkg xxh3. DO NOT EDIT.

#include "textflag.h"

DATA prime_avx512<>+0(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+8(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+16(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+24(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+32(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+40(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+48(SB)/8, $0x000000009e3779b1
DATA prime_avx512<>+56(SB)/8, $0x000000009e3779b1
GLOBL prime_avx512<>(SB), RODATA|NOPTR, $64

// func accumAVX512(acc *[8]uint64, data *byte, key *byte, len uint64)
// Requires: AVX, AVX512F, MMX+
TEXT ·accumAVX512(SB), NOSPLIT, $0-32
	MOVQ      acc+0(FP), AX
	MOVQ      data+8(FP), CX
	MOVQ      key+16(FP), DX
	MOVQ      len+24(FP), BX
	VMOVDQU64 (AX), Z1
	VMOVDQU64 prime_avx512<>+0(SB), Z0
	VMOVDQU64 (DX), Z2
	VMOVDQU64 8(DX), Z3
	VMOVDQU64 16(DX), Z4
	VMOVDQU64 24(DX), Z5
	VMOVDQU64 32(DX), Z6
	VMOVDQU64 40(DX), Z7
	VMOVDQU64 48(DX), Z8
	VMOVDQU64 56(DX), Z9
	VMOVDQU64 64(DX), Z10
	VMOVDQU64 72(DX), Z11
	VMOVDQU64 80(DX), Z12
	VMOVDQU64 88(DX), Z13
	VMOVDQU64 96(DX), Z14
	VMOVDQU64 104(DX), Z15
	VMOVDQU64 112(DX), Z16
	VMOVDQU64 120(DX), Z17
	VMOVDQU64 128(DX), Z18
	VMOVDQU64 121(DX), Z19

accum_large:
	CMPQ       BX, $0x00000400
	JLE        accum
	VMOVDQU64  (CX), Z20
	PREFETCHT0 1024(CX)
	VPXORD     Z2, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  64(CX), Z20
	PREFETCHT0 1088(CX)
	VPXORD     Z3, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  128(CX), Z20
	PREFETCHT0 1152(CX)
	VPXORD     Z4, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  192(CX), Z20
	PREFETCHT0 1216(CX)
	VPXORD     Z5, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  256(CX), Z20
	PREFETCHT0 1280(CX)
	VPXORD     Z6, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  320(CX), Z20
	PREFETCHT0 1344(CX)
	VPXORD     Z7, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  384(CX), Z20
	PREFETCHT0 1408(CX)
	VPXORD     Z8, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  448(CX), Z20
	PREFETCHT0 1472(CX)
	VPXORD     Z9, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  512(CX), Z20
	PREFETCHT0 1536(CX)
	VPXORD     Z10, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  576(CX), Z20
	PREFETCHT0 1600(CX)
	VPXORD     Z11, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  640(CX), Z20
	PREFETCHT0 1664(CX)
	VPXORD     Z12, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  704(CX), Z20
	PREFETCHT0 1728(CX)
	VPXORD     Z13, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  768(CX), Z20
	PREFETCHT0 1792(CX)
	VPXORD     Z14, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  832(CX), Z20
	PREFETCHT0 1856(CX)
	VPXORD     Z15, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  896(CX), Z20
	PREFETCHT0 1920(CX)
	VPXORD     Z16, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	VMOVDQU64  960(CX), Z20
	PREFETCHT0 1984(CX)
	VPXORD     Z17, Z20, Z21
	VPSHUFD    $0x31, Z21, Z22
	VPMULUDQ   Z21, Z22, Z21
	VPSHUFD    $0x4e, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	VPADDQ     Z1, Z21, Z1
	ADDQ       $0x00000400, CX
	SUBQ       $0x00000400, BX
	VPSRLQ     $0x2f, Z1, Z20
	VPTERNLOGD $0x96, Z1, Z18, Z20
	VPMULUDQ   Z0, Z20, Z1
	VPSHUFD    $0xf5, Z20, Z20
	VPMULUDQ   Z0, Z20, Z20
	VPSLLQ     $0x20, Z20, Z20
	VPADDQ     Z1, Z20, Z1
	JMP        accum_large

accum:
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z2, Z0, Z2
	VPSHUFD   $0x31, Z2, Z18
	VPMULUDQ  Z2, Z18, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z3, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z4, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z5, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z6, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z7, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z8, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z9, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z10, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z11, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z12, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z13, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z14, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z15, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z16, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX
	CMPQ      BX, $0x40
	JLE       finalize
	VMOVDQU64 (CX), Z0
	VPXORD    Z17, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1
	ADDQ      $0x00000040, CX
	SUBQ      $0x00000040, BX

finalize:
	CMPQ      BX, $0x00
	JE        return
	SUBQ      $0x40, CX
	ADDQ      BX, CX
	VMOVDQU64 (CX), Z0
	VPXORD    Z19, Z0, Z2
	VPSHUFD   $0x31, Z2, Z3
	VPMULUDQ  Z2, Z3, Z2
	VPSHUFD   $0x4e, Z0, Z0
	VPADDQ    Z1, Z0, Z1
	VPADDQ    Z1, Z2, Z1

return:
	VMOVDQU64 Z1, (AX)
	VZEROUPPER
	RET
