[X86] Auto upgrade XOP/AVX512 rotation intrinsics to generic funnel shift intrinsics (clang)
This emits FSHL/FSHR generic intrinsics for the XOP VPROT and AVX512 VPROL/VPROR rotation intrinsics. LLVM counterpart: https://reviews.llvm.org/D55938 Differential Revision: https://reviews.llvm.org/D55937 llvm-svn: 349796
This commit is contained in:
Simon Pilgrim
parent
2a25360ae3
commit
4597379227
|
|
@ -9168,6 +9168,24 @@ static Value *EmitX86MaskLogic(CodeGenFunction &CGF, Instruction::BinaryOps Opc,
|
|||
Ops[0]->getType());
|
||||
}
|
||||
|
||||
static Value *EmitX86FunnelShift(CodeGenFunction &CGF, Value *Op0, Value *Op1,
|
||||
Value *Amt, bool IsRight) {
|
||||
llvm::Type *Ty = Op0->getType();
|
||||
|
||||
// Amount may be scalar immediate, in which case create a splat vector.
|
||||
// Funnel shifts amounts are treated as modulo and types are all power-of-2 so
|
||||
// we only care about the lowest log2 bits anyway.
|
||||
if (Amt->getType() != Ty) {
|
||||
unsigned NumElts = Ty->getVectorNumElements();
|
||||
Amt = CGF.Builder.CreateIntCast(Amt, Ty->getScalarType(), false);
|
||||
Amt = CGF.Builder.CreateVectorSplat(NumElts, Amt);
|
||||
}
|
||||
|
||||
unsigned IID = IsRight ? Intrinsic::fshr : Intrinsic::fshl;
|
||||
Value *F = CGF.CGM.getIntrinsic(IID, Ty);
|
||||
return CGF.Builder.CreateCall(F, {Op0, Op1, Amt});
|
||||
}
|
||||
|
||||
static Value *EmitX86Select(CodeGenFunction &CGF,
|
||||
Value *Mask, Value *Op0, Value *Op1) {
|
||||
|
||||
|
|
@ -10575,7 +10593,41 @@ Value *CodeGenFunction::EmitX86BuiltinExpr(unsigned BuiltinID,
|
|||
SI->setAlignment(1);
|
||||
return SI;
|
||||
}
|
||||
|
||||
// Rotate is a special case of funnel shift - 1st 2 args are the same.
|
||||
case X86::BI__builtin_ia32_vprotb:
|
||||
case X86::BI__builtin_ia32_vprotw:
|
||||
case X86::BI__builtin_ia32_vprotd:
|
||||
case X86::BI__builtin_ia32_vprotq:
|
||||
case X86::BI__builtin_ia32_vprotbi:
|
||||
case X86::BI__builtin_ia32_vprotwi:
|
||||
case X86::BI__builtin_ia32_vprotdi:
|
||||
case X86::BI__builtin_ia32_vprotqi:
|
||||
case X86::BI__builtin_ia32_prold128:
|
||||
case X86::BI__builtin_ia32_prold256:
|
||||
case X86::BI__builtin_ia32_prold512:
|
||||
case X86::BI__builtin_ia32_prolq128:
|
||||
case X86::BI__builtin_ia32_prolq256:
|
||||
case X86::BI__builtin_ia32_prolq512:
|
||||
case X86::BI__builtin_ia32_prolvd128:
|
||||
case X86::BI__builtin_ia32_prolvd256:
|
||||
case X86::BI__builtin_ia32_prolvd512:
|
||||
case X86::BI__builtin_ia32_prolvq128:
|
||||
case X86::BI__builtin_ia32_prolvq256:
|
||||
case X86::BI__builtin_ia32_prolvq512:
|
||||
return EmitX86FunnelShift(*this, Ops[0], Ops[0], Ops[1], false);
|
||||
case X86::BI__builtin_ia32_prord128:
|
||||
case X86::BI__builtin_ia32_prord256:
|
||||
case X86::BI__builtin_ia32_prord512:
|
||||
case X86::BI__builtin_ia32_prorq128:
|
||||
case X86::BI__builtin_ia32_prorq256:
|
||||
case X86::BI__builtin_ia32_prorq512:
|
||||
case X86::BI__builtin_ia32_prorvd128:
|
||||
case X86::BI__builtin_ia32_prorvd256:
|
||||
case X86::BI__builtin_ia32_prorvd512:
|
||||
case X86::BI__builtin_ia32_prorvq128:
|
||||
case X86::BI__builtin_ia32_prorvq256:
|
||||
case X86::BI__builtin_ia32_prorvq512:
|
||||
return EmitX86FunnelShift(*this, Ops[0], Ops[0], Ops[1], true);
|
||||
case X86::BI__builtin_ia32_selectb_128:
|
||||
case X86::BI__builtin_ia32_selectb_256:
|
||||
case X86::BI__builtin_ia32_selectb_512:
|
||||
|
|
|
|||
|
|
@ -4036,120 +4036,120 @@ __m512i test_mm512_maskz_cvtepu16_epi64(__mmask8 __U, __m128i __A) {
|
|||
|
||||
__m512i test_mm512_rol_epi32(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.512
|
||||
// CHECK: @llvm.fshl.v16i32
|
||||
return _mm512_rol_epi32(__A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_rol_epi32(__m512i __W, __mmask16 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.512
|
||||
// CHECK: @llvm.fshl.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_mask_rol_epi32(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_rol_epi32(__mmask16 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.512
|
||||
// CHECK: @llvm.fshl.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_maskz_rol_epi32(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_rol_epi64(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.512
|
||||
// CHECK: @llvm.fshl.v8i64
|
||||
return _mm512_rol_epi64(__A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_rol_epi64(__m512i __W, __mmask8 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.512
|
||||
// CHECK: @llvm.fshl.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_mask_rol_epi64(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_rol_epi64(__mmask8 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.512
|
||||
// CHECK: @llvm.fshl.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_maskz_rol_epi64(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_rolv_epi32(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.512
|
||||
// CHECK: @llvm.fshl.v16i32
|
||||
return _mm512_rolv_epi32(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_rolv_epi32(__m512i __W, __mmask16 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.512
|
||||
// CHECK: @llvm.fshl.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_mask_rolv_epi32(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_rolv_epi32(__mmask16 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.512
|
||||
// CHECK: @llvm.fshl.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_maskz_rolv_epi32(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_rolv_epi64(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.512
|
||||
// CHECK: @llvm.fshl.v8i64
|
||||
return _mm512_rolv_epi64(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_rolv_epi64(__m512i __W, __mmask8 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.512
|
||||
// CHECK: @llvm.fshl.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_mask_rolv_epi64(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_rolv_epi64(__mmask8 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.512
|
||||
// CHECK: @llvm.fshl.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_maskz_rolv_epi64(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_ror_epi32(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.512
|
||||
// CHECK: @llvm.fshr.v16i32
|
||||
return _mm512_ror_epi32(__A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_ror_epi32(__m512i __W, __mmask16 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.512
|
||||
// CHECK: @llvm.fshr.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_mask_ror_epi32(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_ror_epi32(__mmask16 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.512
|
||||
// CHECK: @llvm.fshr.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_maskz_ror_epi32(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_ror_epi64(__m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.512
|
||||
// CHECK: @llvm.fshr.v8i64
|
||||
return _mm512_ror_epi64(__A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_ror_epi64(__m512i __W, __mmask8 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_mask_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.512
|
||||
// CHECK: @llvm.fshr.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_mask_ror_epi64(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_ror_epi64(__mmask8 __U, __m512i __A) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.512
|
||||
// CHECK: @llvm.fshr.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_maskz_ror_epi64(__U, __A, 5);
|
||||
}
|
||||
|
|
@ -4157,40 +4157,40 @@ __m512i test_mm512_maskz_ror_epi64(__mmask8 __U, __m512i __A) {
|
|||
|
||||
__m512i test_mm512_rorv_epi32(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.512
|
||||
// CHECK: @llvm.fshr.v16i32
|
||||
return _mm512_rorv_epi32(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_rorv_epi32(__m512i __W, __mmask16 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.512
|
||||
// CHECK: @llvm.fshr.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_mask_rorv_epi32(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_rorv_epi32(__mmask16 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.512
|
||||
// CHECK: @llvm.fshr.v16i32
|
||||
// CHECK: select <16 x i1> %{{.*}}, <16 x i32> %{{.*}}, <16 x i32> %{{.*}}
|
||||
return _mm512_maskz_rorv_epi32(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_rorv_epi64(__m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.512
|
||||
// CHECK: @llvm.fshr.v8i64
|
||||
return _mm512_rorv_epi64(__A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_mask_rorv_epi64(__m512i __W, __mmask8 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_mask_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.512
|
||||
// CHECK: @llvm.fshr.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_mask_rorv_epi64(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m512i test_mm512_maskz_rorv_epi64(__mmask8 __U, __m512i __A, __m512i __B) {
|
||||
// CHECK-LABEL: @test_mm512_maskz_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.512
|
||||
// CHECK: @llvm.fshr.v8i64
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i64> %{{.*}}, <8 x i64> %{{.*}}
|
||||
return _mm512_maskz_rorv_epi64(__U, __A, __B);
|
||||
}
|
||||
|
|
|
|||
|
|
@ -5779,240 +5779,240 @@ __m256i test_mm256_maskz_cvtepu16_epi64(__mmask8 __U, __m128i __A) {
|
|||
|
||||
__m128i test_mm_rol_epi32(__m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.128
|
||||
// CHECK: @llvm.fshl.v4i32
|
||||
return _mm_rol_epi32(__A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_rol_epi32(__m128i __W, __mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_mask_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.128
|
||||
// CHECK: @llvm.fshl.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_mask_rol_epi32(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_rol_epi32(__mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_maskz_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.128
|
||||
// CHECK: @llvm.fshl.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_maskz_rol_epi32(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_rol_epi32(__m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.256
|
||||
// CHECK: @llvm.fshl.v8i32
|
||||
return _mm256_rol_epi32(__A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_rol_epi32(__m256i __W, __mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_mask_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.256
|
||||
// CHECK: @llvm.fshl.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_mask_rol_epi32(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_rol_epi32(__mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_rol_epi32
|
||||
// CHECK: @llvm.x86.avx512.prol.d.256
|
||||
// CHECK: @llvm.fshl.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_maskz_rol_epi32(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_rol_epi64(__m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.128
|
||||
// CHECK: @llvm.fshl.v2i64
|
||||
return _mm_rol_epi64(__A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_rol_epi64(__m128i __W, __mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_mask_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.128
|
||||
// CHECK: @llvm.fshl.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_mask_rol_epi64(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_rol_epi64(__mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_maskz_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.128
|
||||
// CHECK: @llvm.fshl.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_maskz_rol_epi64(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_rol_epi64(__m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.256
|
||||
// CHECK: @llvm.fshl.v4i64
|
||||
return _mm256_rol_epi64(__A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_rol_epi64(__m256i __W, __mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_mask_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.256
|
||||
// CHECK: @llvm.fshl.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_mask_rol_epi64(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_rol_epi64(__mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_rol_epi64
|
||||
// CHECK: @llvm.x86.avx512.prol.q.256
|
||||
// CHECK: @llvm.fshl.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_maskz_rol_epi64(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_rolv_epi32(__m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.128
|
||||
// CHECK: llvm.fshl.v4i32
|
||||
return _mm_rolv_epi32(__A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_rolv_epi32(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_mask_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.128
|
||||
// CHECK: llvm.fshl.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_mask_rolv_epi32(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_rolv_epi32(__mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_maskz_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.128
|
||||
// CHECK: llvm.fshl.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_maskz_rolv_epi32(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_rolv_epi32(__m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.256
|
||||
// CHECK: @llvm.fshl.v8i32
|
||||
return _mm256_rolv_epi32(__A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_rolv_epi32(__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_mask_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.256
|
||||
// CHECK: @llvm.fshl.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_mask_rolv_epi32(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_rolv_epi32(__mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_rolv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prolv.d.256
|
||||
// CHECK: @llvm.fshl.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_maskz_rolv_epi32(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_rolv_epi64(__m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.128
|
||||
// CHECK: @llvm.fshl.v2i64
|
||||
return _mm_rolv_epi64(__A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_rolv_epi64(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_mask_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.128
|
||||
// CHECK: @llvm.fshl.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_mask_rolv_epi64(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_rolv_epi64(__mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_maskz_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.128
|
||||
// CHECK: @llvm.fshl.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_maskz_rolv_epi64(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_rolv_epi64(__m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.256
|
||||
// CHECK: @llvm.fshl.v4i64
|
||||
return _mm256_rolv_epi64(__A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_rolv_epi64(__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_mask_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.256
|
||||
// CHECK: @llvm.fshl.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_mask_rolv_epi64(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_rolv_epi64(__mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_rolv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prolv.q.256
|
||||
// CHECK: @llvm.fshl.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_maskz_rolv_epi64(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_ror_epi32(__m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.128
|
||||
// CHECK: @llvm.fshr.v4i32
|
||||
return _mm_ror_epi32(__A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_ror_epi32(__m128i __W, __mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_mask_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.128
|
||||
// CHECK: @llvm.fshr.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_mask_ror_epi32(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_ror_epi32(__mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_maskz_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.128
|
||||
// CHECK: @llvm.fshr.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_maskz_ror_epi32(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_ror_epi32(__m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.256
|
||||
// CHECK: @llvm.fshr.v8i32
|
||||
return _mm256_ror_epi32(__A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_ror_epi32(__m256i __W, __mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_mask_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.256
|
||||
// CHECK: @llvm.fshr.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_mask_ror_epi32(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_ror_epi32(__mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_ror_epi32
|
||||
// CHECK: @llvm.x86.avx512.pror.d.256
|
||||
// CHECK: @llvm.fshr.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_maskz_ror_epi32(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_ror_epi64(__m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.128
|
||||
// CHECK: @llvm.fshr.v2i64
|
||||
return _mm_ror_epi64(__A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_ror_epi64(__m128i __W, __mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_mask_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.128
|
||||
// CHECK: @llvm.fshr.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_mask_ror_epi64(__W, __U, __A, 5);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_ror_epi64(__mmask8 __U, __m128i __A) {
|
||||
// CHECK-LABEL: @test_mm_maskz_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.128
|
||||
// CHECK: @llvm.fshr.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_maskz_ror_epi64(__U, __A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_ror_epi64(__m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.256
|
||||
// CHECK: @llvm.fshr.v4i64
|
||||
return _mm256_ror_epi64(__A, 5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_ror_epi64(__m256i __W, __mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_mask_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.256
|
||||
// CHECK: @llvm.fshr.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_mask_ror_epi64(__W, __U, __A,5);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_ror_epi64(__mmask8 __U, __m256i __A) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_ror_epi64
|
||||
// CHECK: @llvm.x86.avx512.pror.q.256
|
||||
// CHECK: @llvm.fshr.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_maskz_ror_epi64(__U, __A, 5);
|
||||
}
|
||||
|
|
@ -6020,80 +6020,80 @@ __m256i test_mm256_maskz_ror_epi64(__mmask8 __U, __m256i __A) {
|
|||
|
||||
__m128i test_mm_rorv_epi32(__m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.128
|
||||
// CHECK: @llvm.fshr.v4i32
|
||||
return _mm_rorv_epi32(__A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_rorv_epi32(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_mask_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.128
|
||||
// CHECK: @llvm.fshr.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_mask_rorv_epi32(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_rorv_epi32(__mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_maskz_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.128
|
||||
// CHECK: @llvm.fshr.v4i32
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}}
|
||||
return _mm_maskz_rorv_epi32(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_rorv_epi32(__m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.256
|
||||
// CHECK: @llvm.fshr.v8i32
|
||||
return _mm256_rorv_epi32(__A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_rorv_epi32(__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_mask_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.256
|
||||
// CHECK: @llvm.fshr.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_mask_rorv_epi32(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_rorv_epi32(__mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_rorv_epi32
|
||||
// CHECK: @llvm.x86.avx512.prorv.d.256
|
||||
// CHECK: @llvm.fshr.v8i32
|
||||
// CHECK: select <8 x i1> %{{.*}}, <8 x i32> %{{.*}}, <8 x i32> %{{.*}}
|
||||
return _mm256_maskz_rorv_epi32(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_rorv_epi64(__m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.128
|
||||
// CHECK: @llvm.fshr.v2i64
|
||||
return _mm_rorv_epi64(__A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_mask_rorv_epi64(__m128i __W, __mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_mask_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.128
|
||||
// CHECK: @llvm.fshr.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_mask_rorv_epi64(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m128i test_mm_maskz_rorv_epi64(__mmask8 __U, __m128i __A, __m128i __B) {
|
||||
// CHECK-LABEL: @test_mm_maskz_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.128
|
||||
// CHECK: @llvm.fshr.v2i64
|
||||
// CHECK: select <2 x i1> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}}
|
||||
return _mm_maskz_rorv_epi64(__U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_rorv_epi64(__m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.256
|
||||
// CHECK: @llvm.fshr.v4i64
|
||||
return _mm256_rorv_epi64(__A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_mask_rorv_epi64(__m256i __W, __mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_mask_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.256
|
||||
// CHECK: @llvm.fshr.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_mask_rorv_epi64(__W, __U, __A, __B);
|
||||
}
|
||||
|
||||
__m256i test_mm256_maskz_rorv_epi64(__mmask8 __U, __m256i __A, __m256i __B) {
|
||||
// CHECK-LABEL: @test_mm256_maskz_rorv_epi64
|
||||
// CHECK: @llvm.x86.avx512.prorv.q.256
|
||||
// CHECK: @llvm.fshr.v4i64
|
||||
// CHECK: select <4 x i1> %{{.*}}, <4 x i64> %{{.*}}, <4 x i64> %{{.*}}
|
||||
return _mm256_maskz_rorv_epi64(__U, __A, __B);
|
||||
}
|
||||
|
|
|
|||
|
|
@ -194,49 +194,49 @@ __m128i test_mm_perm_epi8(__m128i a, __m128i b, __m128i c) {
|
|||
|
||||
__m128i test_mm_rot_epi8(__m128i a, __m128i b) {
|
||||
// CHECK-LABEL: test_mm_rot_epi8
|
||||
// CHECK: call <16 x i8> @llvm.x86.xop.vprotb(<16 x i8> %{{.*}}, <16 x i8> %{{.*}})
|
||||
// CHECK: call <16 x i8> @llvm.fshl.v16i8(<16 x i8> %{{.*}}, <16 x i8> %{{.*}}, <16 x i8> %{{.*}})
|
||||
return _mm_rot_epi8(a, b);
|
||||
}
|
||||
|
||||
__m128i test_mm_rot_epi16(__m128i a, __m128i b) {
|
||||
// CHECK-LABEL: test_mm_rot_epi16
|
||||
// CHECK: call <8 x i16> @llvm.x86.xop.vprotw(<8 x i16> %{{.*}}, <8 x i16> %{{.*}})
|
||||
// CHECK: call <8 x i16> @llvm.fshl.v8i16(<8 x i16> %{{.*}}, <8 x i16> %{{.*}}, <8 x i16> %{{.*}})
|
||||
return _mm_rot_epi16(a, b);
|
||||
}
|
||||
|
||||
__m128i test_mm_rot_epi32(__m128i a, __m128i b) {
|
||||
// CHECK-LABEL: test_mm_rot_epi32
|
||||
// CHECK: call <4 x i32> @llvm.x86.xop.vprotd(<4 x i32> %{{.*}}, <4 x i32> %{{.*}})
|
||||
// CHECK: call <4 x i32> @llvm.fshl.v4i32(<4 x i32> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> %{{.*}})
|
||||
return _mm_rot_epi32(a, b);
|
||||
}
|
||||
|
||||
__m128i test_mm_rot_epi64(__m128i a, __m128i b) {
|
||||
// CHECK-LABEL: test_mm_rot_epi64
|
||||
// CHECK: call <2 x i64> @llvm.x86.xop.vprotq(<2 x i64> %{{.*}}, <2 x i64> %{{.*}})
|
||||
// CHECK: call <2 x i64> @llvm.fshl.v2i64(<2 x i64> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> %{{.*}})
|
||||
return _mm_rot_epi64(a, b);
|
||||
}
|
||||
|
||||
__m128i test_mm_roti_epi8(__m128i a) {
|
||||
// CHECK-LABEL: test_mm_roti_epi8
|
||||
// CHECK: call <16 x i8> @llvm.x86.xop.vprotbi(<16 x i8> %{{.*}}, i8 1)
|
||||
// CHECK: call <16 x i8> @llvm.fshl.v16i8(<16 x i8> %{{.*}}, <16 x i8> %{{.*}}, <16 x i8> <i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1, i8 1>)
|
||||
return _mm_roti_epi8(a, 1);
|
||||
}
|
||||
|
||||
__m128i test_mm_roti_epi16(__m128i a) {
|
||||
// CHECK-LABEL: test_mm_roti_epi16
|
||||
// CHECK: call <8 x i16> @llvm.x86.xop.vprotwi(<8 x i16> %{{.*}}, i8 50)
|
||||
// CHECK: call <8 x i16> @llvm.fshl.v8i16(<8 x i16> %{{.*}}, <8 x i16> %{{.*}}, <8 x i16> <i16 50, i16 50, i16 50, i16 50, i16 50, i16 50, i16 50, i16 50>)
|
||||
return _mm_roti_epi16(a, 50);
|
||||
}
|
||||
|
||||
__m128i test_mm_roti_epi32(__m128i a) {
|
||||
// CHECK-LABEL: test_mm_roti_epi32
|
||||
// CHECK: call <4 x i32> @llvm.x86.xop.vprotdi(<4 x i32> %{{.*}}, i8 -30)
|
||||
// CHECK: call <4 x i32> @llvm.fshl.v4i32(<4 x i32> %{{.*}}, <4 x i32> %{{.*}}, <4 x i32> <i32 226, i32 226, i32 226, i32 226>)
|
||||
return _mm_roti_epi32(a, -30);
|
||||
}
|
||||
|
||||
__m128i test_mm_roti_epi64(__m128i a) {
|
||||
// CHECK-LABEL: test_mm_roti_epi64
|
||||
// CHECK: call <2 x i64> @llvm.x86.xop.vprotqi(<2 x i64> %{{.*}}, i8 100)
|
||||
// CHECK: call <2 x i64> @llvm.fshl.v2i64(<2 x i64> %{{.*}}, <2 x i64> %{{.*}}, <2 x i64> <i64 100, i64 100>)
|
||||
return _mm_roti_epi64(a, 100);
|
||||
}
|
||||
|
||||
|
|
|
|||
Loading…
Reference in New Issue