mindspore.ops.deformable_conv2d

mindspore.ops.deformable_conv2d(x, weight, offsets, kernel_size, strides, padding, bias=None, dilations=(1, 1, 1, 1), groups=1, deformable_groups=1, modulated=True)[源代码]

给定4D的Tensor输入 xweightoffsets ,计算一个2D的可变形卷积。可变形卷积运算可以表达如下:

可变形卷积v1:

\[y(p)=\sum_{k=1}^{K}w_{k}\cdot x(p+p_{k}+\Delta{p_{k}})\]

可变形卷积v2:

\[y(p)=\sum_{k=1}^{K}w_{k}\cdot x(p+p_{k}+\Delta{p_{k}})\cdot \Delta{m_{k}}\]

其中 \(\Delta{p_{k}}\)\(\Delta{m_{k}}\) 分别为第k个位置的可学习偏移和调制标量。细节请参考论文 Deformable ConvNets v2: More Deformable, Better ResultsDeformable Convolutional Networks

参数:
  • x (Tensor) - 一个四维Tensor,表示输入图像。数据格式为”NCHW”,shape为 \((N, C_{in}, H_{in}, W_{in})\) 。Dytpe为float16或float32。

  • weight (Tensor) - 一个四维Tensor,表示可学习的滤波器。数据类型必须与 x 相同,shape为 \((C_{out}, C_{in} / groups, H_{f}, W_{f})\)

  • offsets (Tensor) - 一个四维Tensor,存储x和y坐标的偏移,以及可变形卷积的输入掩码mask。数据格式为”NCHW”,shape为 \((batch, 3 * deformable\_groups * H_{f} * W_{f}, H_{out}, W_{out})\) ,注意其中C维度的存储顺序为(offset_x, offset_y, mask)。数据类型必须与 x 相同。

  • kernel_size (tuple[int]) - 一个包含两个整数的元组,表示卷积核的大小。

  • strides (tuple[int]) - 一个包含四个整数的元组,表示对于输入的每个维度的滑动窗口步长。其维度顺序依据 x 的数据格式,对应N和C维度的值必须设置成1。

  • padding (tuple[int]) - 一个包含四个整数的元组,表示沿(上,下,左,右)四个方向往输入填充的像素点个数。

  • bias (Tensor, 可选) - 一个一维Tensor,表示加到卷积输出的偏置参数。shape为 \((C_{out})\) 。默认值为None。

  • dilations (tuple[int], 可选) - 一个包含四个整数的元组,表示对于输入的每个维度的膨胀系数。其维度顺序依据 x 的数据格式,对应N和C维度的值必须设置成1。默认值为(1, 1, 1, 1)。

  • groups (int, 可选) - 一个int32类型的整数,表示从输入通道到输出通道的阻塞连接数。输入通道数和输出通道数必须都能被 groups 整除。默认值为1。

  • deformable_groups (int, 可选) - 一个int32类型的整数,表示可变形卷积组数。输入通道数必须能被 deformable_groups 整除。默认值为1。

  • modulated (bool, 可选) - 指定可变形二维卷积的版本。True表示v2,False表示v1。当前只支持设置为v2版本。默认值为True。

返回:

Tensor,一个四维Tensor,表示输出特征图。数据类型与 x 相同,数据格式为”NCHW”,shape为 \((N, C_{out}, H_{out}, W_{out})\)

\[\begin{split}\begin{array}{ll} \\ H_{out} = \left \lfloor{\frac{H_{in} + padding[0] + padding[1] - (H_{f} - 1) \times \text{dilations[2]} - 1 }{\text{stride[0]}} + 1} \right \rfloor \\ W_{out} = \left \lfloor{\frac{W_{in} + padding[2] + padding[3] - (W_{f} - 1) \times \text{dilations[3]} - 1 }{\text{stride[1]}} + 1} \right \rfloor \\ \end{array}\end{split}\]
异常:
  • TypeError - 如果 stridespaddingkernel_size 或者 dilations 不是一个整数元组。

  • TypeError - 如果 modulated 不是一个布尔值。

  • ValueError - 如果 stridespaddingkernel_size 或者 dilations 的元组不是期望的大小。

  • ValueError - 如果 strides 或者 dilations 对应N和C维度的值不为1。

  • ValueError - 如果 modulated 的值不是True。

说明

  • 这是一个实验性质的接口,将来有可能被修改或删除。

  • 在Ascend平台上,目前仅支持AI-CORE的实现,因此有如下条件限制:

    • \(C_{in}\) 能被8整除。

    • deformable_groups 必须等于1。

    • offsets 的数据是浮点数类型(即需要包含小数部分)。

    • kernel_size 需要满足 \(3 * kernel\_size[0] * kernel\_size[1] > 8\)

支持平台:

Ascend GPU CPU

样例:

>>> x = Tensor(np.ones((4, 3, 10, 10)), mstype.float32)
>>> kh, kw = 3, 3
>>> weight = Tensor(np.ones((5, 3, kh, kw)), mstype.float32)
>>> offsets = Tensor(np.ones((4, 3 * kh * kw, 8, 8)), mstype.float32)
>>> output = ops.deformable_conv2d(x, weight, offsets, (kh, kw), (1, 1, 1, 1), (0, 0, 0, 0))
>>> print(output.shape)
(4, 5, 8, 8)