mindspore.ops.deformable_conv2d
- mindspore.ops.deformable_conv2d(x, weight, offsets, kernel_size, strides, padding, bias=None, dilations=(1, 1, 1, 1), groups=1, deformable_groups=1, modulated=True)[源代码]
给定4D的Tensor输入 x , weight 和 offsets ,计算一个2D的可变形卷积。可变形卷积运算可以表达如下:
可变形卷积v1:
\[y(p)=\sum_{k=1}^{K}w_{k}\cdot x(p+p_{k}+\Delta{p_{k}})\]可变形卷积v2:
\[y(p)=\sum_{k=1}^{K}w_{k}\cdot x(p+p_{k}+\Delta{p_{k}})\cdot \Delta{m_{k}}\]其中 \(\Delta{p_{k}}\) 和 \(\Delta{m_{k}}\) 分别为第k个位置的可学习偏移和调制标量。细节请参考论文 Deformable ConvNets v2: More Deformable, Better Results 和 Deformable Convolutional Networks 。
参数:
x (Tensor) - 一个四维Tensor,表示输入图像。数据格式为”NCHW”,shape为 \((N, C_{in}, H_{in}, W_{in})\) 。Dytpe为float16或float32。
weight (Tensor) - 一个四维Tensor,表示可学习的滤波器。数据类型必须与 x 相同,shape为 \((C_{out}, C_{in} / groups, H_{f}, W_{f})\) 。
offsets (Tensor) - 一个四维Tensor,存储x和y坐标的偏移,以及可变形卷积的输入掩码mask。数据格式为”NCHW”,shape为 \((batch, 3 * deformable\_groups * H_{f} * W_{f}, H_{out}, W_{out})\) ,注意其中C维度的存储顺序为(offset_x, offset_y, mask)。数据类型必须与 x 相同。
kernel_size (tuple[int]) - 一个包含两个整数的元组,表示卷积核的大小。
strides (tuple[int]) - 一个包含四个整数的元组,表示对于输入的每个维度的滑动窗口步长。其维度顺序依据 x 的数据格式,对应N和C维度的值必须设置成1。
padding (tuple[int]) - 一个包含四个整数的元组,表示沿(上,下,左,右)四个方向往输入填充的像素点个数。
bias (Tensor, 可选) - 一个一维Tensor,表示加到卷积输出的偏置参数。shape为 \((C_{out})\) 。默认值为None。
dilations (tuple[int], 可选) - 一个包含四个整数的元组,表示对于输入的每个维度的膨胀系数。其维度顺序依据 x 的数据格式,对应N和C维度的值必须设置成1。默认值为(1, 1, 1, 1)。
groups (int, 可选) - 一个int32类型的整数,表示从输入通道到输出通道的阻塞连接数。输入通道数和输出通道数必须都能被 groups 整除。默认值为1。
deformable_groups (int, 可选) - 一个int32类型的整数,表示可变形卷积组数。输入通道数必须能被 deformable_groups 整除。默认值为1。
modulated (int, 可选) - 指定可变形二维卷积的版本。True表示v2,False表示v1。当前只支持设置为v2版本。默认值为True。
返回:
Tensor,一个四维Tensor,表示输出特征图。数据类型与 x 相同,数据格式为”NCHW”,shape为 \((N, C_{out}, H_{out}, W_{out})\) 。
\[\begin{split}\begin{array}{ll} \\ H_{out} = \left \lfloor{\frac{H_{in} + padding[0] + padding[1] - (H_{f} - 1) \times \text{dilations[2]} - 1 }{\text{stride[0]}} + 1} \right \rfloor \\ W_{out} = \left \lfloor{\frac{W_{in} + padding[2] + padding[3] - (W_{f} - 1) \times \text{dilations[3]} - 1 }{\text{stride[1]}} + 1} \right \rfloor \\ \end{array}\end{split}\]异常:
TypeError - 如果 strides, padding, kernel_size 或者 dilations 不是一个整数元组。
TypeError - 如果 modulated 不是一个布尔值。
ValueError - 如果 strides, padding, kernel_size 或者 dilations 的元组不是期望的大小。
ValueError - 如果 strides 或者 dilations 对应N和C维度的值不为1。
ValueError - 如果 modulated 的值不是True。
Note
这是一个实验性质的接口,将来有可能被修改或删除。
在Ascend平台上,目前需满足如下条件:
\(C_{in}\) 能被8整除。
deformable_groups 为1且 offsets 的数据是浮点数类型(即需要包含小数部分)。
kernel_size 需大于1。
- 支持平台:
Ascend
GPU
CPU
样例:
>>> x = Tensor(np.ones((4, 3, 10, 10)), mstype.float32) >>> kh, kw = 3, 3 >>> weight = Tensor(np.ones((5, 3, kh, kw)), mstype.float32) >>> offsets = Tensor(np.ones((4, 3 * kh * kw, 8, 8)), mstype.float32) >>> output = ops.deformable_conv2d(x, weight, offsets, (kh, kw), (1, 1, 1, 1), (0, 0, 0, 0)) >>> print(output.shape) (4, 5, 8, 8)