卷积输出形状 + Tensorflow "padding='SAME' " 原理

首先,定义变量:

输入图片的宽和高:i_w 和 i_h
输出特征图的宽和高:o_w 和 o_h
过滤器的宽和高:f_w 和 f_h
宽和高方向的步长:s_w 和 s_h
宽和高方向总的补零个数:pad_w 和 pad_h
顶部和底部的补零个数:pad_top 和 pad_bottom
左部和右部的补零个数:pad_left 和 pad_right

1. 一般卷积输出形状计算公式

1.1 正卷积

在正卷积时,一般我们希望卷积输入形状为输出形状的几倍,例如输入 256256,输出 128128,所以 o_w = i_w / s_w,又有 o_w = (i_w - f_w + pad_w) / s_w + 1, 所以可以得出 pad_w = f_w - s_w,pad_h 类推。

1.2 反卷积

同理,在反卷积时,我们希望卷积输出形状为输入形状的几倍,例如输入 88,输出 256256,所以 o_w = i_w * s_w,又有 o_w = i_w * s_w + f_w - s_w - pad_w, 所以可以得出 pad_w = f_w - s_w 不变,pad_h 类推。

2. Tensorflow padding='SAME' 模式

以下来源于:https://www.cnblogs.com/White-xzx/p/9497029.html

在深度学习的图像识别领域中,我们经常使用卷积神经网络CNN来对图像进行特征提取,当我们使用TensorFlow搭建自己的CNN时,一般会使用TensorFlow中的卷积函数和池化函数来对图像进行卷积和池化操作,而这两种函数中都存在参数padding,该参数的设置很容易引起错误,所以在此总结下。

2.1.为什么要使用padding

在弄懂padding规则前得先了解拥有padding参数的函数,在TensorFlow中,主要使用tf.nn.conv2d()进行(二维数据)卷积操作,tf.nn.max_pool()、tf.nn.avg_pool来分别实现最大池化和平均池化,通过查阅官方文档我们知道其需要的参数如下:

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None,name=None)
tf.nn.max_pool_with_argmax(input, ksize, strides, padding, Targmax=None, name=None)
tf.nn.max_pool(value, ksize, strides, padding, name=None)

这三个函数中都含有padding参数,我们在使用它们的时候需要传入所需的值,padding的值为字符串,可选值为'SAME' 和 'VALID' ;

padding参数的作用是决定在进行卷积或池化操作时,是否对输入的图像矩阵边缘补0,'SAME' 为补零,'VALID' 则不补,其原因是因为在这些操作过程中过滤器可能不能将某个方向上的数据刚好处理完,如下所示:

当步长为5,卷积核尺寸为6×6时,当padding为VALID时,则可能造成数据丢失(如图1),当padding为SAME时,则对其进行补零(如图2),

图1:不对齐.png

图2:padding 补零

2.2. padding公式

2.2.1 valid 模式

输出的宽和高为

o_w = (i_w - f_w + 1)/ s_w #(结果向上取整)
o_h = (i_h - f_h + 1)/ s_h  #(结果向上取整)

2.2.2 same 模式

输出的宽和高为

o_w = i_w / s_w#(结果向上取整)
o_h = i_h / s_h#(结果向上取整)

各个方向的补零个数为:max()为取较大值,

 pad_h = max(( o_h -1 ) × s_h + f_h - i_h , 0)
 pad_top = ?pad_h / 2? # 注意此处向下取整
 pad_bottom = pad_h - pad_top
 pad_w = max(( o_w -1 ) × s_w + f_w - i_w , 0)
 pad_left = ?pad_w / 2? # 注意此处向下取整
 pad_right = pad_w - pad_left

2.3.卷积 padding='SAME' 的实战分析(原创)

2.3.1 pad_left = 0 时

>>> y = tf.constant([[1., 2., 3., 4.],[5., 6., 7., 8.], 
                     [9., 10., 11., 12.], [13., 14., 15., 16.]])
>>> y = tf.reshape(y,[1,4,4,1])
>>> same_pad_y = tf.nn.max_pool(y, [1, 2, 2, 1], [1, 1, 2, 1], padding='SAME')
>>> print(sess.run(same_pad_y))
[[[[ 6.]
   [ 8.]]

  [[10.]
   [12.]]

  [[14.]
   [16.]]

  [[14.]
   [16.]]]]
>>>    
  • 计算可得 o_w = 4
    pad_w = max(( 4-1 ) × 1 + 2 - 4 , 0)= 1
    pad_left = ?pad_w / 2? = 0# 注意此处向下取整
    pad_right = 1
    same_pad_y 的输出也可见,的确只在右侧进行了 pad
    图3:pad_left=0

2.3.2 pad_left > 0 时

>>> y = tf.constant([[1., 2., 3., 4.],[5., 6., 7., 8.], 
                     [9., 10., 11., 12.], [13., 14., 15., 16.]])
>>> y = tf.reshape(y,[1,4,4,1])
>>> same_pad_y = tf.nn.max_pool(y, [1, 3, 2, 1], [1, 1, 2, 1], padding='SAME')
>>> print(sess.run(same_pad_y))
[[[[ 6.]
   [ 8.]]

  [[10.]
   [12.]]

  [[14.]
   [16.]]

  [[14.]
   [16.]]]]
  • 此处 f_w 变成了 3,所以计算可得 o_w = 4
    pad_w = max(( 4-1 ) × 1 + 3 - 4 , 0)= 2
    pad_left = ?pad_w / 2? = 1# 注意此处向下取整
    pad_right = 1
    same_pad_y 的输出也可见,的确只在左侧和右侧都进行了 pad,因为如果左侧没有 pad,输出则会是
    [[[[10.]
     [12.]]
    
    [[14.]
     [16.]]
    
    [[14.]
     [16.]]
    
    [[0.]
     [0.]]]]
    
    图4:pad_left=1
最后编辑于
?著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,172评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,346评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事?!?“怎么了?”我有些...
    开封第一讲书人阅读 159,788评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,299评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,409评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,467评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,476评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,262评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,699评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,994评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,167评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,499评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,149评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,387评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,028评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,055评论 2 352