batch normalization 多用于CNN或者NLP。是对Batch数据的不同维度单独进行正则化。对于单一的测试数据问题较多。
Layer normalization是对同一个数据的不同维度进行正则化,和Batch没有关系。
Ref:
https://zhuanlan.zhihu.com/p/54530247
https://www.youtube.com/watch?v=BZh1ltr5Rkg
batch normalization 多用于CNN或者NLP。是对Batch数据的不同维度单独进行正则化。对于单一的测试数据问题较多。
Layer normalization是对同一个数据的不同维度进行正则化,和Batch没有关系。
Ref:
https://zhuanlan.zhihu.com/p/54530247
https://www.youtube.com/watch?v=BZh1ltr5Rkg