batch norm 中 track_running_stats 的探索

2023-09-19 11:15:29
if self.track_running_stats:
    self.register_buffer('running_mean', torch.zeros(num_features, **factory_kwargs))
    self.register_buffer('running_var', torch.ones(num_features, **factory_kwargs))
    self.running_mean: Optional[Tensor]
    self.running_var: Optional[Tensor]
    self.register_buffer('num_batches_tracked',
                         torch.tensor(0, dtype=torch.long,
                                      **{k: v for k, v in factory_kwargs.items() if k != 'dtype'}))
    self.num_batches_tracked: Optional[Tensor]
else:
    self.register_buffer("running_mean", None)
    self.register_buffer("running_var", None)
    self.register_buffer("num_batches_tracked", None)

基于条件 self.track_running_stats,self 对象执行了一系列的操作来注册缓冲区(buffer)和属性。

如果 self.track_running_stats 为 True,表示正在跟踪运行时统计信息,那么执行以下操作:

使用 self.register_buffer() 方法注册缓冲区 running_mean,其值为全零的张量,形状为 (num_features,)。num_features 是一个变量,表示特征的数量。**factory_kwargs 是一个包含其他关键字参数的字典,用于创建张量。类似地,使用 self.register_buffer() 方法注册缓冲区 running_var,其值为全一的张量,形状与 running_mean 相同。
register a buffer that should not to be considered a model parameter. are persistent and will be saved alongside parameters

定义属性 self.running_mean 和 self.running_var,它们的类型是 Optional[Tensor],即可选的张量类型。这些属性用于存储跟踪的运行时均值和方差。

使用 self.register_buffer() 方法注册缓冲区 num_batches_tracked,其值为一个长整型张量,初始值为0。这个缓冲区用于跟踪已处理的批次数量。

定义属性 self.num_batches_tracked,也是一个 Optional[Tensor] 类型,用于存储已处理的批次数量。

如果 self.track_running_stats 为 False,表示不跟踪运行时统计信息,那么执行以下操作:

使用 self.register_buffer() 方法分别注册缓冲区 running_mean、running_var 和 num_batches_tracked,它们的值都为 None,即空值。
这些操作的目的是根据条件设置合适的缓冲区和属性,以便在模型的训练和推理过程中进行运行时统计信息的跟踪和更新。如果跟踪统计信息,则使用缓冲区存储相关的均值、方差和已处理的批次数量;否则,这些属性被设置为 None。

torch._six.string_classes 是一个字符串类的元组,用于在 PyTorch 内部处理字符串类型的兼容性。它是一个内部使用的变量,通常不需要在用户的代码中直接使用。

在 PyTorch 中,torch._six.string_classes 用于处理字符串类型的兼容性问题,尤其是在不同的 Python 版本或不同的运行环境中。它定义了一组字符串类,以便在不同的环境中都能正确处理字符串的操作。

该元组包含了多个字符串类,例如:

str:Python 3.x 中的字符串类型。
unicode:Python 2.x 中的字符串类型。
bytes:Python 2.x 和 3.x 中的字节串类型。
通过使用 torch._six.string_classes,PyTorch 可以在不同的 Python 版本中兼容地处理字符串类型,以确保代码的可移植性和兼容性。

需要注意的是,由于 torch._six.string_classes 是一个内部使用的变量,它的具体内容和实现可能会在不同的 PyTorch 版本中有所变化。因此,建议在用户代码中使用标准的字符串类型,如 str,而不是直接依赖于 torch._six.string_classes。

更多推荐

物联网的未来:连接的智能世界

物联网(IoT)是引领我们走向未来的一项关键技术。它让物品通过互联网进行连接,交流,开创了智能生活新时代。预计到2025年,全球将拥有超过410亿的IoT设备。在对人类生活的每个方面产生影响的同时,物联网也正在为经济增长、社会进步和环境可持续性开创新的可能性。物联网的最大优势在于其无所不在的连通性。从智能家居到工业自动

HEC-RAS 1D/2D水动力与水环境模拟教程

详情点击公众号技术科研吧链接:HEC-RAS1D/2D水动力与水环境模拟教程前言水动力与水环境模型的数值模拟是实现水资源规划、环境影响分析、防洪规划以及未来气候变化下预测和分析的主要手段。然而,一方面水动力和水环境模型的使用非常复杂,理论繁复;另一方面,免费的水动力和水环境软件往往缺少重要功能,而商业软件则非常昂贵。H

沈阳闪耀“城市之光”,小赢卡贷与民宿创业者共创美好未来!

根据最新发布的《2023年暑期旅游市场趋势报告》显示,旅游市场的复苏势头正迅猛加速,公众对出游的信心也持续恢复,超过70%的受访者表示他们计划在暑假期间进行旅行。沈阳作为一个备受欢迎的暑期旅游目的地,吸引了大量游客的目光,根据携程发布的《2023年五一出游数据报告》,五一期间,沈阳累计接待人次达到611.06万,旅游总

【Linux】【网络】UDP、TCP 网络接口及使用

文章目录socket及相关补充0.netstat--查询当前服务器上网络服务器1.端口号(port)2.网络字节序3.sockaddr结构体一、socket常见APIUDP0.IP地址转化函数1.socket函数:创建socket文件描述符(TCP/UDP,客户端+服务器)2.bind函数:绑定端口号(TCP/UDP,

代码随想录算法训练营Day56 | 动态规划(16/17) LeetCode 583. 两个字符串的删除操作 72. 编辑距离

动态规划马上来到尾声了,当时还觉得动态规划内容很多,但是也这么过来了。第一题583.DeleteOperationforTwoStringsGiventwostringsword1andword2,returntheminimumnumberofstepsrequiredtomakeword1andword2thesa

基于复旦微的FMQL45T900全国产化ARM核心模块(100%国产化)

TES745D是一款基于上海复旦微电子FMQL45T900的全国产化ARM核心板。该核心板将复旦微的FMQL45T900(与XILINX的XC7Z045-2FFG900I兼容)的最小系统集成在了一个87*117mm的核心板上,可以作为一个核心模块,进行功能性扩展,能够快速的搭建起一个信号平台,方便用户进行产品开发。核心

vivo面试-Java

一、JAVA八股1、Java实现线程的三种方式(1)继承Thread类:创建一个新类,该类继承自Thread类,并重写run方法。然后创建该类的实例,并调用它的start方法来启动线程。publicclassMyThreadextendsThread{publicvoidrun(){System.out.println

UML的组成

UML的构造块在UML(统一建模语言)中,事物是指建模中的各种元素、概念和组件,用于描述软件系统的不同方面。以下是一些常见的UML事物:类(Class):用于表示系统中的对象类型或类别,包括属性和方法。对象(Object):表示系统中的实际对象实例。接口(Interface):描述类或组件的合同,规定了可以被其他类或组

PLC项目调试常见的8种错误类型

各种品牌PLC都具有自我诊断功能,但PLC修理的技巧在于,充分运用该功能进行分析,然后精确寻找问题所在。整理了当PLC呈现反常报警时,PLC修理人员需要了解的8种常见错误类型。CPU反常CPU反常报警时,应查看CPU单元衔接于内部总线上的一切器材。具体方法是顺次替换可能存在问题的单元,找出问题单元,并作相应处理。存储器

linux下特定usb设备的权限设置

文章目录背景查找资料解决方案背景目前我在Ubuntu下使用一个USB热成像摄像头,通过调用它的sdk进行图像的采集以及获取对应像素点的温度。假设我现在的测试程序名称为MyApp。当我用下面的命令运行时,程序是正常运行且能从热成像仪采集图像sudo./MyApp但是当我以下面的命令运行时,./MyApp会报错:libir

用例图学习

用例图是什么用例图(UseCaseDiagram)是UML(统一建模语言)中的一种行为图,用于描述系统的功能和用户(或其他外部实体)与系统之间的交互。用例图是一种高级图,通常用于捕捉系统的需求,展示系统的功能和用户需求之间的关系,以及不同用例之间的依赖。以下是用例图中常见的元素和概念:用例(UseCase):用例表示系

热文推荐