深度学习-偏导数复习

2023-09-17 15:04:41

前言

为了更好的理解梯度下降,重新看了一下梯度下降的高数课长,现在根据学习内容,把课件贴图,防止哪一天自己记不起来。

下面的内容是通过B站视频整理而来。

高数学习

1.偏导数

偏导数是一个整体,不能拆开

2.偏导数概念

1.对x的偏导数

其实就是把另外一个变量作为常数去区里。

2.对y的偏导数

3.多元函数偏导数

4.如何计算偏导数

1.二元函数的偏导数

2.复杂函数的偏导数

3.分段函数

1.分界点的偏导数

因为x,y是对称函数,所以它们俩的偏导数是相同的。

5.偏导数与连续之间的关系

沿着不同方向趋近于0,那么y=kx
二元函数,偏导数存在,不能证明二元函数连续

6.偏导数的几何意义

偏导数是正交的

7.高阶偏导数

1.定义

2.高阶偏导数例题(二阶偏导数)

3.全微分

A,和B是和x,y有关的量

1.偏增量定义

2.全增量定义

3计算方式

。。。

4.多元函数微分学的几何应用

1.定义

最后求出切线的方程

<img src=https://img-blog.csdnimg.cn/603f8d6256c54b3abb60d39f710506c4.png" width=800>

曲线的切向量
法平面

2.例题1

5.方向导数

1.方向导数定义

说明平面是连续的

2.方向导数的计算

导数就是斜率,方向导数就是某个点平面的斜率值

方向导数是关于角度的函数,因为偏导数已经确定了

3. 方向导数和偏导数的关系

方向导数存在,偏导数就存在,反之则不一定
方向导数是偏导数的推广

4.方向导数计算

1.例题1

1.例题2

5.三元函数的方向导数

1.定义

2.例题1

3.例题2

6.梯度

1.定义-梯度就是沿着这个方向,方向导数能达到最大值

单位向量,是指模等于1的向量

单位向量有无数个

梯度就是沿着这个方向,方向导数能达到最大值

2.方向导数和梯度的关系

1.向量内积

2.向量数量积

3.梯度与方向导数

4.梯度总结

5.梯度的角度

6.梯度的计算-1

7.梯度的计算-2

8.梯度的计算-3

7 梯度下降

在这里插入图片描述

import os

w=2
b=2

n=0.1

array=[[2,4],[1,5],[3,7],[4,6],[1,4],[2,5],[3,6]]

for j in range(5):
    for i in range(len(array)):
        a=array[i][0]
        y=array[i][1]
        w1=w-n*a*(a*w+b-y)
        b1=b-n*(a*w+b-y)
        w=w1
        b=b1

print(w,b)
更多推荐

Web服务(Web Service)

简介Web服务(WebService)是一种Web应用开发技术,用XML描述、发布、发现Web服务。它可以跨平台、进行分布式部署。Web服务包含了一套标准,例如SOAP、WSDL、UDDI,定义了应用程序如何在Web上实现互操作。Web服务的服务端和客户端使用简单对象访问协议(SOAP)进行通信,通信的双方可以使用不同

Jmeter系列-监听器Listeners的介绍(9)

简介用来动态的监控Jmeter执行测试的过程,实时查看测试结果。JMeter监听器查看结果树查看结果树,显示取样器请求和响应的细节以及请求结果,包括消息头,请求的数据,响应的数据,方便接口调试,问题定位。参数介绍名称:控制器的描述性名称,显示在左边节点上,并用于命名事务注释:控制器注释信息,非必填项文件名:载入文件名L

C++设计模式_05_Observer 观察者模式

接上篇,本篇将会介绍C++设计模式中的Observer观察者模式,和前2篇模板方法TemplateMethod及Strategy策略模式一样,仍属于“组件协作”模式。Observer在某些领域也叫做Event。文章目录1.动机(Motivation)2.代码演示Observer观察者模式2.1常用处理方法2.1.1Ma

链动2+1:一种创新的电商分销模式

电商行业是一个竞争激烈的市场,要想在众多的平台和品牌中脱颖而出,就需要有一些创新的策略和模式。链动2+1就是一种新兴的电商分销模式,它主要是利用社交网络和团队合作,实现快速的销量增长和用户增长。链动2+1的基本原理链动2+1的基本原理是将用户分成两个身份:代理和老板。用户消费礼包成为代理身份,可以享受直推的奖励收益,下

富金通管理U盾不轻松,用了USB Server如沐清风

富金通网络科技服务有限公司是一家专注于金融科技服务的公司,因为拥有多个银行账户,也就有了U盾数量过多、管理极为不便的问题,具体表现为易丢失、易损坏、操作繁琐、需要插拔、不便携带、威胁金融安全等。近期,朝天椒USBServer通过硬件加软件的解决方案,为富金通顺利解决了上述难题,并再次验证了朝天椒USBServer这一可

软件工程评级B-,有大量调剂名额。北京联合大学考情分析

北京联合大学(B-)考研难度(☆)内容:23考情概况(拟录取和复试分析)、院校概况、23专业目录、23复试详情、各专业考情分析、各科目考情分析。正文1239字,预计阅读:3分钟2023考情概况北京联合大学计算机相关各专业复试和拟录取分析:院校概况北京联合大学位于北京市,是北京市属综合性大学。在第四轮学科评估中,北京联合

土耳其市场最全开发攻略

2023年6月1日起,亚马逊土耳其站开始正式面向中国卖家试运营。土耳其这个古丝绸之路西域的重要节点,再一次吸引了来自东方众商家的目光。土耳其是一个著名的贸易中心,向世界提供许多出口产品。土耳其总统埃尔多安指出,根据调整后的数据,土耳其经济在今年第一季度增长了3.9%,第二季度增长了3.8%,他说:“因此,土耳其的经济增

机器学习西瓜书+南瓜书吃瓜教程第三章学习笔记

本次学习为周老师的机器学习西瓜书+谢老师南瓜书+Datawhale视频视频地址下面为本人的学习笔记,最近很忙还没学多少,之后补!!!u1s1,边看视频边自己手推一遍真的清楚很多,强烈推荐自己手推虽然花时间,但真的很有用很清晰线性模型1、基本形式2、最小二乘估计&&极大似然估计3、求解w和b4、举例机器学习是想要通过现有

SkyWalking使用讲解

文章目录1SkyWalking1.1简介1.2如何选择1.3Skywalking架构1.4服务端搭建1.4.1下载安装包1.4.2配置修改1.4.2.1config/application.yml1.4.2.2webapp/webapp.yml1.4.3启动服务1.5客户端搭建1.6数据持久化1.6.1修改配置文件1.

C#复习:面向对象基本概念

C#复习:面向对象基本概念前言什么是面向对象类,名称空间的介绍如何导入类库DLL引用(黑盒引用)项目引用(白盒引用)NuGet介绍依赖关系C#的分装(个人理解)前言关于我C#的博客是根据刘铁猛老师的C#入门课程为基础写的,可以配合刘铁猛老师的课程一起观看,会由更好的理解!什么是面向对象所谓面向对象,在我看来,就是把世界

《数字图像处理-OpenCV/Python》连载(1)前言

《数字图像处理-OpenCV/Python》连载(1)前言本书京东优惠购书链接:https://item.jd.com/14098452.html写作背景编写本书的初衷,源自作者学习数字图像处理的经历。在创新实验班开设的专业创新教育课程中,我选择的是数字图像处理方向。老师向我推荐的教材是冈萨雷斯的《数字图像处理》。学习

热文推荐