机器学习 day33(误差分析、添加数据、迁移学习)

2023-09-14 15:34:12
  1. 误差分析
    在这里插入图片描述
  • 我们可以手动查看分类错误的子集样本(通常为100个),并统计他们的错误类型
  • 在所有错误类型中,选择一种或几种最常见的错误,进行改进。这可以最高效的改进你的模型
  • 误差分析的一个限制是:它只能很好的解决人类擅长的问题
  1. 添加数据
  • 添加数据有三种常见方法:直接添加全新的数据,数据增强,数据合成
  • 添加所有类型的全新数据可能又贵又慢,因此添加有针对性的全新数据可以更低成本的改进模型
    在这里插入图片描述
  • 在图像和音频领域,数据增强是一种显著增加数据集的方法。
  • 数据增强:通过旋转、缩小、方法、增加对比度、镜像变换等改变已有的训练样本,来获得一个全新的训练样本
    在这里插入图片描述
  • 数据增强的高级变换例子:在图片上加一个网格,并随机扭曲网格,从而获得一个更丰富的数据集
    在这里插入图片描述
  • 数据增强,是在数据中制造更多的噪音,同时最后的结果应当与测试集接近
    在这里插入图片描述
  • 数据合成:通常用于计算机视觉领域。上图右侧的例子是使用电脑上的字体,通过不同的对比度,颜色,字体进行截图得到。
    在这里插入图片描述
  • AI包括代码(算法或模型)+ 数据,通常我们是以模型为中心来改进我们的系统,但也可以以数据为中心来改进我们的系统
  1. 迁移学习
    在这里插入图片描述
  • 迁移学习分为两步:首先为监督预训练,即在一个非常大且与任务目标不完全相关数据集上对模型进行预训练,其次为微调,即在监督预训练中获得或初始化大部分参数的基础上,根据任务目标相关的数据集,进一步运行梯度下降或Adam算法,来微调所有权重参数或仅获得(改变)输出层参数
  • 微调有两种方法:一种是仅获得(改变)输出层的参数,适用于任务目标相关的数据集比较小。一种是训练所有权重参数,适用于任务目标相关的数据集稍大
  • 迁移学习的一个好处是,我们可以在网络上下载已经预训练完成的神经网络,省去了我们自己进行监督预训练的步骤
    在这里插入图片描述
  • 由上图可以看出,神经网络在前几层学会了检测边缘,检测角点,检测曲线等通用基本形状,这对神经网络进行其他图片识别任务很有帮助。
  • 迁移学习的一个限制是,预训练和微调的数据集必须是同一个类型的,即都是图像数据或音频数据或文本数据
更多推荐

游戏服务器搭建过程中Maven多模块编译遇到的一些问题

目录1、多模块的创建1.1父模块的创建1.2删除垃圾文件1.3修改pom.xml1.4创建子模块继承2、子模块之间的互相引用3、多个模块间版本的管理3.1dependencis3.2dependencyManagement4、依赖执行5、在SpringBoot项目中加载依赖项目的组件有几种常用的方法5.1.使用@Com

ip地址怎么改网速快

在当今高度依赖互联网的时代,快速稳定的网络连接对于人们的生活和工作至关重要。然而,有时我们可能会遇到网络速度缓慢的问题。虽然更改IP地址并不能直接影响网络速度,但它可以成为改善网络连接的一种策略之一。虎观代理小二二将探讨如何通过更改IP地址来尝试提升网络速度,并提供一些实用的方法与建议。请注意,网络速度受多个因素影响,

MongoDB简介以及安装

文章目录1.MongoDB简介2.NoSQL简介3.MongoDB安装1.MongoDB简介MongoDB是一种NoSQL数据库,采用了文档数据库模型。它以BSON(BinaryJSON)格式存储数据,支持动态模式和灵活的查询语言。MongoDB具有以下特点:文档存储:MongoDB以文档(Document)的形式存储

传统生产者和消费者问题,Sychronized版和Lock版

1.生产者和消费者问题Synchronized版面试:单例模式、排序算法、生产者消费者、死锁packagecom.kuang.pc;/***线程之间的通信问题,生产者和消费者问题!等待唤醒,通知唤醒*线程交替执行AB操作同一个变量num=0*Anum+1;*Bnum-1;*/publicclassA{publicsta

MongoDB差异数据对比的快速指南

MongoDB是一种非关系型数据库,它以灵活的JSON-like文档的形式存储数据,这种特性使其在处理大量数据和实现快速开发时更具有优势。而由于其灵活的数据模型和强大的性能,MongoDB被广泛应用在各种业务场景中。随着业务的发展和数据的增长,如何准确快速地完成MongoDB数据对比成为了一个重要的问题。如何准确快速地

监控办公室电脑用什么软件?

监控办公室员工电脑的工作情况是一项非常重要的管理任务,它可以帮助企业管理者及时发现员工的问题、提高工作效率和保障企业安全。以下是一些具体的方法和步骤,供您参考:1、安装监控软件在监控员工电脑之前,您需要先安装一款专业的监控软件。目前市面上有很多种不同的监控软件,您可以根据自己的需求选择适合自己的软件。比如,如果您想要监

【Rust日报】2023-09-19 为 aho-corasick 添加 aarch64 的 SIMD 实现

为aho-corasick添加aarch64的SIMD实现此次PR主要目的是为Teddy(一个关键的数据结构)添加aarch64的SIMD实现。之前,Teddy使用了x86-64SIMD指令,特别是SSSE3和AVX2。这个PR将Teddy的主要实现重组为一个新的Vectortrait,并为x86-64以及aarch6

代码随想录算法训练营Day46 | 动态规划(8/17) 1.练习题 LeetCode 139.单词拆分 2.多重背包 3. 背包问题总结篇!

背包问题要结束了!首先是今天的练习题,然后是多重背包的知识点,最后对这几天背包问题做一个总结!1.练习题139.WordBreakGivenastringsandadictionaryofstringswordDict,returntrueifscanbesegmentedintoaspace-separatedseq

Linux之Socket函数(详细篇)

本篇是基于Linuxman手册的一些总结socket作用:createanendpointforcommunication函数结构```c#include<sys/types.h>/*SeeNOTES*/#include<sys/socket.h>intsocket(intdomain,inttype,intproto

代理IP与Socks5代理:跨界电商之安全防护与智能数据引擎

第一部分:跨界电商的兴起与网络安全挑战1.1跨界电商的崭露头角跨界电商已经成为全球贸易的新引擎,企业纷纷踏上了拓展国际市场的征程。1.2网络安全的不容忽视跨界电商的增长也伴随着网络安全威胁的增加。黑客攻击、数据泄露和欺诈行为等风险呈上升趋势,给企业带来了巨大挑战。第二部分:代理IP与网络安全2.1代理IP:网络安全的守

Qt5开发及实例V2.0-第十章Qt网络与通信

Qt5开发及实例V2.0-第十章Qt网络与通信第10章Qt5网络与通信10.1获取本机网络信息10.2基于UDP的网络广播程序10.2.1UDP协议工作原理10.2.2UDP编程模型10.2.3【实例】:UDP服务器编程10.2.4【实例】:UDP客户端编程10.3基于TCP的网络聊天室程序10.3.1TCP协议工作原

热文推荐