Mybatis - 常用 SQL 语句设计思路及具体实现 - 数据存在则更新,不存在则插入、批量更新、批量插入、连表查询 + - 字段加减法

2023-09-13 17:22:45

序言

  1. 使用 Mybatis,那么在 xml 文件内,最好不要使用任何的注释符号,否则会报错

Could not set parameters for mapping解决方法 xml文件内有注释符号导致的

  1. 补充提醒:

因为批量操作会拼接成很长很长的mysql语句,所以mysql server在接收数据包的时候,对这个数据包的大小是有设置项限制的。

如果超过设置的值,就会报错:

Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large

那么就需要修改这个设置项,所以推荐提前先把对应的设置值稍微弄大一点

Linux:/etc/my.cnf 配置文件的数据包接送大小配置

  1. 关于 Insert (插入)和 Update (更新)操作,其 XXXMapper.java 方法的返回值,如果成功了,则返回影响的行数,一般是 > 0 (大于 0),否则是插入失败或更新失败,即 ==0 (等于 0),当然返回值为 0 也不是那么严重,如果是 ON DUPLICATE KEY UPDATE,则是有重复项了,就不会进行重复项的插入更新操作,所以有可能影响行数为 0,最后还有一个特殊的返回值 -1,这个自行理解,不做解释。

一、数据存在则更新,不存在则插入

网上有些方法说用 replace into,但是 Mybatis 是不支持的。所以,必须使用 ON DUPLICATE KEY UPDATE

但笔者尝试过, ON DUPLICATE KEY UPDATE 是有部分问题的,所以只能用传统方法,先查询是否存在, if 存在则调用 update 更新方法,else 不存在时调用 insert 插入方法。

1、ON DUPLICATE KEY UPDATE 的具体 xml 用法:(虽然有点问题,但没准以后有用到的时候)

<insert id="batchSaveCommissionSummaryList" parameterType="list" >

    insert into commission_summary
      (enterprise_id,enterprise_name,in_province_amount,in_province_rate,in_province_commission,out_province_amount,out_province_rate,
      out_province_commission,total_amount,total_commission,month,create_time)
    values
    <foreach collection="list" item="item" index="index" separator=",">
      (#{item.enterpriseId},#{item.enterpriseName},#{item.inProvinceAmount},#{item.inProvinceRate},#{item.inProvinceCommission},#{item.outProvinceAmount},
      #{item.outProvinceRate},#{item.outProvinceCommission},#{item.totalAmount},#{item.totalCommission},#{item.month},#{item.createTime})
    </foreach>
    ON DUPLICATE KEY UPDATE
        enterprise_id = values(enterprise_id),
        enterprise_name = values(enterprise_name),

        in_province_amount = values(in_province_amount),

        in_province_rate = values(in_province_rate),

        in_province_commission = values(in_province_commission),

        out_province_amount = values(out_province_amount),

        out_province_rate =values(out_province_rate),

        out_province_commission = values(out_province_commission),

        total_amount = values(total_amount),

        total_commission = values(total_commission),

        month = values(month),

        create_time = values(create_time)
  </insert>

注意:values()里面要用数据库字段来实现对数据的更新,而不是传入的参数字段

on duplicate key update 用法总结:

  1. mysql 的存在就更新不存在就插入可由on duplicate key update语法实现;

  2. 不过只会检查添加列中有没有匹配到主键id唯一索引的重复项;

  3. 如果有重复项会在on duplicate key update后进行修改指定的字段和内容;

  4. 所涉及的唯一索引也是可以修改的;

在实际开发中插入时可能存在数据重复问题,需要忽略或替换掉重复的数据(依据某个字段,比如 Primary Key(主键索引)或 Unique Key (唯一键索引)来确定是否重复)

二、批量更新

# UpdateEntity.java 实体类
import lombok.Data;

@Data
public class UpdateEntity{
	 /**
     * id 号
     */
    private Integer id;
	 /**
     * 姓名
     */
    private String name;
     /**
     * 年龄
     */
    private String age;
}

# UpdateMapper.java 方法

Integer updateBatchById(@Param("list") List<UpdateEntity> list)

方法 一:(数据量越多,容易变成慢 SQL,不太推荐)

每一条更新语句以分号 ; 隔开

<update id="updateBatchById">
    <foreach collection="list" item="item" separator=";">
        update
            `t_student`
        set
            `name` = #{item.name},
            `age` = #{item.age}
        where
            id = #{item.id}
    </foreach>
</update>

方法二

<update id="updateBatchById">
update `t_student`
<trim prefix="set" suffixOverrides=",">
    <trim prefix=" `name` = case " suffix=" end, ">
        <foreach collection="list" item="item">
            <if test="item.name != null and item.name.trim() neq ''">
                when `id` = #{item.id} then #{item.name}
            </if>
        </foreach>
    </trim>
    <trim prefix=" `age` = case " suffix=" end, ">
        <foreach collection="list" item="item">
            <if test="item.age != null and item.age.trim() neq ''">
                when `id` = #{item.id} then #{item.age}
            </if>
        </foreach>
    </trim>
</trim>
where
    `id` in
<foreach collection="list" item="item" open="(" close=")" separator=",">
    #{item.id}
</foreach>

</update>

输出效果:

UPDATE `t_student` 
SET `name` =
CASE
		
		WHEN `id` = 1 THEN
		'张三' 
		WHEN `id` = 2 THEN
		'李四' 
		WHEN `id` = 3 THEN
		'王五' 
		WHEN `id` = 4 THEN
		'赵六' 
	END,
	`age` =
CASE
		
		WHEN `id` = 1 THEN
		40 
		WHEN `id` = 2 THEN
		34 
		WHEN `id` = 3 THEN
		55 
		WHEN `id` = 4 THEN
		76 
	END 
WHERE
	`id` IN ( 1, 2, 3, 4 )

方法三 (推荐)

<!--批量更新-->
<update id="updateList" parameterType="java.util.List">
    update agent_apply
    set apply_time=
    <foreach collection="list" item="item" index="index"
             separator=" " open="case" close="end">
      when id=#{item.id} then #{item.applyTime}
    </foreach>
    where id in
    <foreach collection="list" index="index" item="item"
             separator="," open="(" close=")">
      #{item.id,jdbcType=INTEGER}
    </foreach>
</update>

效果和方法二差不多,不过更加简化。

IN 在数据量不大于1000的数据量情况下,会走索引。
很多时候为了批量更新数据会优先考虑第二种方式,再加上线程池。跑百万级的数据目测不需要几分钟
第一种是多条sql,需要数据库需要执行多次,第二种一条sql,数据库执行一边,数据量允许的情况下第二种比第一种更加的优秀,但是数据量特别大的时候,第二种确实会给数据库带来压力,但是如果你数据量不是特别特别大,你要相信数据库没有那么脆弱

三、批量插入

Integer insertList(@Param("list") List<UpdateEntity> list)
  <insert id="insertList" parameterType="java.util.List">
    insert into users(
    id, name
    )
    values
    <foreach collection="list" item="item" index="index" separator=",">
      (
      #{item.id}, #{item.name}
      )
    </foreach>
  </insert>

四、连表查询 + - 字段加减法

先从理解连表开始:

连表需要时常用到子查询,然后使用 LEFT JOIN、RIGHT JOIN、INNER JOIN 等关键字,进行连表,ON 关键字是连表的关键条件。

基本信息 test_table表字段:id、name、sex、age、phone、address

资金流动 test_other表字段:id、utility_bills(水电费)、salary(工资)、subsidy(补贴)、test_id

test_other 表的 test_id 和 test_table 表的 id 字段是连表关键,可以将 test_id 看做是 test_table 表的外键。

SELECT * FROM (
(SELECT * FROM test_table) tb
LEFT JOIN
(SELECT * FROM test_other) A ON tb.id=A.test_id
) new_table

1、连表 + - 加减法

多个字段的加减法:(查询所有人的净收入(net_receipt,某个人的工资字段减去所属的水电费字段,加上所属的补贴字段)需要对数字字段进行一个格式化处理 IFNULL(某个字段名, 初始化值为 0),这样数字类型的数据就能进行加减法。

净收入字段名:net_receipt

(new_table.salary + new_table.subsidy - new_table.utility_bills) AS net_receipt

具体净收入 SQL 连表查询语句实现演示:

SELECT 
(new_table.salary + new_table.subsidy - new_table.utility_bills) AS net_receipt,
id, name, sex, age, phone, address, salary, subsidy, utility_bills 
FROM (
(SELECT id,name,sex,age,phone,address FROM test_table) tb
LEFT JOIN
(SELECT IFNULL(utility_bills, 0),IFNULL(salary, 0),IFNULL(subsidy, 0),test_id 
FROM test_other) A 
ON tb.id=A.test_id
) new_table

xml 演示:

<select>
SELECT 
(new_table.salary + new_table.subsidy - new_table.utility_bills) AS net_receipt,
id, name, sex, age, phone, address, salary, subsidy, utility_bills 
FROM (
(SELECT id,name,sex,age,phone,address FROM test_table) tb
LEFT JOIN
(SELECT IFNULL(utility_bills, 0),IFNULL(salary, 0),IFNULL(subsidy, 0),test_id 
FROM test_other) A 
ON tb.id=A.test_id
) new_table
</select>

同理:可以将 + - 法替换为 乘法 *


参考链接

Mybatis新增数据,存在就更新,不存在就添加

Mybatis 有则更新,无则插入的实现

Mybatis使用on duplicate key update操作详解

Mybatis 批量插入操作ON DUPLICATE KEY UPDATE使用

mysql中on duplicate key update用法(批量操作数据、存在更新,不存在则新增),附mybatis配置

mybatis中批量插入,若存在,则更新;不存在,则新增

Mybatis之批量更新数据(批量update)

【MyBatis】关于MyBatis批量更新的几种方式

MySQL的on duplicate key update 的使用

Mysql on duplicate key update用法及优缺点

Mybatis 中传入List实现 批量插入、批量更新、批量删除

Mybatis:不存在则插入,存在则更新或忽略

Mybatis 多参数传递、parameterType=“java.util.List“自动查找实体类参数 - 具体方法

从零搭建 Mybatis - 语法 - 循环操作/批量操作(查询、修改(更新)…)的具体实现方法&配置MyBatis批量更新返回受影响数 | mybatis 更新时为什么返回值是-1

MyBatis学习之路——获取参数值和各种查询功能(查询实体类、List集合、Map集合)

ResultMap详解

mysql怎么实现字段求和

mysql 求多个字段的和

mysql进行sum多个表多个字段的时候数据很大的问题的解决以及6表联合复杂结构查询

更多推荐

区块链(2):区块链的应用分类和诞生的故事

1区块链的应用分类第一类:数字资产第一类是数字资产,分为一般数字资产和主打匿名应用场景的匿名数字资产。一般数字资产包括我们非常熟悉的比特币【https://bitcoin.org】、莱特币,在前面我们已经学习过,除此之外还有新经币NEM(NewEconomyMovement)、Decred(中文名暂无)、狗狗币Doge

Redis群集

1、redis群集三种模式redis群集有三种模式,分别是主从同步/复制、哨兵模式、Cluster,下面会讲解一下三种模式的工作方式,以及如何搭建cluster群集●主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的

redisson使用过程常见问题汇总

文章目录常见报错1.配置方式使用错误2.版本差异报错3.配置文件中配置了密码或者配置错误4.字符集和序列化方式配置问题5.Redisson的序列化问题6.连接池问题:7.Redisson的高可用性问题:8.Redisson的并发问题9.Redisson的性能问题2.参考文档常见报错1.配置方式使用错误Redisson提

redis设计规范

部分内容参考:阿里redis开发规范同时,结合shigen在实习中的实践经验总结。key的名称设计可读性和管理性业务名:表名:idpro:user:1001简洁性控制key的长度,可以用缩写transaction->tras拒绝bigkey防止网卡流量、慢查询,string类型控制在10KB以内,hash、list、s

Redis 高性能设计之epoll和IO多路复用深度解析

I/O多路复用模型是什么I/O:网络I/O多路:多个客户端连接(连接就是套接字描述符,即socket或者channel),指的是多条TCP连接复用:用一个进程来处理多条的连接,使用单进程就能的够实现同时处理多个客户端的连接一句话:实现了用一个进程来处理大量的用户连接,IO多路复用类似一个规范和接口落地实现:可以分sel

深度对话|Sui在商业技术堆栈中的地位

近日,我们采访了MystenLabs的商业产品总监LolaOyelayo-Pearson,共同探讨了区块链技术如何为企业提供商业服务,以及为什么Sui特别适合这些用例。1.请您简要介绍一下自己、您的角色以及您是如何开始涉足Web3领域的?目前,我领导MystenLabs的商业产品团队。通常来说,商业涵盖了一切,它可能是

山石网科国产化入侵防御系统,打造全生命周期的安全防护

随着互联网的普及和网络安全的威胁日益增加,botnet感染成为了企业面临的重要问题之一。botnet是一种由分散的客户端(或肉鸡)组成的网络,这些客户端被植入了bot程序,受控于攻击者。攻击者通过这些客户端的bot程序,利用C&C服务器对这些客户端进行管理和控制,以达到非法牟利的目的。被感染攻击的企业不仅会面临公司和个

GET和POST的区别,java模拟postman发post请求

目录一、先说一下get和post1、看一下人畜无害的w3schools怎么说:2、问一下文心你言哥,轻轻松松给你一个标准答案:3、卧槽,懂了,好像又没懂二、让我们扒下GET和POST的外衣,坦诚相见吧!三、我们的大BOSS还等着出场呢四、java模拟post请求1、弯了?那就给它掰回来。2、HttpURLConnect

GraphQL基础知识与Spring for GraphQL使用教程

文章目录1、数据类型1.1、标量类型1.2.高级数据类型基本操作2、SpringforGraphQL实例2.1、项目目录2.2、数据库表2.3、GraphQL的schema.graphql2.4、Java代码3、运行效果3.1、添加用户3.2、添加日志3.3、查询所有日志3.4、查询指定用户日志3.5、数据订阅4、总结

从李佳琦到背后的商业逻辑再到游戏行业

引言前阵子,李佳琦在直播间带货某牌子的眉笔时,被网友质疑越来越贵,对此李佳琦回应表示,79的眉笔不贵,国货品牌很难的,买不起的话,要找找自己的原因并反思这么多年有没有涨工资,有没有认真工作。他飘了吗?从他的语气和神情来看,的确是有点上头。像极了考上了985、211之后嫌弃父母不够体面孩子。小伙伴都知道,我们人一直以来都

2024考研王道计算机408数据结构+操作系统+计算机组成原理+计算机网络

2024考研王道计算机408数据结构+操作系统+计算机组成原理+计算机网络链-接:https://pan.baidu.com/s/152XLyH64TlcLXwmU-zlAsQ?pwd=r7zf提取码:r7zf信道利用率在408中经常考察到这里,我给大家总结一下这一类题目的做题方法以及技巧。首先,我们假定发射窗口大小是

热文推荐