mmap使用测试

2023-09-21 12:19:17

mmap使用测试

Linux系统调用mmap()api说明，这个系统函数在频繁读写文件是很高效。

mmap在调用进程内开辟一块内存空间，将文件(或文件部分)内容映射到调用的进程的虚拟空间中。进程通过操作这块mmap开辟的虚拟内存，就相当于直接操作文件本身了，其余的细节都由kernel，cpu中的mcu负责完成。这样与传统的I/O操作相比，不仅省去了写入I/O缓存，再有I/O写出的次数，还更加稳定可靠。

这篇文章主要尝试使用mmap进行频繁写文件操作尝试。

函数原型

void *mmap(void addr[.length], size_t length, int prot, int flags, int fd, off_t offset);

描述

mmap()函数会在调用它进程的虚拟内存空间中创建一个映射。创建的映射开始地址是通过函数参数addr进行设定。参数length表示这个映射的长度(这个值必须大于0)。

如果addr的值是NULL，kernel会决定映射在虚拟内存中的创建起始地址，这也是创建映射最便捷的方式。

如果addr的不是NULL，kernel会根据addr值所表明的位置作为映射的起始地址(参数addr值不一定是最终的映射创建地址，kernel将其作为一个参考值，在其周边选择一个页边界地址开始创建映射。这个边界地址总是要大于**/proc/sys/vm/mmap_min_addr**的值)并尝试创建映射。

如果另一个映射已经存在于需要的地址上，kernel会选择在另一个新地址上创建映射，这个起始地址可能依赖于addr也可能于之无关，不依赖于这个参数地址值。

函数最终的返回值就是最终创建映射的起始地址。

fd所表示的文件句柄，一个文件映射的内容从文件的offset开始，长度length个字节。offset必须是一个内存页大小的倍数(sysconf(_SC_PAGE_SIZE))。

mmap()调用返回后，文件描述器fd在不检查映射的有效性的前提下可以快速关闭。

参数prot描述的是映射的内存保护级别(这个值不能与文件的打开模式冲突)。

prot参数值：

  • PROT_EXEC 页可执行
  • PROC_READ 页可读
  • PROC_WRITE 页可写
  • PROC_NONE 页不能存取

flags参数确定映射的更新对于映射同一区域的其他进程是否可见，以及更新是否传递到基础文件。flags可以有以下值：

  • MAP_SHARED

    共享映射。映射的更新对映射到同一块区域(内存)的其他进程也可见，并且（在文件支持的映射的情况下）被传递到基础文件。

  • MAP_SHARED_INVALIDATE (Linux 4.15后)

    这个值的结果与 MAP_SHARED 一样，只是MAP_SHARED会忽略flags未知的flag值。

  • MAP_PRIVATE

    创建写时复制的私有映射。映射的更新对于映射同一文件的其他进程是不可见的，并且不会传递到基础文件。在mmap()调用后，对文件做出的修改在映射区域是否可见没有明确。

除此外，0或其他的flag值可以使用。

**munmap()**系统调用删除指定地址范围的映射，并导致对该范围内地址的进一步引用生成无效的内存引用。进程终止时，区域也会自动取消映射。另一方面，关闭文件并不能取消内存映射。

返回值

mmap()在成功映射之后会返回映射的指针。一旦出错，返回MAP_FAILED(值是 (void *) -1)值。并且 errno 会被设置以提示这个错误。

munmap()成功执行后返回 0。一旦出错，函数返回 -1，并且 errno 会被设置以提示这个错误(可能是EINVAL)。

使用示例

在使用mmap进行文件映射时，可以整个文件全部映射到虚拟内存中，也可以部分内容映射。

测试文件大小是101MB。

整体映射

整个文件一次性映射到进程的虚拟内存。对于超大文件，kernel会自行将文件映射到不同位置。

#include <fcntl.h>
#include <iostream>
#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>

using namespace std;


void WriteContentWhole(const string &dest_file, const string &msg) {

  string input_text = move(msg);

  // 要写入的内容长度
  int input_text_length = input_text.size();
  cout << "预期要写入的文本长度(bytes)： " << input_text_length << endl;

  // 判断输入的内容最后是否是\n，若不是\n，在输入的文本后添加\n。
  if (input_text.at(input_text_length - 1) != '\n') {
    char buff[1]{'\n'};
    input_text.append(buff);
    input_text_length = input_text.size();
  }

  string path(dest_file);
  int fd = open(path.c_str(), O_RDWR | O_APPEND, 777);
  if (fd == -1) {
    cout << "文件打开失败" << endl;
    return;
  }

  struct stat st;
  if (fstat(fd, &st) == -1) {
    cout << "file stat error" << endl;
    return;
  }

  off_t new_file_size = 0;
  off_t origin_file_size = st.st_size; // 文件大小

  // 读取文件最后一个字符，判断是否是\n符号
  if (lseek(fd, -1, SEEK_END) == -1) {
    perror("无法定位到文件末尾");
    return;
  }
  char buffer[1]{0};
  int ret = read(fd, buffer, 1);
  if (ret == -1) {
    perror("无法读取文件最后一个字符");
    return;
  }

  if ((ret == sizeof(buffer)) && (buffer[0] != '\n')) {
    cout << "文件最后一个字符不是'\\n'" << endl;
    char buff[1]{'\n'};
    input_text.insert(0, buff);
    input_text_length = input_text.size();
  } else {
    cout << "文件最后一个字符是'\\n'" << endl;
  }

  cout << "最终要写入的文本长度(bytes)： " << input_text_length << endl;
  // 设置最终写入内容后的新的文件大小
  new_file_size = origin_file_size + input_text_length;

  int result = ftruncate(fd, new_file_size);
  if (result == -1) {
    perror("无法设置文件大小");
    return;
  }
  char *mptr = static_cast<char *>(
      mmap(0, new_file_size, PROT_WRITE | PROT_READ, MAP_SHARED, fd, 0));

  // 文件映射完成后，关闭文件
  close(fd);

  if (mptr == MAP_FAILED) {
    cout << "文件内存映射失败," << strerror(errno) << endl;
    exit(1);
  }

  strncpy(mptr + origin_file_size, input_text.c_str(), input_text_length);

  munmap(mptr, new_file_size);
}

int main() {

  WriteContentWhole("/home/xacsz/dependencies.txt", u8"整个文件进行mmap映射");

  cout << "Completed ..." << endl;
  return 0;
}

部分映射

部分映射及将文件的一部分映射到虚拟内存空间中。

#include <fcntl.h>
#include <iostream>
#include <stdio.h>
#include <string.h>
#include <sys/mman.h>
#include <sys/stat.h>
#include <sys/types.h>
#include <unistd.h>

using namespace std;

void WriteContent(const string &dest_file, const string &msg) {

  string input_text = move(msg);

  // 要写入的内容长度
  int input_text_length = input_text.size();
  cout << "预期要写入的文本长度(bytes)： " << input_text_length << endl;

  // 判断输入的内容最后是否是\n，若不是\n，在输入的文本后添加\n。
  // 这段if判断知识判断输入的内容最后一个是否包含回车换行符。可以忽略
  if (input_text.at(input_text_length - 1) != '\n') {
    char buff[1]{'\n'};
    input_text.append(buff);
    input_text_length = input_text.size();
  }

  string path(dest_file);
  int fd = open(path.c_str(), O_RDWR | O_APPEND, 777);
  if (fd == -1) {
    cout << "文件打开失败" << endl;
    return;
  }

  struct stat st;
  if (fstat(fd, &st) == -1) {
    cout << "file stat error" << endl;
    return;
  }

  off_t new_file_size = 0;
  off_t origin_file_size = st.st_size; // 文件大小

  // 读取文件最后一个字符，判断是否是\n符号
  if (lseek(fd, -1, SEEK_END) == -1) {
    perror("无法定位到文件末尾");
    return;
  }
  char buffer[1]{0};
  int ret = read(fd, buffer, 1);
  if (ret == -1) {
    perror("无法读取文件最后一个字符");
    return;
  }

  if ((ret == sizeof(buffer)) && (buffer[0] != '\n')) {
    cout << "文件最后一个字符不是'\\n'" << endl;
    char buff[1]{'\n'};
    input_text.insert(0, buff);
    input_text_length = input_text.size();
  } else {
    cout << "文件最后一个字符是'\\n'" << endl;
  }

  cout << "最终要写入的文本长度(bytes)： " << input_text_length << endl;
  // 设置最终写入内容后的新的文件大小
  new_file_size = origin_file_size + input_text_length;

  int result = ftruncate(fd, new_file_size);
  if (result == -1) {
    perror("无法设置文件大小");
    return;
  }

  // 系统页大小
  const long kPageSize = sysconf(_SC_PAGE_SIZE);
  cout << "内存页大小： " << kPageSize << endl;

  // 固定映射内存大小是2M，对文件进行偏移设置，每次将文件指针确认到文件末尾
  const size_t mapping_size = kPageSize * 1024 / 2; // 2M映射大小
  // 文件偏移
  off_t file_offset = 0;
  // 将文件索引移动到最后一个映射大小的首位
  while (file_offset + mapping_size <= origin_file_size) {
    file_offset += mapping_size;
  }
  size_t remaining_size = origin_file_size - file_offset;
  cout << "原始文件大小： " << origin_file_size << "，文件偏移： "
       << file_offset << "，原始文件剩于字节数： " << remaining_size
       << "，映射内存大小： " << mapping_size << "，新文件大小： "
       << new_file_size << endl;

  // mmap参数：
  //    0 的位置可以传入nullptr，然后由kernel来确定在哪个位置开始开辟虚拟内存空间
  //    mapping_size 位置传入系统页(sysconf(_SC_PAGE_SIZE))的整数倍，此段代码中2M大小
  //    PROT_WRITE | PROT_READ 设定了这段内段的访问方式，这里是可读写
  //    MAP_SHARED 表明这段内存可以被映射相同文件的其他进程可见
  //    fd 要映射的文件的句柄
  //    file_offset 文件索引的偏移位置，由于映射到内存(与内存页对应)，因此这里传入的值是内存页大小的倍数
  char *mptr = static_cast<char *>(mmap(0, mapping_size, PROT_WRITE | PROT_READ,
                                        MAP_SHARED, fd, file_offset));

  // 文件映射完成后，关闭文件
  close(fd);

  if (mptr == MAP_FAILED) {
    cout << "文件内存映射失败," << strerror(errno) << endl;
    exit(1);
  }

  // 遍历要写入内容的位置。
  int start_index_written = origin_file_size - file_offset;
  cout << "开始写入的文件偏移位置：" << start_index_written << endl;

  strncpy(mptr + start_index_written, input_text.c_str(), input_text_length);

  munmap(mptr, mapping_size);
}

int main() {

  WriteContent("/home/xacsz/dependencies.txt", u8"世界就是这么庞大！");
  
  cout << "Completed ..." << endl;
  return 0;
}

所有不对的地方，欢迎讨论。

更多推荐

79、SpringBoot 整合 R2DBC --- R2DBC 就是 JDBC 的 反应式版本， R2DBC 是 JDBC 的升级版。

★何谓R2DBCR2DBC就是JDBC的反应式版本，R2DBC是JDBC的升级版。R2DBC是ReactiveRelationalDatabaseConnectivity(关系型数据库的响应式连接)的缩写反应式的就是类似于消息发布者和订阅者，有消息就进行推送。R2DBC中DAO接口中方法的返回值是Flux或Mono因此

嵌入式笔试面试刷题(day5 IIC详解)

文章目录前言一、IIC需要几根线分别是什么线二、IIC优势三、IIC可以挂载多少个从设备，主设备1.从设备数量2.主设备数量四、IIC是全双工还是半双工五、SDA和SCL为什么配置为上拉开漏输出模式1.为什么要配置为开漏输出不能是推挽输出a.实现线与功能b.保护设备不会被短路2.上拉电阻的作用a.确保空闲状态保持高电平

Java synchronized关键字常见面试题

1、什么是线程同步，为什么需要线程同步？线程同步是一种机制，用于控制多个线程对共享资源的访问，以防止并发问题。它需要确保在同一时刻只有一个线程可以访问共享资源，以避免数据竞争和不一致性。2、请解释Java中synchronized关键字的作用和用法。synchronized关键字用于实现线程同步。它可以应用于方法或代码

0021Java程序设计-SSM框架图书管理系统

文章目录摘要目录系统设计开发环境摘要伴随着时代的进步，以及科学技术的不断发展，越来越多的人会从图书馆中借阅书籍，从而获得新的知识。但是，传统的图书管理方法有着很多不便之处，而且还容易丢失，因此，很有必要设计出一个易于操作，具有高便捷性，还可以提高工作效率的图书管理系统。该系统采用了Java技术，采用了计算机技术，取代了

python经典百题之请问他多少岁

题目:有5个人坐在一起，问第五个人多少岁？他说比第4个人大2岁。问第4个人岁数，他说比第3个人大2岁。问第三个人，又说比第2人大两岁。问第2个人，说比第一个人大两岁。最后问第一个人，他说是10岁。请问第五个人多大？方法1:迭代deffind_fifth_person_age_iterative():age=10#第一个

Multitor：一款带有负载均衡功能的多Tor实例创建工具

关于MultitorMultitor是一款带有负载均衡功能的多Tor实例创建工具，Multitor的主要目的是以最快的速度完成大量Tor进程的初始化，并将大量实例应用到我们日常使用的程序中，例如Web浏览器和聊天工具等等。除此之外，在该工具的帮助下，我们还可以在进行渗透测试和对基础设施安全性进行审计时提高隐蔽性和匿名性

4、wireshark使用教程

文章目录一、wireshark简介二、环境三、wireshark抓包三、wireshark过滤器使用一、wireshark简介Wireshark是使用最广泛的一款「开源抓包软件」，常用来检测网络问题、攻击溯源、或者分析底层通信机制。Wireshark抓包原理：单机情况：电脑直连互联网的单机环境。Wireshark直接抓

HR对职业发展进行思考

如果你还没有职业发展方面的思考，请不要怪自己，这很正常。没有谁是一开始就会如此清晰理性地对职业发展进行思考。笔者对职业发展有关话题进行系统性的思考，得益于两本书：第一本是哈佛大学泰勒·本-沙哈尔教授的《幸福的方法》，第二本书是美国学者比尔·博内特和戴夫·伊万斯写的《斯坦福大学人生设计课》，这两本书给了笔者很大的启发，并

【无标题】

未来，该算法可以在低延迟视频编码领域得到广泛应用。例如，该算法可以用于实时视频传输、视频会议、视频监控等场景，以提高视频编码的效率和质量。此外，该算法还可以扩展到其他编码平台，如H.264/AVC、VP9等，以满足不同应用场景的需求。关于每个图和公式的位置，以下是简要说明：图1：位于第2页，显示了所提出的速率控制算法的

MySQL备份与恢复

目录一、数据库备份二、数据备份的重要性三、MySQL完全备份优缺点实例：完全备份MySQL物理冷备份及恢复完全备份指定库中的部分表完全备份MySQL,服务器中所有的库完全备份一个或多个完的库(包括其中所有的表)查看备份文件MySQL完全恢复恢复数据库恢复数据表MySQL增量备份基于位置恢复基于时间点恢复一、数据库备份备

MySQL安装（1）

安装环境:Win1064位软件版本:MySQL5.7.24解压版一、下载点开下面的链接：https://downloads.mysql.com/archives/community/选择选择和自己系统位数相对应的版本点击右边的Download，此时会进到另一个页面，同样在接近页面底部的地方找到如下图所示的位置：不用理会

热文推荐
  1. 【LeetCode每日一题】——面试题10.11.峰与谷

    文章目录一【题目类别】二【题目难度】三【题目编号】四【题目描述】五【题目示例】六【题目提示】七【解题思路】八【时间频度】九【代码实现】十【提交结果】一【题目类别】排序二【题目难度】中等三【题目编号】面试题10.11.峰与谷四【题目描述】在一个整数数组中，“峰”是大于或等于相邻整数的元素，相应地，“谷”是小于或等于相邻整

  2. io概述及其分类

    一、IO概念•I/O即输入Input/输出Output的缩写，其实就是计算机调度把各个存储中（包括内存和外部存储）的数据写入写出的过程；I:InputO:Output通过IO可以完成硬盘文件的读和写。•java中用“流（stream）”来抽象表示这么一个写入写出的功能，封装成一个“类”，都放在http://java.i

  3. PyTorch深度学习实战（13）——可视化神经网络中间层输出

    PyTorch深度学习实战（13）——可视化神经网络中间层输出0.前言1.可视化特征学习的结果2.可视化第一个卷积层的输出3.可视化不同网络层的特征图小结系列链接0.前言随着深度学习的快速发展，神经网络已成为解决各种复杂任务的重要工具。然而，神经网络的黑盒特性使得我们对其内部运作过程和学到的表示仍然不够了解。为了更好地

  4. spring并发读写数据库

    spring并发读写数据库多线程写入数据库，事物通过AOP控制，无需影响业务代码存在几个小问题还不太理解有大佬看懂了麻烦点拨一下有好的优化代码思路欢迎交流代码当前仓库不能公开，代码下载文章目录spring并发读写数据库待解决问题基础实现原理单独任务实现通过AOP抽离事物控制的代码待解决问题//如果executor出现问

  5. 如何优化网站排名（百度SEO指南与优化布局方法）

    百度SEO指南介绍：蘑菇号-www.mooogu.cn首先，为了提高网站的搜索引擎优化排名，需要遵循百度SEO指南的规则和标准。这包括使用符合规范的网站结构、页面内容的质量和与目标用户相关的关键词。避免使用非法技术和黑帽SEO的方法。增加百度SEO外链的四个步骤：第一步是寻找优质外链，例如与行业相关的网站、新闻媒体和知

  6. kafkaStream实时流式计算

    2实时流式计算2.1概念一般流式计算会与批量计算相比较。在流式计算模型中，输入是持续的，可以认为在时间上是无界的，也就意味着，永远拿不到全量数据去做计算。同时，计算结果是持续输出的，也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高，同时一般是先定义目标计算，然后数据到来之后将计算逻辑应用于数据。同时为了提高

  7. C++零基础教程（函数重载）

    文章目录前言一、概念讲解二、代码示例三、函数指针遇到函数重载总结前言本篇文章来讲解函数重载，函数重载在C++中是非常重要的一个概念。一、概念讲解C++中的函数重载是指在同一个作用域中定义多个具有相同名称但参数列表不同的函数。函数重载允许使用相同的函数名来表示执行类似但具有不同参数类型或参数数量的操作。这样做可以提高代码

  8. 谷歌邀请企业测试人工智能工具Gemini；提升(LLM)性能的三种简单方法

    🦉AI新闻🚀谷歌邀请企业测试人工智能工具Gemini，与微软展开竞争摘要：谷歌邀请企业测试其人工智能工具Gemini，该工具结合了GPT-4的文本生成能力，支持聊天对话、分析图表数据、创建图像以及用自然语言命令控制软件等功能。谷歌希望通过Gemini来为其消费类人工智能产品提供支持，同时与微软Azure等竞品展开正

  9. Vue之路由及Node.js环境搭建（一起探索新事物）

    目录​编辑前言一、Vue之路由1.路由简介1.1什么是路由1.2什么是SPA1.3SPA的实现思路1.4使用路由的优势2.案例演示2.1导入所需的js文件2.2编写案例代码（模拟页面跳转）二、Vue之node.js1.node.js简介1.1什么是node.js1.2node.js的特点1.3什么是npm1.4npm的