【操作系统笔记】进程间通信

2023-09-22 08:10:57

Linux文件系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

inode 节点 （index node）：给每个文件赋予一个称为 i 节点的数据结构。

inode 一开始是存储在硬盘中的，只有当文件被打开的时候，其对应的 i 节点才加载到内存中。

在这里插入图片描述

总结：

  • Linux 中，用户态通过读写文件的 Api 进行系统调用，在内核态中，上层是虚拟文件操作系统 VFS，它为用户态提供统一接口，屏蔽底层实现细节，VFS 层定义了底层具体的文件系统需要实现的接口，VFS 层往下对接不同的具体的文件系统如 ext4，具体的文件系统再去操作磁盘的文件块信息

  • Linux 中每个文件对应一个称为 iNode 的数据结构，inode中包含了文件的元数据以及若干的块地址信息，inode一开始存储在磁盘中，当文件被打开时，inode节点会被加载到内存当中

  • 每个进程的task_struct中包含files_struct结构体，files_struct中又包含一个fd数组fd_array，fd_array中则包含对应文件的文件操作符file，file文件操作符是通过inode去读写文件的，inode中定义了inode_options，而具体的底层文件系统则实现了inode_options中定义的对应读写接口的具体方法

管道

在这里插入图片描述

Linux 进程间通信方式：管道、共享内存、信号量、消息队列

① 匿名管道

在这里插入图片描述
在这里插入图片描述

② 命名管道

在这里插入图片描述

管道的实现

一个文件可以同时被多个进程访问

在这里插入图片描述

所以，我们可以使用文件来实现进程间的通信，管道就是基于文件系统来实现的。

实现进程和其子进程之间的管道通信

在这里插入图片描述

父进程在复制子进程时，会把父进程的相关信息全部拷贝过来，其中就包括file_struct结构体，而这个结构体中就包含了文件读写inode的两个文件描述符，一个 file_0 只读， 一个 file_1 只写，由于是复制的，所以父子进程的这俩文件描述符是指向的同一个文件的inode。

在这里插入图片描述

此时把父进程的 file_0 只读文件描述符 close 掉，把子进程的 file_1 只写文件描述符 close 掉，父进程只保留只写文件描述符，子进程只保留只读文件描述符，这样父进程就可以和子进程通信了（父进程只写，子进程只读，半双工）。

匿名管道的实现

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

匿名管道底层实现：

在这里插入图片描述

匿名管道通过虚拟文件系统 VFS 调用底层的 pipefs 内存文件系统，也就是说底层实现是基于 pipefs 文件系统的。

pipefs 文件系统的数据结构：https://www.processon.com/view/link/62822757e401fd36f6bcc5dd

管道在内存中的实现本质就是一段内核 buffer 内存，不同的文件操作符（一个读一个写）对这段 buffer 进行读写操作。

关于 ps -ef | grep systemd 命令背后的匿名管道的底层实现数据结构：

在这里插入图片描述

命名管道底层实现流程图：

在这里插入图片描述

总结

  • 管道是基于文件系统来实现的，也就是多个进程对同一个文件进行读写来实现进程间通信

  • 进程和子进程之间的管道通信：父进程在fork子进程时，会把父进程相关信息全部拷贝过来，其中包括file_struct结构体，file_struct中包含了文件读写inode的两个文件描述符，一个file_0只读，一个file_1只写，由于是复制的，所以父子文件的这俩文件描述符是指向同一个文件的inode, 此时把父进程的file_0只读 fd 关闭掉，然后再把子进程的file_1只写 fd 关闭掉，父进程只保留只写 fd ，子进程只保留只读 fd ，这样父进程就可以和子进程进行通信了（父进程写，子进程读）。

  • 匿名管道的虚拟文件系统 VFS 对应的底层文件系统实现是基于 pipefs 内存文件系统

  • 管道在内存中的实现本质就是一段内核 buffer 内存，不同的文件操作符（一个读一个写）对这段 buffer 进行读写操作。

  • 用户态：read/write → 内核态 VFS：task_struct→ files_struct → fd_array → fds[0] fds[1] → file0 file1 → file_opts → inode → pipe_inode_info → pipe_bufs

共享内存 （shared memory）

在这里插入图片描述
在这里插入图片描述

创建共享内存

shmget - allocates a System V shared memory segment

#include <sys/ipc.h>
#include <sys/shm.h> 
// 返回根据 key 生成的 shmid
int shmget(key_t key, size_t size, int shmflg);

参数含义：

  • key：唯一标识新创建的共享内存

  • size：共享内存的大小，向上取整成PAGE_SIZE的倍数

  • shmflg：一些标志信息

    IPC_CREAT：根据 key 判断对应的共享内存段是否存在，如果不存在，则创建；如果存在，则返回已经存在的共享内存段

    IPC_EXCL： 和 IPC_CREAT 一起用，如果已经存在 key 对应的共享内存 则失败

    读写权限信息

映射共享内存

  • shmat — 映射共享内存到进程的虚拟地址空间，返回映射的虚拟内存段的起始地址
  • shmdt — 解除映射，如果成功返回 0，否则返回 -1
#include <sys/types.h>
#include <sys/shm.h>

void *shmat(int shmid, const void *shmaddr, int shmflg); 
int shmdt(const void *shmaddr);

参数含义：

  • shmid：共享内存的唯一标识 id，即填入由 shmget 函数返回的值
  • shaddr: 内存映射起始地址，如果是NULL的话，内核会分配
  • shaflg：是一组标志位，通常为0。

注意：创建和映射共享内存操作只是在内核中维护一些数据结构，并没有真的分配物理内存。真正分配物理内存是在访问这块虚拟内存地址中的数据发生缺页异常时，由缺页异常处理程序维护进程页表中的虚拟页号和物理页号的映射关系的。

在这里插入图片描述

这里进程 A 和进程 B 访问的是同一块物理内存上的相同的物理页。

参考代码：

在这里插入图片描述

在这里插入图片描述

共享内存的底层原理是基于 tmpfs 文件系统：https://www.processon.com/view/link/6277c3921e085327716f5971

总结

  • 共享内存的原理：不同进程的虚拟内存地址会映射到相同的物理内存上，这样两个进程通过访问同一块物理内存，达到通信的目的。(一般情况下，不同进程的虚拟地址是映射到不同物理地址的)

  • 在创建共享内存时并没有真的分配物理内存，真的分配是进程在读、写数据的时候，发生缺页异常，由缺页异常处理程序分配共享内存（物理内存）的页号到进程的虚拟页表中

  • 共享内存的底层原理是基于 tmpfs 文件系统， Linux中一切皆文件

问题：mmap 内存映射和 shm 共享内存有什么区别？

  • Linux 中的内存映射是指将一块虚拟地址内存空间和一个文件对象关联起来，以初始化这块虚拟内存的内容，文件对象可以是一个普通磁盘文件，也可以是一个匿名文件（一块只包含二进制零的物理内存）
  • mmap 内存映射时，被映射的对象可以是一个磁盘文件，也可以是一个请求二进制零的匿名对象。如果是前者，在发生缺页异常时，缺页异常处理程序除了需要维护页表外，还需要将磁盘文件内容加载到物理内存中；如果是后者，则就相当于将一块物理内存和虚拟内存进行映射。
  • shm 共享内存映射是直接每个进程将虚拟内存映射到同一块物理内存，不涉及到磁盘文件。shm 保存在物理内存，这样读写的速度要比磁盘要快，但是存储量不是特别大。
  • 所以可以简单的认为 mmap 主要是用于映射磁盘文件的，而 shm 是直接用于映射物理内存的
  • mmap 有一个好处是，把文件保存在磁盘上，当设备机器重启时，这个文件还保存了操作系统同步的映像，所以 mmap 不会丢失，但是 shm 就会丢失。

信号量

在一个进程内，多个线程同时更新共享资源，有数据并发安全问题，解决方案有：

  • ① 原子操作
  • ② 锁机制 - 管程
  • ③ 信号量

多个进程同时更新共享内存（共享资源），也有数据安全问题，解决方案：信号量

IPC 的信号量 (semaphore)

原理思想和并发编程中的信号量是一样的，但是两者的实现完全不同：

  • IPC 的信号量实现很复杂，是在内核态中实现的，而并发编程中的信号量是在用户态实现，基于原子操作实现

  • IPC 的信号量是操作系统层面用于解决多个进程之间的共享内存并发读写问题，并发编程中的信号量用于解决同一个进程的多个线程之间的共享资源读写问题

一个是在内核态实现的，一个是应用程序代码中实现的。

在这里插入图片描述

参考代码：

在这里插入图片描述

消息队列

创建消息队列：msgget - get a System V message queue identifier

#include <sys/types.h> 
#include <sys/ipc.h> 
#include <sys/msg.h>

int msgget(key_t key, int msgflg); // 函数返回返回新创建的消息队列的 id

参数含义：

  • key：唯一标识新创建的消息队列

  • msgflg：一些标志信息

    IPC_CREAT：根据 key 判断对应的共享内存段是否存在，如果不存在，则创建；如果存在，则返回已经存在的共享内存段

    IPC_EXCL：和 IPC_CREAT 一起用，如果已经存在 key 对应的共享内存，则失败

    读写权限信息

发送和接收消息：msgsnd, msgrcv - System V message queue operations

#include <sys/types.h>
#include <sys/ipc.h>
#include <sys/msg.h>

int msgsnd(int msqid, const void *msgp, size_t msgsz, int msgflg); // 返回值：成功返回0；失败返回-1
ssize_t msgrcv(int msqid, void *msgp, size_t msgsz, long msgtype, int msgflg); // 成功返回接收个数，失败，返回-1
  • msqid: 由msgget函数返回的消息队列的标识符
  • msgp: 消息缓冲区指针，指针指向准备发送/接收的消息
  • msgflg: 为0表示阻塞方式，设置IPC_NOWAIT表示非阻塞方式异步接发消息
  • msgsz: 是msgp指向的消息长度，这个长度不含保存消息类型的那个long int长整型
  • msgtype:
    等于0，那么读取消息队列中的第一条消息
    大于0，那么读取消息队列中的第 msgtype 条消息（这里是读取类型等于msgtype的第一条消）
    小于0，那么读取小于等于msgtype绝对值最小的 msgtype 的消息

参考代码：

int main() {
    int mq_id = get_mq_id(); 
    struct msg_buffer buffer;

    printf("enter message type: "); 
    scanf("%d", &buffer.mtype);
    printf("enter message contenit:");
    scanf("%s", &buffer.mtext);

    int len = strlen(buffer.mtext) + 1;

    if (msgsnd(mq_id, &buffer, len, IPC_NOWAIT) == -1) { 
        perror("fail to send message.");
        exit(1); 
    }

    return 0; 
}

#include <string.h>
#include "mq.h" 

int main() {
    int mq_id = get_mq_id(); 
    struct msg_buffer buffer; 
    int type;

    scanf("%d", &type);

    if (msgrcv(mq_id, &buffer, 1024, type, IPC_NOWAIT) == -1) { 
        perror("fail to recv message.");
        exit(1); 
    }

    printf("received message type : %d, text: %s, \n", buffer.mtype, buffer.mtext); 
    return 0;
}
更多推荐

【软考中级】网络工程师：7.下一代互联网

IPv4问题与改进IPv4存在以下著名的问题：网络地址短缺（32位）以二进制数串表示，v4仅有43亿个地址，而IPv6有128位，且以十六进制数串表示。（现在还能用v4得益于NAT地址转换）地址分配不合理：IPv4中有1/3被美国占用了，其大型企业地址数比很多国家都多。路由速度慢：路由表日趋庞大，路由查找速度越来越慢。

ElasticSearch 5.6.3 自定义封装API接口

在实际业务中，查询elasticsearch时会遇到很多特殊查询，官方接口包有时不便利，特殊情况需要自定义接口，所以为了灵活使用、维护更新编写了一套API接口，仅供学习使用当前自定义API接口依赖elasticsearch5.6.3版本，其它版本自行测试修改源码同时为了更好的帮助读者使用，编写了一套查询文档，下载cas

在 Linux 上运行 macOS？OSX-KVM 助你梦想成真！| 开源日报 No.36

isocpp/CppCoreGuidelinesStars:39.4kLicense:NOASSERTIONC++CoreGuidelines是一个由BjarneStroustrup领导的协作项目，旨在帮助人们有效地使用现代C++。该指南侧重于较高级别的问题，如接口、资源管理、内存管理和并发性，并鼓励应用程序架构和库设

docker学习2-基本指令

1、帮助命令dockerversion#版本信息dockerinfo#显示docker系统信息，镜像容器数量docker命令--help#帮助命令2、镜像命令dockerimages查看所有本地主机上的镜像dockerimages-a列出所有镜像dockerimages-q只显示镜像的iddockersearch+镜像

android可见即可说实现方案

依赖于科大讯飞的asr识别能力，使用Android无障碍服务获取页面文本作为热词，注册到讯飞api，注册过后语音识别到热词的asr返回,利用WindowManager和无障碍的点击实现可见即可说功能##&#x20;无障碍服务获取需要注册的热词```packagecom..model;importandroid.acce

设计模式之命令模式

文章目录智能生活项目需求命令模式基本介绍命令模式的原理类图命令模式解决智能生活项目命令模式的注意事项和细节智能生活项目需求看一个具体的需求我们买了一套智能家电，有照明灯、风扇、冰箱、洗衣机，我们只要在手机上安装app就可以控制对这些家电工作。这些智能家电来自不同的厂家，我们不想针对每一种家电都安装一个App，分别控制，

opencv实现仿射变换

什么是仿射变换？代码实现importnumpyasnpimportcv2ascvimportmatplotlib.pyplotasplt#设置字体frompylabimportmplmpl.rcParams['font.sans-serif']=['SimHei']#图像的读取img=cv.imread("lena.p

K8S ingress nginx性能优化

nginx性能主要优化参数：worker_connections和worker_processes是Nginx配置中的两个重要参数，用于控制Nginx服务器的性能和并发连接处理能力。worker_connections：worker_connections参数用于指定每个Nginx工作进程（workerprocess）

OpenCV自学笔记十五：图像轮廓

目录1、查找并绘制轮廓2、矩特征3、Hu矩4、轮廓拟合5、凸包1、查找并绘制轮廓在OpenCV中，可以使用`cv2.findContours()`函数来查找图像中的轮廓，并使用`cv2.drawContours()`函数将轮廓绘制到图像上。下面是一个示例代码：importcv2#读取图像并转换为灰度图像image=cv

AI项目八：yolo5+Deepsort实现目标检测与跟踪（CPU版）

若该文为原创文章，转载请注明原文出处。一、DeepSORT简介DeepSORT是一种计算机视觉跟踪算法，用于在为每个对象分配ID的同时跟踪对象。DeepSORT是SORT（简单在线实时跟踪）算法的扩展。DeepSORT将深度学习引入到SORT算法中，通过添加外观描述符来减少身份切换，从而提高跟踪效率。这是提供两个dem

学习如何编码

在学习编码时感受到一些失败●他在编码旅途之初并没有一个明确的目标；●他从看课程和阅读教程开始，但他只会复制代码，而不关心它是如何工作的。有时候他会复制粘贴代码●他没有通过做小挑战或记笔记来强化他正在学习的东西●他没有练习编程，也没有提出自己的项目想法●当他的代码不是非常干净或高效时，他很快就感到沮丧●他失去了动力，因为

热文推荐
  1. Git 介绍、分布式版本管理软件介绍

    文章目录一.分布式文件版本管理系统二、Git介绍2.1.Git的最基本使用2.2.工作中使用版本管理工具的经验2.3.Git的存储方式简介一.分布式文件版本管理系统在分布式文件版本管理系统到来之前，市面上的文件版本管理软件都是集中式的（svn就是典型的集中式文件版本管理系统），其软件会分为客户端软件和服务端软件两个部分

  2. MySQL的备份与恢复

    备份与恢复一、备份1.1数据备份的必要性1.2数据备份分类1.2.1物理备份1.2.2逻辑备份1.3数据库备份策略1.4常用的备份方法和工具1.5数据库上云迁移二、MySQL完全备份2.1简介2.2物理冷备份与恢复2.2.1物理冷备份2.2.2解压恢复2.3mysqldump备份与恢复1）完全备份一个或多个完整的库（包

  3. web网站学习 apache (一)

    文章目录学习内容apache概述apache模式配置文件详解配置实战基于域名的虚拟主机总结题学习内容web网站学习apachenginxtomcatapache概述ApacheHTTPServer（简称Apache）是Apache软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全

  4. JMeter压测工具介绍、安装及汉化教程，详解安装目录结构

    🧑‍💻作者名称：DaenCode🎤作者简介：CSDN实力新星，后端开发两年经验，曾担任甲方技术代表，业余独自创办智源恩创网络科技工作室。会点点Java相关技术栈、帆软报表、低代码平台快速开发。技术尚浅，闭关学习中······😎人生感悟：尝尽人生百味，方知世间冷暖。📖所属专栏：JMeter实战专栏推荐专门为Re

  5. 【C++】特殊类设计

    文章目录1.设计一个类，不能被拷贝1.C++98的实现方式2.C++11的实现方式2.设计一个类，只能在堆上创建对象3.设计一个类，只能在栈上创建对象4.设计一个类不能被继承4.1C++98的方式4.2C++11之后的方式5.设计一个类，只能创建一个对象（单例模式）重点5.1设计模式5.2单例模式5.2.1饿汉模式5.

  6. 互联网医院|互联网医院系统引领医疗科技新风潮

    互联网的迅速发展已经改变了人们的生活方式，而医疗领域也不例外。近年来，互联网医院应运而生，为患者和医生提供了更便捷、高效的医疗服务。本文将深入探讨互联网医院的系统特点、功能以及未来的发展方向，为您展现医疗行业的新时代。互联网医院的系统特点使其与传统医疗方式截然不同。首先，互联网医院做到了线上线下无缝对接，通过互联网技术

  7. buuctf web [极客大挑战 2019]Http

    进入题目上下翻找了一下，没有什么突破口检查了一下源码，有一个跳转页面点击页面，跳转到了新的地方新页面里没有别的跳转接口但是页面中有提示：Itdoesn'tcomefrom'https://Sycsecret.buuoj.cn'打开burp页面提示要求来自https://Sycsecret.buuoj.cn所以，我们添加

  8. 万字长文详解Webpack5高级优化

    本文从4个角度对webpack和代码进行了优化：1.提升开发体验使用SourceMap让开发或上线时代码报错能有更加准确的错误提示。2.提升打包构建速度使用HotModuleReplacement让开发时只重新编译打包更新变化了的代码，不变的代码使用缓存，从而使更新速度更快。使用OneOf让资源文件一旦被某个loade

  9. Neutron — API Service Web 开发框架

    目录文章目录目录WSGIWSGI的工作原理environ参数start_resposne参数WSGI的中间件WSGIWeb开发框架OpenStack中的应用案例进程入口WSGIApplication加载Paste/PasteDeployRoutesWebObWSGIServer启动WSGIWSGI（WebServerG