【GO】基于共享内存的跨进程通信方案

使用Golang实现了基于共享内存的跨进程通信，高效通信

【GO】基于共享内存的跨进程通信方案

By img Microanswer Create at：Mar 24, 2025, 2:34:27 PM 

Tags： go 跨进程通信 IPC 共享内存

使用Golang实现了基于共享内存的跨进程通信，高效通信

一、背景

最近遇到一新需求，需要将一个功能模块单独提取出来作为一个项目实现，然后这个功能模块可以被编译为一个单独运行的应用，且此应用中的功能可以被其它应用调用，其它应用可以是任意语言实现的。

我希望此功能模块能够高效的为其它应用提供交互能力，为此我不愿使用web、socket 等方案来实现，这不仅效率低，延迟还高。于是我打算使用基于共享内存的方法实现。

二、原理

在 golang 中，我们可以通过 syscall.CreateFileMapping 和 syscall.MapViewOfFile 这两个函数来实现共享内存的创建和映射到应用中读取内存地址。基于这两个函数就可以开始我们的共享内存实现跨进程通信了。

通过共享内存来实现通信，本质上就是两个不同的应用，都可以拿到这块内存的地址，然后读取里面的内容。要实现相互之间的通信，就必须制定一个相互之间的读写沟通规范，从而实现你读我写或我读你写的这么一个状态。下面简单的描述一下本代码实现的沟通规范：

// 口口口口口口口口 | 口 | 口口口口口口口口 | 口 | 口口口口 | 口口口口口口口......口口口口口口口
// 时间戳8字节|读写状态1字节|数据体大小8字节|数据体状态1字节|预留4字节|数据体区(任意字节)

上面一个“口”表示一个字节，这些所有“口”构成一整个共享内存区域的内容。其中被划分为了几个功能区域。

  1. 时间戳区域，占用8个字节：我们定义每10毫秒将发送方的当前时间写入该8个字节中，这样接收方可以通过判断这8个字节读取出来的时间戳和当前时间戳是否小于10毫秒，如果大于了，说明发送方没有运行或断线了。
  2. 读写状态区域，占用1个字节：这里只需要保存 0 和 1 两个值，因此使用1个字节搓搓有余了，0 表示后面的“数据体”的内容无意义，里面的数据没用。1 表示里面的数据是发送方写进去的，并且等待接收方将其读取，接收方读取完成后将该区域的值又设置为 0。发送方发现是0了，认为接收方已读取，并重新写入新值。
  3. 数据体大小区域，占用8字节：这里保存了数据体区域的实际数据长度。
  4. 数据体状态区域，占用1字节：这里保存了一个非常有用的状态，1=数据体的数据是否要发送的数据的部分数据；2=数据体的数据是否是要发送的数据结束部分；这在发送相当大的内容时非常有用，接收方和发送方都会多次分片发送来确保一个很大的数据能够完整被发送和接受。

三、代码实现

下面，是整个代码实现上面的逻辑。

此代码适用于Windows环境，如果是Linux下，那么创建共享内存的实现方式有所不同，你如果要用，需要自己修改那部分代码。
  1. import (
  2. 	"encoding/binary"
  3. 	"fmt"
  4. 	"slices"
  5. 	"syscall"
  6. 	"time"
  7. 	"unsafe"
  8. )
  10. // 口口口口口口口口|口|口口口口口口口口|口|口口口口|口口口口口口口口口口口口口口口口口口口口口口口口口口口口口口口口口
  11. // 时间戳|读写状态|数据体大小|数据体状态|预留4byte|数据体区
  13. const (
  14. 	RW_STATUS_NOTHING = 0
  15. 	RW_STATUS_WAITING = 1
  17. 	DATA_TYPE_THUNK = 1
  18. 	DATA_TYPE_FULL  = 2
  19. )
  21. // uint642bytes uint64 转为
  22. func int642bytes(i int64) []byte {
  23. 	b := make([]byte, 8)
  24. 	binary.BigEndian.PutUint64(b, uint64(i))
  25. 	return b
  26. }
  27. func bytes2int64(b []byte) int64 {
  28. 	return int64(binary.BigEndian.Uint64(b))
  29. }
  31. // 时间戳 偏移量
  32. func _timePosition() (int64, int64) {
  33. 	return 0, 8
  34. }
  36. // 读写状态区 偏移量
  37. func _RWstatusPosition() (int64, int64) {
  38. 	_, end := _timePosition()
  39. 	return end, end + 1
  40. }
  42. // 数据体大小区 偏移量
  43. func _DataLenPosition() (int64, int64) {
  44. 	_, end := _RWstatusPosition()
  45. 	return end, end + 8
  46. }
  48. // 数据体状态区 偏移量
  49. func _DataStatusPosition() (int64, int64) {
  50. 	_, end := _DataLenPosition()
  51. 	return end, end + 1
  52. }
  54. // 预留去空白区 偏移量
  55. func _EmptyPosition() (int64, int64) {
  56. 	_, end := _DataStatusPosition()
  57. 	return end, end + 4
  58. }
  60. type MemSender struct {
  61. 	ID           string // 共享内存的 ID，一般这个应该唯一，多个Sender不能用同一个ID。
  62. 	DataAreaSize int64  // 数据体区大小
  64. 	shareMemSize int64 // 整个共享内存区大小。
  65. 	isWatching   bool
  66. 	handle       syscall.Handle
  67. 	memAddr      uintptr
  69. 	needSendData chan []byte
  71. 	destoryed bool
  72. }
  74. // Send 发送数据
  75. func (s *MemSender) Send(data []byte) {
  76. 	s.needSendData <- slices.Clone(data)
  77. }
  79. func (s *MemSender) Close() {
  80. 	s.destoryed = true
  82. 	err := syscall.UnmapViewOfFile(s.memAddr)
  83. 	if err != nil {
  84. 		fmt.Println(err)
  85. 	}
  86. 	err = syscall.CloseHandle(s.handle)
  87. 	if err != nil {
  88. 		fmt.Println(err)
  89. 	}
  91. }
  93. // 数据体区 偏移量
  94. func (s *MemSender) _DataPosition() (int64, int64) {
  95. 	_, end := _EmptyPosition()
  96. 	return end, s.shareMemSize
  97. }
  99. // 进行时间戳更新
  100. func (s *MemSender) _update() {
  101. 	data := (*[1 << 30]byte)(unsafe.Pointer(s.memAddr))[:s.shareMemSize]
  102. 	for !s.destoryed {
  103. 		now := time.Now().UnixMilli()
  105. 		// 第一位，写入当前时间
  106. 		start, end := _timePosition()
  107. 		copy(data[start:end], int642bytes(now))
  109. 		//fmt.Printf("%v\r", now)
  111. 		// 每 10 毫秒进行一次。
  112. 		time.Sleep(10 * time.Millisecond)
  113. 	}
  114. }
  116. // 进行数据检测并发送
  117. func (s *MemSender) _run() {
  118. 	data := (*[1 << 30]byte)(unsafe.Pointer(s.memAddr))[:s.shareMemSize]
  120. 	// 开始运行时，将数据体内的数据设置为无意义。
  121. 	rwStatusStart, rwStatusEnd := _RWstatusPosition()
  122. 	data[rwStatusStart:rwStatusEnd][0] = RW_STATUS_NOTHING
  124. 	for !s.destoryed {
  126. 		sendData := <-s.needSendData
  128. 		dataPositionStart, _ := s._DataPosition()
  129. 		total := int64(len(sendData))
  131. 		processedLen := int64(0)
  132. 		startOfNeedData := int64(0)
  133. 		//fmt.Printf("来数据了：%v\n", sendData)
  135. 		// 还没发完，就持续发送。
  136. 		for processedLen < total && !s.destoryed {
  138. 			// 先看数据体的读写状态，如果是待读取的，那么不要做任何事情，等待
  139. 			if data[rwStatusStart:rwStatusEnd][0] == RW_STATUS_WAITING {
  140. 				time.Sleep(1 * time.Millisecond)
  141. 				continue
  142. 			}
  144. 			// 不是待读取，说明数据已经被读取，此时写入新数据
  145. 			nextData := sendData[startOfNeedData:min(startOfNeedData+s.DataAreaSize, total)]
  146. 			currentLength := int64(len(nextData))
  147. 			copy(data[dataPositionStart:dataPositionStart+currentLength], nextData)
  149. 			// 写入本次数据体的大小
  150. 			lenPositionStart, lenPositionEnd := _DataLenPosition()
  151. 			copy(data[lenPositionStart:lenPositionEnd], int642bytes(currentLength))
  153. 			processedLen += currentLength
  154. 			startOfNeedData += currentLength
  156. 			// 写入 数据体是否到达尾部
  157. 			isEnd := processedLen >= total
  158. 			isEndStart, isEndEnd := _DataStatusPosition()
  159. 			if isEnd {
  160. 				data[isEndStart:isEndEnd][0] = DATA_TYPE_FULL
  161. 			} else {
  162. 				data[isEndStart:isEndEnd][0] = DATA_TYPE_THUNK
  163. 			}
  165. 			// 标记数据体的数据待读取
  166. 			data[rwStatusStart:rwStatusEnd][0] = RW_STATUS_WAITING
  168. 			//fmt.Printf("已写出%v：%v\n", currentLength, nextData)
  169. 		}
  171. 		//fmt.Printf("已发送完一波：%v\n", processedLen)
  172. 	}
  173. }
  175. func (s *MemSender) Watching() error {
  176. 	if s.isWatching {
  177. 		return nil
  178. 	}
  180. 	s.needSendData = make(chan []byte)
  181. 	s.shareMemSize = 8 /*时间戳区*/ + 1 /*读写状态区*/ + 8 /* 1个数据大小区战8字节 */ + 1 /*数据体状态区*/ + 4 /*预留4byte*/ + s.DataAreaSize /* 数据区 */
  183. 	file, err := syscall.UTF16PtrFromString("Local\\" + s.ID)
  185. 	if err != nil {
  186. 		return err
  187. 	}
  189. 	s.handle, err = syscall.CreateFileMapping(0, nil, syscall.PAGE_READWRITE, 0, uint32(s.shareMemSize), file)
  191. 	if err != nil {
  192. 		return err
  193. 	}
  195. 	s.memAddr, err = syscall.MapViewOfFile(s.handle, syscall.FILE_MAP_WRITE, 0, 0, uintptr(s.shareMemSize))
  197. 	if err != nil {
  198. 		return err
  199. 	}
  201. 	s.isWatching = true
  202. 	go s._update()
  203. 	go s._run()
  205. 	return nil
  206. }
  208. func NewMemSender(ID string) *MemSender {
  209. 	s := &MemSender{
  210. 		ID:           ID,
  211. 		DataAreaSize: 1024 * 1024, // // 默认 1mb 数据区大小
  212. 	}
  214. 	err := s.Watching()
  216. 	if err != nil {
  217. 		panic(err)
  218. 	}
  220. 	return s
  221. }
  223. type MemReceiver struct {
  224. 	ID           string // 指定要从哪个ID的共享内存发送器进行接收
  225. 	DataAreaSize int64
  227. 	shareMemSize int64
  228. 	isPending    bool
  229. 	receiveChan  chan []byte
  231. 	handle  syscall.Handle
  232. 	memAddr uintptr
  234. 	senderOffLine bool
  235. 	destoryed     bool
  236. }
  238. // 数据体区 偏移量
  239. func (s *MemReceiver) _DataPosition() (int64, int64) {
  240. 	_, end := _EmptyPosition()
  241. 	return end, s.shareMemSize
  242. }
  244. func (s *MemReceiver) IsSenderOffLine() bool {
  245. 	return s.senderOffLine
  246. }
  248. func (s *MemReceiver) Pending() error {
  249. 	if s.isPending {
  250. 		return nil
  251. 	}
  252. 	s.receiveChan = make(chan []byte)
  253. 	s.shareMemSize = 8 /*时间戳区*/ + 1 /*读写状态区*/ + 8 /* 1个数据大小区战8字节 */ + 1 /*数据体状态区*/ + 4 /*预留4byte*/ + s.DataAreaSize /* 数据区 */
  255. 	file, err := syscall.UTF16PtrFromString("Local\\" + s.ID)
  257. 	if err != nil {
  258. 		return err
  259. 	}
  261. 	s.handle, err = syscall.CreateFileMapping(0, nil, syscall.PAGE_READWRITE, 0, uint32(s.shareMemSize), file)
  263. 	if err != nil {
  264. 		return err
  265. 	}
  267. 	s.memAddr, err = syscall.MapViewOfFile(s.handle, syscall.FILE_MAP_WRITE, 0, 0, uintptr(s.shareMemSize))
  269. 	if err != nil {
  270. 		return err
  271. 	}
  273. 	s.isPending = true
  275. 	go s._update()
  276. 	go s._run()
  278. 	return nil
  279. }
  281. func (s *MemReceiver) GetData() []byte {
  282. 	return <-s.receiveChan
  283. }
  285. func (s *MemReceiver) Close() {
  286. 	s.destoryed = true
  287. 	err := syscall.UnmapViewOfFile(s.memAddr)
  288. 	if err != nil {
  289. 		fmt.Println(err)
  290. 	}
  292. 	err = syscall.CloseHandle(s.handle)
  293. 	if err != nil {
  294. 		fmt.Println(err)
  295. 	}
  297. }
  299. func (s *MemReceiver) _update() {
  301. 	data := (*[1 << 30]byte)(unsafe.Pointer(s.memAddr))[:s.shareMemSize]
  302. 	for !s.destoryed {
  303. 		// 第一位，获取记录的是发送器写入的当前时间，将其获取出来，如果这个时间和此时超过了10毫秒，说明发送器可能已被关闭。
  304. 		start, end := _timePosition()
  306. 		senderLastUpdateTime := bytes2int64(data[start:end])
  308. 		s.senderOffLine = time.Now().UnixMilli()-senderLastUpdateTime > 10
  310. 		// 每 10 毫秒进行一次。
  311. 		time.Sleep(10 * time.Millisecond)
  312. 	}
  314. }
  315. func (s *MemReceiver) _run() {
  316. 	data := (*[1 << 30]byte)(unsafe.Pointer(s.memAddr))[:s.shareMemSize]
  318. 	// 开始接受数据
  319. 	rwStatusStart, rwStatusEnd := _RWstatusPosition()
  321. 	for !s.destoryed {
  322. 		// 先看数据体的读写状态，如果是无意义的，那么不要做任何事情，等待
  323. 		if data[rwStatusStart:rwStatusEnd][0] == RW_STATUS_NOTHING {
  324. 			time.Sleep(1 * time.Millisecond)
  325. 			continue
  326. 		}
  327. 		// 读取数据体大小
  328. 		lenPositionStart, lenPositionEnd := _DataLenPosition()
  330. 		// 定义一个变量保存收到的数据
  331. 		recData := make([]byte, 0)
  333. 		// 读取数据是否达到结尾
  334. 		isEndStart, isEndEnd := _DataStatusPosition()
  335. 		for !s.destoryed {
  337. 			// 再看数据体的读写状态，如果是无意义的，那么不要做任何事情，等待
  338. 			if data[rwStatusStart:rwStatusEnd][0] == RW_STATUS_NOTHING {
  339. 				time.Sleep(10 * time.Millisecond)
  340. 				continue
  341. 			}
  343. 			dataLength := bytes2int64(data[lenPositionStart:lenPositionEnd])
  344. 			//fmt.Printf("dataLength: %v\n", dataLength)
  346. 			dataPositionStart, _ := s._DataPosition()
  348. 			recData = append(recData, data[dataPositionStart:dataPositionStart+dataLength]...)
  350. 			// 读取完成数据，将读写状态区，修改为 无意义，这样 发送器就会发送下一个数据。
  351. 			data[rwStatusStart:rwStatusEnd][0] = RW_STATUS_NOTHING
  353. 			if data[isEndStart:isEndEnd][0] == DATA_TYPE_FULL {
  354. 				// 接收完成，退出循环
  355. 				break
  356. 			}
  358. 		}
  360. 		s.receiveChan <- recData
  361. 	}
  362. }
  364. func NewMemReceiver(ID string) *MemReceiver {
  365. 	mr := &MemReceiver{
  366. 		ID:           ID,
  367. 		DataAreaSize: 1024 * 1024,
  368. 	}
  370. 	err := mr.Pending()
  372. 	if err != nil {
  373. 		panic(err)
  374. 	}
  376. 	return mr
  377. }
以上代码适用于Windows环境，如果是Linux下，那么创建共享内存的实现方式有所不同，你如果要用，需要自己修改那部分代码。

四、使用方法

这个实现使得我们在实现跨进程通信时变得非常简单：

A 应用中的代码

  1. sender := NewMemSender("com_myapp_a")
  2. sender.Send([]byte("Hello App B"))
  3. time.Sleep(60 * time.Second)

B 应用中的代码

  1. // com_myapp_a 这个值必须和发送方保持一致，相当于是大家一起在这个频道上进行通信。
  2. receiver := NewMemReceiver("com_myapp_a")
  3. data := receiver.GetData()
  4. fmt.Println(string(data)) // 输出：Hello App B

如果你启动 A 应用后，在启动 B 应用，那么你将会看到B应用输出对应发过来的消息。

如果你只启动了B，没启动A，那么 B 会卡在 GetData 这里等待发送消息。

如果发送方多次调用 Send 函数发送数据，而接收方没有读取出数据，那么发送方会在第二次发送时卡住，应为第一次发送的内容还没被读取。

Full text complete, Reproduction please indicate the source. Help you? Not as good as one:
Comment(Comments need to be logged in. You are not logged in.)
You need to log in before you can comment.

Comments (0 Comments)