05-05-栈队列-ArrayPool-T-与MemoryPool-T-租借所有权与安全归还

ArrayPoolT 与 MemoryPoolT租借容量、所有权与安全归还系列C# 与常用数据结构源码剖析 · 栈与队列篇阅读时间约 60 分钟前置知识数组、SpanT/MemoryT、GC、IDisposable、async 生命周期版本边界公共语义以目标 .NET 8 reference assembly 和 API 契约为准。ArrayPoolT.Shared的桶、线程本地缓存、每核栈与丢弃策略是固定dotnet/runtime.NET 8 tag 下才能讨论的私有实现。MemoryPoolT不承诺必须由ArrayPoolT或 slab 实现。一、池化解决的是重复使用不是“零分配”高频代码反复new byte[n]会产生托管数组这些数组最终由 GC 发现不可达并回收。对网络 I/O、压缩、解码和序列化等短命大缓冲区场景复用数组可以减少这一路径的新分配和后续 GC 工作。但租借本身不保证无分配。池中可能没有合适缓冲区实现就需要创建新数组或内存所有者池自身需要初始化结构用户的异步状态机、任务、编码器或其他对象也可能分配。池只能减少它所管理的那类对象的部分分配。池化也不保证更快。Rent/Return需要分类、并发协调和所有权管理对小而低频的数组直接分配可能更简单。对含引用的大数组归还时清空还会扫描整段内存。是否值得池化应由目标负载的分配率、GC、延迟与驻留内存数据决定。二、ArrayPool 的公共契约ArrayPoolT提供Rent(minimumLength)和Return(array, clearArray)。Shared是运行时提供的共享池Create可创建具有配置边界的池。最重要的语义是Rent(n)返回长度至少为n的数组不承诺恰好等于n。租借到的内容未必是default(T)可能包含上一使用者遗留数据。租借者在归还前独占数组的使用权归还后不得再读写或暴露任何指向该数组的视图。Return让池可以重用数组不保证实现一定保留它。clearArray: true请求归还路径清理数组默认false不保证对内容清零。static int ReadChunk(Stream stream, ArrayPoolbyte pool, int requested) { byte[] rented pool.Rent(requested); try { // 业务逻辑长度是 requested不是 rented.Length。 return stream.Read(rented, 0, requested); } finally { pool.Return(rented, clearArray: false); } }这个示例只返回读取长度不把租借数组逃逸给调用者。若要返回数据必须在归还前复制出独立结果或者把所有权对象返回给调用者并让它负责归还。三、租借容量与逻辑长度必须分开池常使用离散尺寸桶提高复用率因此请求 1000 个元素可能得到更长的数组。这些桶的精确起点、增长规则和上限属于私有实现不应把当前.NET 8tag 中的数字写成应用程序契约。调用者应单独跟踪有效数据长度public readonly struct RentedSlice { public RentedSlice(byte[] array, int length) { Array array; Length length; } public byte[] Array { get; } public int Length { get; } public ReadOnlySpanbyte Span Array.AsSpan(0, Length); }这个结构仅说明“容量与长度分开”它不是安全所有者它可复制没有Dispose也不能防止归还后使用。生产代码需要明确哪一层负责归还。如果有效长度被丢失遍历整个array.Length会读取未初始化尾部并可能将前一使用者数据当成当前消息发送。四、固定 .NET 8 tag 下如何阅读 Shared 池在与目标 .NET 8 runtime 完整版本对应的dotnet/runtimetag 中可以阅读System.Buffers.ArrayPoolT及共享实现。其目标是将常见长度映射到桶优先从快速线程本地槽位复用在需要时访问每核加锁栈未命中则分配合适数组。归还路径会根据长度、缓存容量和清理参数决定缓存或丢弃。下面是结构化模型不是可编译代码更不是 .NET 8 源码逐字节选Rent(minimumLength) - 计算可容纳请求的桶 - 尝试线程本地槽位 - 尝试每核共享栈 - 必要时尝试相邻桶/分配 Return(array, clearArray) - 必要时清理 - 验证是否对应可缓存桶 - 线程本地交换多余数组转入每核栈 - 缓存已满时可丢弃不要把线程本地槽位说成“每核无锁栈”也不要把后备存储想当然写成ConcurrentQueueT[]。真实数据结构、事件跟踪和内存压力下的修剪策略应按 tag 核对。应用程序应依赖Rent/Return契约而不是假设下一次租借一定拿回同一数组。五、归还要放在 finally但不能归还太早池化数组是一种手动资源。如果处理代码抛异常没有finally就会丢失归还机会数组本身最终仍可由 GC 回收但池的复用率下降这在持续错误流量下会重新引入分配压力。byte[] buffer pool.Rent(requested); try { Use(buffer.AsSpan(0, requested)); } finally { pool.Return(buffer); }反过来finally不能包围得太窄。若向一个异步 API 传入租借内存必须等到该操作完成、取消且不再访问缓冲区或失败并完成清理后才能归还。static async Taskint ReadAsync( Stream stream, ArrayPoolbyte pool, int requested, CancellationToken cancellationToken) { byte[] buffer pool.Rent(requested); try { return await stream.ReadAsync( buffer.AsMemory(0, requested), cancellationToken); } finally { pool.Return(buffer); } }await在try内因此只有异步读操作完成或抛出后才执行归还。如果只创建ValueTask就在finally中归还然后把未完成操作返回调用者底层 I/O 可能继续写入已被另一租借者复用的数组。六、double return 与 use-after-returnArrayPoolT的 API 没有返回一个线性类型C# 类型系统不会阻止你保留多个数组引用。正确性依赖业务约定从 Rent 到 Return 只有一个逻辑所有者只归还一次且归还后所有别名都立即失效。double return 会让同一数组有机会被同时租给两个调用者。不应依赖共享池在所有版本为该误用抛出特定异常这是调用者违反契约。use-after-return 则可以读到下一租借者数据或覆盖它的正在使用内容。byte[] array pool.Rent(256); Spanbyte view array.AsSpan(0, 256); pool.Return(array); // 错误view 也随所有者归还而失效。 view[0] 42;这里SpanT的 ref struct 限制只防止部分堆逃逸和跨 await 使用不知道底层数组已归还池。MemoryT可以跨 await 保存但也不代表它在 owner 释放后仍然有效。视图寿命不得超过底层所有权寿命。七、清理与敏感数据默认租借缓冲区可能含旧内容归还默认也可能不清理。因此代码必须在使用前写入所有将要读取或发送的位置不能依赖新数组式的全零状态。对密钥、凭证、个人数据或跨租借者泄露会形成安全边界的数据应在归还前清理实际敏感区域并根据威胁模型决定是否使用clearArray: true清理整个数组。try { UseSecret(buffer.AsSpan(0, secretLength)); } finally { CryptographicOperations.ZeroMemory( buffer.AsSpan(0, secretLength)); pool.Return(buffer, clearArray: true); }清理整个租借容量可比清理逻辑使用区域贵但只清理逻辑长度必须确保其他位置从未存放敏感数据。Array.Clear的主要契约是设为默认值专用密码清理 API 则表达了防止优化删除的安全意图。还要注意密钥可能已在字符串、编码器中间对象或其他副本中存在清理一个池数组不等于消除所有副本。八、引用类型数组、GC 与 LOHArrayPoolobject一类引用类型数组需要特别关注对象保活。如果归还时不清理池缓存的数组仍然引用所有元素那些元素即使业务上已删除也无法被 GC 回收。对引用数组clearArray: true不只是信息安全也可以是缩短元素寿命的正确性需求。大数组可能进入大对象堆LOH但具体阈值和 GC 行为是实现/版本事实不应在教程中将某个数字写成永久契约。池化可减少反复大数组分配却会让缓存的大数组长期可达把 GC 频率问题转换为驻留内存问题。共享池可以在内存压力或缓存策略下丢弃数组不是所有归还容量都永久驻留。但应用不能指望精确修剪时机来满足内存预算。如果租借尺寸或峰值缓冲区数量可被不受信任输入控制必须在更高层限制消息大小、并发度与总字节预算。九、MemoryPool、IMemoryOwner 与 MemoryMemoryPoolT.Rent(minBufferSize)返回IMemoryOwnerT。Owner 的Memory长度至少满足请求也可能更大调用者仍需要保存逻辑长度并切片。Owner 实现IDisposable释放就是结束底层内存的租借期。static async Taskint ReadOwnedAsync( Stream stream, MemoryPoolbyte pool, int requested, CancellationToken cancellationToken) { using IMemoryOwnerbyte owner pool.Rent(requested); Memorybyte requestedMemory owner.Memory.Slice(0, requested); return await stream.ReadAsync(requestedMemory, cancellationToken); }MemoryT可以存入堆对象并跨过 await这是它相比SpanT的重要用途。但MemoryT不是 owner不会自己延长租期。任何存储在字段、闭包、未完成任务或队列中的MemoryT都必须在 owner.Dispose 之前结束使用。MemoryPoolT.Shared的当前默认实现可能使用托管数组与包装 owner但抽象允许其他实现管理非数组内存、原生内存、固定内存或 slab。因此不能将MemoryPoolT定义成“ArrayPool 的固定封装 Slab 分配”。一个具体自定义池是否使用 slab应阅读它自己的实现和释放契约。十、IMemoryOwner 的所有权转移在多层管线中最容易出错的问题是“谁 Dispose”。有两种清晰规则可供选择借用模式调用方保留 owner被调方只在调用期间使用MemoryT不存储、不释放。转移模式调用方将 owner 整体交给被调方成功转移后调用方不再使用或释放接收者成为唯一释放者。public sealed class OwnedMessage : IDisposable { private IMemoryOwnerbyte? _owner; public OwnedMessage(IMemoryOwnerbyte owner, int length) { if ((uint)length (uint)owner.Memory.Length) throw new ArgumentOutOfRangeException(nameof(length)); _owner owner; Length length; } public int Length { get; } public ReadOnlyMemorybyte Payload (_owner ?? throw new ObjectDisposedException(nameof(OwnedMessage))) .Memory.Slice(0, Length); public void Dispose() Interlocked.Exchange(ref _owner, null)?.Dispose(); }这个包装使Dispose对同一实例幂等并在释放后拒绝新Payload访问。它仍不能让早先取出的ReadOnlyMemorybyte自动失效因此调用者仍需遵守“视图不得超过 message 生命”。若OwnedMessage进入并发管线还要定义 Dispose 与正在读取 Payload 的协调一个原子置空并不会等待旧读者结束。十一、并发语义池可共享租借物不自动可共享ArrayPoolT.Shared和MemoryPoolT.Shared面向并发调用但从池租到的数组或 owner 并不因此获得多线程数据结构语义。多线程可以在业务协议下访问同一缓冲区的不相交范围但调用者必须自己保证不发生数据竞争并在所有任务完成后才归还。byte[] rented pool.Rent(totalLength); try { Task left FillAsync(rented.AsMemory(0, split)); Task right FillAsync(rented.AsMemory(split, totalLength - split)); await Task.WhenAll(left, right); Consume(rented.AsSpan(0, totalLength)); } finally { pool.Return(rented); }如果Task.WhenAll中一个任务失败await 仍会等待组合任务进入完成状态后才进入 finally所以另一个任务不会在数组归还后继续写。如果自己实现“首个错误就提前返回”的组合器必须另外等待所有使用者结束或转移 owner不能仅发出取消就立即归还。高竞争下共享池的线程本地/每核路径能减少部分中央竞争但实际命中率受线程迁移、租还尺寸分布、池修剪和工作负载影响。不能将私有缓存层次推导成固定纳秒延迟。十二、Span 与 Memory 的边界SpanT适合同步处理和局部切片ref struct 限制它不能被装箱或普通地存入堆对象也不能跨过会暂停的 await 保留。MemoryT适合跨异步边界传递视图需要同步访问时再获取.Span。两者都是视图不是所有权。一个 API 接受ReadOnlyMemorybyte并将它保存到字段意味着调用者必须保证底层存储在整个保存期不被修改或释放。如果 API 需要独立保留数据它应复制或在签名中接收IMemoryOwnerT并明确转移契约。对基于MemoryManagerT的非数组存储.Span获取、pin 和 Dispose 还可能有额外契约。不要为了调用需要T[]的老 API 而假设任意MemoryT都能无拷贝取得数组。十三、何时不应使用池对象生命已经很长。如果缓冲区要与缓存、连接或场景存活一样久长期占用租借物会从共享池拿走容量且增加所有权风险。直接拥有一个专用数组可能更清晰。尺寸很小或调用很少。引入 try/finally、长度跟踪和归还契约会增加复杂度。若 profile 中没有相关分配热点不要预防性池化所有局部数组。安全隔离要求不允许重用。某些密码学或多租户边界要求专用固定内存、受控清理和无副本规则。通用共享池并不自动满足威胁模型。调用链无法表达所有权。如果多层缓存、队列和回调都可保存数组却没有一个可证明的唯一归还者池化会把普通 GC 对象变成类似手动内存的错误源。先改造 API再池化。十四、Unity、Mono、IL2CPP 与 BurstUnity 项目必须核对实际 Editor 版本、API Compatibility Level、BCL 程序集、Mono/IL2CPP 后端和目标平台。当前 .NET 8dotnet/runtime的ArrayPoolT.Shared私有分桶结构不是 Unity 目标版本必然使用的源码。即使公共 API 存在命中率、修剪、GC 与并发实现也可能不同。IL2CPP 将托管 IL 转换为 C 并经原生工具链编译不代表托管数组租还变成原生无 GC 内存。ArrayPoolT仍管理托管数组池缓存的数组仍占用 Player 内存并由 Unity 对应托管运行时跟踪。应在真实设备 Player 中用 Profiler 记录分配、GC、峰值与帧时间。Burst 编译的 Job 代码使用受支持的可 blittable 值类型和原生容器不能在 Burst Job 内将托管ArrayPoolT当成原生分配器。NativeArrayT、NativeListT和自定义 allocator 有它们自己的 Dispose、JobHandle 依赖和安全检查不与IMemoryOwnerT契约互换。主线程托管 I/O 可以用数组池进入 Job 前需要设计清晰的数据复制或所有权边界。十五、故障反例反例一把rented.Length当消息长度。这会发送未使用尾部可能泄露旧数据。单独传递实际写入长度。反例二返回租借数组后在 finally 归还。调用者拿到的引用已失去所有权任意时刻可被覆盖。复制结果或返回 owner。反例三认为clearArray: true能修复 double return。清理仅处理内容不恢复唯一所有权。同一数组进池两次仍可被并发租出。反例四取消 async I/O 后立即归还。发出取消不是操作已停止的证据。等待任务进入完成状态后再释放。反例五池化引用数组但从不清理。池会保活整个对象图。在归还前清理有效引用范围或者根据证据选择不池化。反例六每次租借极大数组“避免扩容”。过大容量会增加驻留内存、清理成本和过载攻击面。使用实际上限对不受信任长度先做最大值验证。十六、可复现实验池化实验必须分开稳态吞吐、冷启动分配和驻留内存。只比较一次new与一次热池命中不是有意义的端到端实验。至少设计以下变体直接分配、ArrayPoolT.Shared、专用ArrayPool.Create和MemoryPoolTowner。稳定尺寸、多尺寸分布、超过池常规桶范围的请求与恶意超大输入。单线程租还、多线程对称租还、一组线程租另一组线程还。byte[]不清理、敏感字节整体清理、object[]清理以及故意保留引用的对照。租借后同步完成、跨 await 完成、取消和异常路径。用 BenchmarkDotNet 或同等成熟框架测量处理时间和分配同时用 runtime GC 事件、堆快照和工作集观测驻留。每个结果保存 SDK/runtime 完整版本、对应dotnet/runtimetag、CPU/核数、OS、GC 模式、数组元素类型、尺寸分布、并发度和是否清理。不发布没有原始报告的固定倍数。正确性压力测试可以给每次租借分配逻辑 ID在有效区域写入特定模式归还前验证未被其他所有者改写。这能捕获项目自己的 double return 和过早归还但不应依赖生产池一定很快将同一数组租给另一线程来复现。测试可以注入一个严格 owner tracking 池包装在重复归还和未归还时立即报错。十七、代码审查清单是否单独跟踪逻辑长度从不将租借容量当成有效数据长度每次 Rent 是否恰好有一次 Return/Dispose所有异常和取消路径是否覆盖数组或 owner 的唯一逻辑所有者是谁借用和转移在 API 文档中是否明确是否存在字段、SpanT、MemoryT、未完成 Task、闭包或回调在归还后仍持有别名异步操作是真正完成后才归还还是只发出取消或返回了未完成任务租借内容是否在读取前全部初始化未使用尾部是否可能被发送或序列化敏感数据和引用类型元素在归还前如何清理清理范围是否覆盖所有写入请求长度和并发租借数是否有业务上限池缓存与长期 owner 是否符合内存预算是否用当前 .NET 8 tag 的私有分桶实现推断了 Unity、旧 .NET 或自定义池的行为池化收益是否有目标负载的分配、GC、驻留内存与延迟证据还是只因为“池一定快”结语ArrayPoolT和MemoryPoolT是管理短期可复用容量的工具不是将托管内存变成“零分配、零 GC、自动更快”的开关。ArrayPool 直接暴露数组租还调用者必须自己管理唯一所有权MemoryPool 用IMemoryOwnerT将释放边界对象化但MemoryT视图仍不能活得比 owner 更久。正确使用需要四条不变式租借容量与逻辑长度分开Rent 与 Return/Dispose 一一对应归还前等待所有同步/异步使用者结束归还后任何数组、Span 或 Memory 别名都不再有效。涉及敏感数据或引用类型时清理还是信息隔离和对象寿命契约。最后公共契约与私有池策略必须分开。在固定 .NET 8dotnet/runtimetag 中研究分桶、线程本地槽位和每核栈可以解释一个版本的性能形状但应用不应依赖它。对 CoreCLR、Unity Mono、IL2CPP 和 Burst 各自建立证据用可重现实验同时测量分配、GC、延迟和驻留内存才能知道池化是在解决问题还是只增加了一套手动生命周期。下一篇红黑树原理SortedSet 与 SortedDictionary 背后的数据结构