arXiv 系统方向追新

eBPF、运行时与系统性能方向的 arXiv 每日精选 · 工作日 14:30 更新

2026-11-05周四

最新一期推荐 2026-11-05

推荐精读eBPF · 内核扩展 · 可观测性cs.OS

用 eBPF 学习数据寿命,自动管理多租户 FDP 放置

eBPF-Driven Adaptive Lifetime-Aware Data Placement for Shared FDP SSDs

Hajin Moon, Taewan Noh 等 7 人

共享服务器上多租户产生的数据寿命类别多于 NVMe FDP 可用的放置句柄,现有方法依赖静态映射或应用知识,无法适应运行时变化。eFDP 基于 eBPF 在未修改应用和原生 Linux 内核上追踪写入与失效,识别寿命类别并估算分离各类可节省的 GC 拷贝,先为每个租户分配句柄,再把剩余句柄分给收益最大的分离方案,租户变化时重新规划。在模拟 FDP SSD 上四个数据库租户场景中,额外写放大的消除量是租户级隔离的两倍,各写入租户吞吐提升 19–23%;在企业级 FDP SSD 上用 3 个句柄达到 RocksDB 手工 5 句柄放置的效果。

关联以 eBPF 追踪 I/O 写入/失效并在线决策,是 eBPF 可观测性驱动资源管理的实例,可对照其追踪路径的开销设计。

  • 租户吞吐提升 19–23%
  • 3 个句柄匹配手工 5 句柄放置
  • 租户切换后 7 分钟内重新规划
  • eBPF
  • 存储与文件系统
  • 追踪与可观测性

最近 6 期精选 35

2026-11-05周四 · 精选 6 · 推荐 1 · 扫描 137

用 eBPF 学习数据寿命,自动管理多租户 FDP 放置

eBPF · 内核扩展 · 可观测性cs.OS › eBPF-Driven Adaptive Lifetime-Aware Data Placement for Shared FDP SSDs 有关联 ›

Hajin Moon, Taewan Noh 等 7 人

共享服务器上多租户产生的数据寿命类别多于 NVMe FDP 可用的放置句柄,现有方法依赖静态映射或应用知识,无法适应运行时变化。eFDP 基于 eBPF 在未修改应用和原生 Linux 内核上追踪写入与失效,识别寿命类别并估算分离各类可节省的 GC 拷贝,先为每个租户分配句柄,再把剩余句柄分给收益最大的分离方案,租户变化时重新规划。在模拟 FDP SSD 上四个数据库租户场景中,额外写放大的消除量是租户级隔离的两倍,各写入租户吞吐提升 19–23%;在企业级 FDP SSD 上用 3 个句柄达到 RocksDB 手工 5 句柄放置的效果。

关联以 eBPF 追踪 I/O 写入/失效并在线决策,是 eBPF 可观测性驱动资源管理的实例,可对照其追踪路径的开销设计。

  • 租户吞吐提升 19–23%
  • 3 个句柄匹配手工 5 句柄放置
  • 租户切换后 7 分钟内重新规划
  • eBPF
  • 存储与文件系统
  • 追踪与可观测性

在机密虚拟机中强制数据外发先登记、再披露

安全cs.CR › Enforcing Accountable Disclosure in Confidential AI

Shumpei Shiina, Haruka Takahashi 等 5 人

机密 AI 让 LLM 处理提示词时不暴露给服务方,但 Agent 常需把提示派生数据发往外部服务,服务方也需要有限披露用于安全监控。CORDE 遵循“Confine or Declare”原则:用户数据默认限制在 CVM 内,外发前必须把内容、接收方和理由写入用户可查、防篡改的声明日志;实现结合了 Rust 中按用户的信息流控制、基于 TEE 的账本和远程证明。在 NVIDIA H100 上,声明机制在 AppWorld Agent 基准上带来约 0.5% 的任务延迟开销。

  • AppWorld 任务延迟开销约 0.5%
  • 安全
  • 虚拟化与容器
  • AI Agent

SSD 内置文件抽象,外设经 NVMe 免主机访问

存储 · 内存 · 文件系统cs.OS › File-Semantic SSD for I/O-centric Architectures with NFS-over-NVMe Protocol

Kyu-Jin Cho, Injae Kang 等 8 人

I/O 中心架构让外设绕过主机 CPU 和内核直接访问存储,但 SSD 只暴露块接口,文件元数据与访问控制依赖主机文件系统,带来软件开销并阻碍完全免主机的 I/O 路径。FS-SSD 在 SSD 内部提供原生文件抽象,采用轻量无状态的 NFS 接口,并提出把 NFS 操作嵌入标准 NVMe 命令结构的 NFS-over-NVMe 协议扩展,可经 PCIe 和 NVMe-oF 支持本地与远程文件 I/O。评估表明 FS-SSD 在提供设备端文件抽象的同时能充分利用裸设备带宽;摘要未给出具体数字。

  • 存储与文件系统
  • 网络

挖掘内核补丁评审演化历史,引导 Agent 生成补丁

内核与虚拟化cs.SE › Beyond Crash-to-Patch: Patch Evolution for Linux Kernel Repair

Luyao Bai, Kenan Alghythee 等 4 人

内核缺陷修复通常被视为从崩溃报告到补丁的直接映射,但实际补丁会在邮件列表上经多轮评审修改。作者重建了 6946 个与 syzbot 关联的修复生命周期,发现被接受的修复常是非局部的,并受报告中没有的评审约束支配;据此构建 PatchAdvisor,结合检索式记忆和微调的诊断顾问来引导编码 Agent。在按时间划分的 syzbot 测试集上,相比无引导和仅检索基线,评审一致性信号和端到端修复质量均有提升,摘要未给出具体数值。

  • 6946 个 syzbot 修复生命周期
  • AI Agent

用启动期重试收敛解决多网卡 Linux 接口命名竞争

内核与虚拟化cs.OS › Deterministic Network Interface Naming on Multi-NIC Linux Systems: A Boot-Time Convergence Approach

Chetan Nigudgi

多网卡 Linux 系统上 systemd-udevd 的并行 worker 同时重命名接口,会因目标名称暂被占用而出现 EEXIST 失败,上游视为非缺陷;迁移到按名称匹配接口的 systemd-networkd 后,重命名失败会直接导致断网。作者结合 systemd .link 文件声明和一个基于重试的 init 服务,在依赖服务启动前检测并恢复重命名失败。在多种多网卡硬件配置上部署后实现 100% 确定性命名。

  • 100% 确定性接口命名
  • 10 页
  • 网络

内存不足的裸机上流式解压安装 OS 镜像

其他cs.OS › Streaming OS Installation from Compressed Partitioned Images on Memory-Constrained Bare-Metal Hosts

Chetan Nigudgi, Chip Cary

裸机部署系统通常先把 OS 镜像解压到内存再写盘,镜像因 AI/ML 工具链、GPU 驱动等变大后,内存不足的主机会部署失败。该方法只解压镜像前 30MB 以提取 GPT 分区表并计算目标文件系统偏移,再通过 64KB 内核管道缓冲把完整镜像流式写入磁盘,解压数据不落内存也不落盘。在生产环境内存受限的裸机集群上实现 100% 部署成功。

  • 100% 部署成功率
  • 7 页
  • 存储与文件系统
  • 内存管理
2026-11-04周三 · 精选 5 · 推荐 2 · 扫描 132

用 eBPF 拆开 GPU 驱动提交路径里看不见的延迟

eBPF · 内核扩展 · 可观测性cs.OS › GHOST Driver 有关联 ›

Azhar Shaikh

nvidia-smi 显示 80% 以上利用率,实际吞吐却低得多,差距耗在 fence 等待、驱动提交、DMA 调度和中断合并等内核路径上,CUPTI 这类用户态工具看不到。GHOST-Driver 挂在稳定的 DRM tracepoint 和少量 kprobe 上,追踪从 ioctl 到 fence 信号的 6 个提交阶段,并按 vGPU 上下文做 SR-IOV / MIG 多租户归因。摘要没有给出与其他工具的对比实验。

关联同样是 eBPF 挂 tracepoint/kprobe 做低开销追踪,覆盖的正是用户态看不到的 GPU 驱动路径;<2% 的 CPU 开销可以作为 bpftime 在 GPU 相关路径上插桩的对照。

  • 亚微秒分辨率
  • CPU 开销 <2%
  • eBPF
  • uprobe / kprobe / tracepoint
  • 追踪与可观测性
  • GPU

用设计模式组织 eBPF/XDP 延迟测量系统,开销基本不变

eBPF · 内核扩展 · 可观测性cs.PF › Software Design Patterns for Latency Measurements with eBPF in SDN Environments 有关联 ›

Pedro Lucas M. S. Rosa, Bruno L. Dalmazo 等 4 人

面向 SDN 的延迟测量,作者用 Observer、Strategy、Factory Method 三种设计模式把 eBPF/XDP 的指标采集和分析流水线模块化,方便动态接入策略和数据出口。实验基于 Mininet、Python agent 和 eBPF/XDP 程序,比较处理时间、开销和演进成本。结论是引入设计模式没有看到明显的性能下降。偏软件工程实践,测量规模较小。

关联主题是 eBPF 可观测性工具的工程组织,对 bpftime 周边工具链的结构设计有一定参考,技术深度有限。

  • 最低开销约 5%
  • ISCC 2026
  • eBPF
  • XDP / 包处理
  • 网络
  • 追踪与可观测性

不重编译,直接往 GPU kernel 二进制里插探针做追踪

eBPF · 内核扩展 · 可观测性cs.PF › Warpline: Binary-Level Tracing and Unified Evidence for Agentic GPU Kernel Optimization 有关联 ›

Junyu Yin, Vinod Grover, Keren Zhou

硬件 profiler 只告诉你各单元有多忙,不告诉你每个 warp 的时间花在哪;现有 kernel 内追踪器要手工放探针并重编译,会改变被测 kernel。Warpline 分析二进制决定记录哪些事件,直接改写二进制插入探针,再把追踪结果和硬件 profiling 数据对齐到同一时间线,供 LLM agent 迭代优化 kernel。在 B200 上测了 35 个 Triton / CuTe DSL / CUDA C++ kernel,也能追踪闭源 kernel。

关联和 bpftime 往 CUDA kernel 里注入 eBPF 探针是同一类问题:二进制级插桩、开销和对原 kernel 的扰动。中位 1.2% 开销、99.9% 指令不变这两个指标可以直接拿来对比。

  • 中位开销 1.2%
  • 99.9% 指令不变
  • 14 页
  • 二进制插桩
  • GPU
  • 追踪与可观测性
  • 性能剖析

在 CPU/GPU 共享内存的设备上,模型加载不该再拷贝权重

边缘 · 实时 · 嵌入式cs.OS › UMLoad: Fast On-Demand Model Loading on Unified Memory Architecture

Zimeng Wang, Jinrong Yang, Rong Chen

现有框架在统一内存(UMA)设备上仍沿用独显的加载流程。UMLoad 把框架的逻辑分配和物理页解耦:用按需重建省掉权重拷贝,用 GPU 辅助清零页来加速分配,同时保留清零带来的安全性。在 Intel、AMD、NVIDIA 三家 UMA 平台和 llama.cpp / PyTorch / vLLM 上实现。

  • 加载时间 −36.6%~71.9%
  • TTFT −51.3%~59.3%
  • 17 页
  • 内存管理
  • GPU
  • LLM 推理服务

给同一台机器上的多个本地 agent 排队执行 shell 命令

Agent 系统cs.OS › ToolSched: Resource-Efficient Tool Scheduling for Shared-Host LLM Agents

Shucheng Zou, Yuhao Gu 等 6 人

ToolSched 是一个 Shell MCP Server。agent 发命令时顺带估计资源需求,服务端结合主机实时负载决定何时执行,把命令错峰排开,避免 OOM 和争用;估计偏差靠预测纠偏和基于 checkpoint 的恢复兜底。思路是利用 agent 对 shell 延迟不敏感这一点。

  • 资源利用率 +148.4%
  • 命令吞吐 +29.4%
  • AI Agent
  • 调度
2026-11-03周二 · 精选 12 · 推荐 2 · 扫描 291

让 LLM 在内核里把“微系统调用”拼成应用要的语义

内核与虚拟化cs.OS › An Agentic OS Kernel for Flexible and Enhanced Semantics 有关联 ›

Haocheng Wang, Xinyue Sun 等 6 人

内核的 syscall 接口通用但僵硬,eBPF 等定制手段受严格的安全和性能限制,而且只能定制机制、不能定制抽象。作者把单体 syscall 拆成可组合的 micro-syscall,新增 isyscall 入口让应用提交高层意图,由 LLM 生成组合计划;已验证的计划会被缓存,关键路径上不跑推理。安全性靠每个 micro-syscall 自身的检查,不依赖 LLM 输出正确。在 Linux 上实现为 IntentOS,跨 4 个内核版本测试。

关联论文把 eBPF 当作内核可定制性的主要对照,讨论它在安全和性能上的限制,可以帮助理解 bpftime 这类扩展机制的定位和边界。

  • 进程创建延迟 −17.55%
  • 多文件操作 +6.97%
  • 内核扩展
  • 系统调用
  • AI Agent

把 agent 的生命周期和沙箱驻留分开,安全地超售内存

Agent 系统cs.OS › TenonAgent: Virtualizing Execution Residency for Memory-Oversubscribed LLM Agents 有关联 ›

Yifan Zhang, Xinkui Zhao 等 11 人

agent 的内存需求随阶段剧烈波动,按峰值预留浪费,激进超售又会 OOM。TenonAgent 做双时间尺度控制:在动作边界按全局内存压力做预测式准入,物化或回收沙箱;工具执行期间用基于 sched_ext 的内核闸门限制并发内存增长。Docker 和 Firecracker 后端都适用。

关联执行期的控制闸门是用 sched_ext(eBPF 调度扩展)实现的,是 eBPF 扩展内核调度器的一个实际用例。

  • 8.6× 超售下成功率 100%
  • 比现有调度器快 5~37×
  • 18 页
  • AI Agent
  • sched_ext
  • 内存管理
  • 沙箱与隔离

用 WASM-SIMD 给 Wasm 中的 QUIC 加密提速,瓶颈转到运行时

编译 · JIT · 运行时cs.CR › Accelerating QUIC Encryption in WebAssembly Using WASM-SIMD 有关联 ›

Sota Yamawaki, Yasuo Okabe

Wasm 没有专用 AES 指令和无进位乘法,已有报告称 Wasm 里的 QUIC 栈只有原生吞吐的 17.6%,加密是最大开销。作者为 AES 和 ChaCha20 写了显式 WASM-SIMD kernel,在 10GbE 上显著提升接收吞吐,而编译器自动向量化几乎没有收益。profiling 结合 Amdahl 定律显示,即使加密达到原生速度,纯 Wasm 栈也只有最快原生栈约三分之一的吞吐,剩下的瓶颈是内存分配、运行时开销和逐包 UDP I/O。

关联把沙箱化字节码运行时的开销拆成加密、内存分配、运行时和 I/O 几类,这种分解方法可以借用到 bpftime 用户态运行时的开销分析上。

  • AES-128-GCM 吞吐 +61.34%
  • 自动向量化仅 +1.28%
  • 纯 Wasm 约为原生 1/3
  • WebAssembly
  • 网络
  • 性能剖析

用 WebAssembly 给航电 ARINC 653 应用定义二进制级接口

编译 · JIT · 运行时cs.OS › Beyond Source Compatibility: WebAssembly as a Stable ABI for ARINC 653 Applications 有关联 ›

Wanja Zaeske, Patrick Siegl 等 6 人

ARINC 653 只在源码层定义 API,内存布局和整数位宽依赖实现,换 OS 往往要改代码重编译。作者先修订头文件消除歧义,再基于 Wasm 定义与 OS 和处理器无关的 ABI,处理数据布局、字节序和函数指针的差异,并用与 Wasm 虚拟机无关的 shim 库在两种 Wasm 运行时、多种架构上跑通分区。

关联用一种字节码作为跨 OS、跨架构的稳定接口,与 bpftime 让同一份 eBPF 程序在不同平台上运行的思路相近,宿主与客体之间数据布局的处理可参考。

  • 22 页
  • 两种 Wasm 运行时验证
  • WebAssembly
  • 嵌入式与实时

移动 GPU 上低比特量化跑不快,问题出在类型转换和 KV 访存

边缘 · 实时 · 嵌入式cs.AR › BitLLM: Efficient Low-Bit, Conversion-Hiding LLM Decoding on Mobile GPUs

Hangyu Zheng, Zhihao Shu 等 7 人

低比特量化在手机 GPU 上效果有限,作者发现瓶颈主要是量化值与浮点之间的频繁类型转换,以及 KV cache 增长带来的低效访存。BitLLM 为 KV cache 设计自适应布局和打包方式,并用整数原生的执行流水线把类型转换推迟、重叠到 MatMul 热路径之外。在现成手机 GPU 上与 llama.cpp、MNN-LLM、LiteRT-LM、MLC-LLM 对比。

  • 比 llama.cpp 快 1.78×
  • 长上下文每 token 能耗最多 −88.9%
  • GPU
  • LLM 推理服务
  • 嵌入式与实时

Linux + MCU 异构板上,把任务迁到 MCU 并不能躲开 Linux 干扰

边缘 · 实时 · 嵌入式cs.AR › QFabric: Guarded Cross-Domain Task Recovery and Its Limits on a Linux-RTOS Board

Ayushman Bhattacharya, Anwesha Chakraborty

作者在 Arduino UNO Q(Cortex-A53 Linux + Cortex-M33 Zephyr)上实测:每次 MCU 调用固定约 19 ms 分派开销,而且调用要经过 Linux 用户态,Linux 一忙 MCU 路径反而被拖得更狠(p99 最高 400 ms,Linux 路径 17 ms)。结论是迁移无法把任务和 Linux 干扰隔离开,守卫机制的主要价值在于阻止有害迁移。作者同时更正了早期版本中由测量缺陷得出的结论。

  • MCU 调用约 19 ms 分派开销
  • 无滞回时 p95 最多恶化 177×
  • 9 页
  • 嵌入式与实时
  • 调度

统一内存边缘设备上,让 GPU 推理别挤爆 CPU 实时任务

边缘 · 实时 · 嵌入式cs.DC › Ripple: Deadline-Aware CPU-GPU Sharing for Embodied Inference

Jiadong Zhang, Xiaosong Ma

统一内存的边缘设备上,LLM/VLM 推理的 GPU 访存会干扰感知和控制等 CPU 实时任务,而 DGX Spark 这类平台既没有带宽计数器,也不能直接限带宽。Ripple 把推理切成可暂停的按层单元,把每个 CPU 任务的截止期余量换算成 GPU 访存字节预算,在线校正干扰估计,必要时收窄 SM 占用。基于 SGLang hook 实现,用四组机器人任务评估。

  • 唯一稳定达到 2% 截止期丢失目标
  • GPU
  • 调度
  • 嵌入式与实时
  • 内存管理

不写调度策略,直接让预训练模型做每一次资源管理决策

资源管理与性能cs.PF › DIMWIT: Directly Invoking Models Without Intensive Tuning

Saarth Deshpande, Neeraja J. Yadwadkar, Venkat Arun

资源管理通常要先开发任务专用的策略,负载或系统一变还得修改。作者提出跳过策略开发,把当前系统状态、目标和可选项交给预训练模型,让它直接做单次决策。在微服务自动扩缩、DRAM 容量设定、视频编码三个场景评估了前沿 LLM 和两个小型决策模型,小模型的效果接近前沿 LLM。

  • DRAM −27.5%(性能 ≥95%)
  • 编码比前沿 LLM 快 4.3×
  • 调度
  • 分布式系统

agent 该读哪些材料,大多可以按项目提前算好并复用

Agent 系统cs.OS › Memorix: Managing Memory Selections for AI Agents

Jing Zhang, Xiaguannan Song 等 5 人

现在的 agent 每次任务临时拼文件进 prompt,成本高、容易漏、出错无法复现,还可能读到错版本的文档。Memorix 用不可变、带版本的 Store 固定每个来源,用 View 把“选什么”和“怎么组合”分开,并让交付的视图随源更新。在 SWE-ContextBench 和 LibEvolutionEval 上与主流 agent 记忆系统对比。

  • 解决率最高 1.5×
  • 摊销成本最多 −100×
  • 构建时间最多 −38×
  • AI Agent
  • 存储与文件系统

阿里的生产级推理引擎如何跟上模型迭代

AI / LLM 系统cs.OS › RTP-LLM: Building an Evolvable and Reliable LLM Inference Engine at Alibaba Scale

Jiarui Guo, Zhi Zhang 等 55 人

架构上把模型相关执行与共享的请求处理、状态管理、资源协调分开,用显式接口把模型改动限制在局部,让模型和部署配置复用公共服务机制。已开源。偏经验总结,适合了解工业推理引擎的分层方式和故障隔离做法。

  • 支持约 100 个模型
  • 日处理数百万亿 token
  • LLM 推理服务
  • GPU
  • 分布式系统

内存取证数据集里的“良性”样本其实没人验证过

安全cs.CR › When Benign Is Unverified: Label-Signal Mismatch and Abstention-First Triage in Graph-Based Memory Forensics

Viraj Rajeshbhai Chudasama, Eduardo Palmieri 等 5 人

作者验证了一条基于图的 Windows 内存镜像分诊流水线。在 MalVol-25 上,透明规则层把全部对照样本都标为可疑;另外两个公开特征级数据集的良性样本也存在同样问题。作者据此质疑相关 ML 分诊结果的可信度,并给出 7 条报告规范。与系统性能关系较弱,偏评估方法论。

  • Windows 内存镜像
  • 7 条报告规范
  • 安全
  • 基准与测量

用 Intel AMX 这类 CPU 内置矩阵单元做私有信息检索

安全cs.OS › High-Throughput Private Information Retrieval with on-CPU Accelerators

Gyuyeong Kim

PIR 每次查询都要扫全库,批处理能共享扫描,但 CPU 上每个查询仍要单独做乘法。AltoPIR 让 AMX 直接从 CPU 缓存取数,每个数据库字节读一次就服务整批查询,中间结果不写回内存,不需要 GPU 等独立加速器。

  • 吞吐最高 50.1×
  • 库可超过 GPU 显存
  • 安全
2026-11-02周一 · 精选 1 · 推荐 1 · 扫描 99

只用前缀查找加一次哈希的轻量级 IP 源地址认证

安全cs.CR › LiHA: Worse is Better for Lightweight Hash-based Source Authentication 有关联 ›

Negin Dehghanchaleshtori, Homit Dalia 等 6 人

互联网至今缺少数据面上的 IP 源地址认证,已有方案依赖路由可信度、拓扑假设、每流状态或大范围部署。LiHA 用最长前缀匹配把密钥绑定到源前缀,每个包只附一个 MAC,数据面不需要握手、每流状态或控制面参与,发送方和验证方都只做一次前缀查找和一次定长哈希。作者分别实现了用户态库、eBPF 程序和 FPGA 三个版本,并明确说明它主要防范离路径伪造,不能消除所有拒绝服务威胁。

关联同一机制的用户态库、eBPF 和 FPGA 实现放在一起比较:用户态库开销很高,eBPF 版用软件哈希也有不错的单线程性能,这组对比可作为 eBPF 执行路径性能讨论的参考。

  • FPGA + DPDK 单线程 100 Gbps
  • 网络
  • 安全
  • eBPF
2026-10-30周五 · 精选 7 · 推荐 1 · 扫描 203

用 WebAssembly 组件做可移植、带沙箱的插桩工具

编译 · JIT · 运行时cs.SE › Write Once, Instrument Anywhere: Portable, Sandboxed Tooling with WebAssembly Components 有关联 ›

Elizabeth Gilbert, Chris Fallin 等 4 人

在多语言系统里做监控和调试,工程师常被迫退到 eBPF 这类底层插桩机制,代价是只能看到字节和数据包、工具不可组合、功能分散,而且工具对程序和环境拥有不受限的访问权。作者提出 Splicer,一个 WebAssembly 组件插入框架:提供应用层语义类型,支持可插拔的工具,可跨语言和硬件移植,并把每个工具限制在显式授权的沙箱里。评估展示了用多种语言编写的复杂工具的可插拔性和性能,摘要没有给出具体开销数字。

关联和 bpftime 解决的是同一类问题:在用户态对应用做可扩展、安全受控的插桩。Splicer 走 Wasm 沙箱加显式权限,bpftime 走 eBPF 加 verifier,两者的安全模型和开销值得对照。

  • WebAssembly
  • 二进制插桩
  • 沙箱与隔离
  • 追踪与可观测性

agent 跑在无网卡的 microVM 里,每个出口都要审批并签名

安全cs.CE › Tracekit Box: Running AI Agents in Micro-VMs Where Every Way Out Is Decided and Signed

Bravish Ghosh

每个任务一个 Firecracker microVM,唯一出口是宿主机经 vsock 提供的几扇“门”:命令、外连、密钥、模型调用和代码补丁。agent 碰不到的签名器决定放行与否并签名留档;密钥不进 VM,只给占位符;结果打包成可离线验证的 .tkb。作者列出了局限,例如尚未使用 Firecracker jailer。MIT 开源。

  • 13 项端到端检查通过
  • 模糊测试修复 9 个问题
  • 20 页
  • AI Agent
  • 沙箱与隔离
  • 虚拟化与容器
  • 安全

把 serverless 推理里的模型加载藏进 DAG 的空闲时间

AI / LLM 系统cs.DC › GearUp: DAG-aware Acceleration for Serverless Inference Serving via Slack-guided Pre-loading

Qi Qi, Yifan Sui 等 5 人

每个 ML 节点要加载库、权重和 CUDA kernel,这些开销沿 DAG 路径累积在关键路径上。GearUp 先分析各节点的加载阶段,再放进上游执行暴露出的 slack 里做,并复用已初始化实例,用随流量自适应的概率式 keep-alive 平衡内存与冷启动。在 L40S GPU 上用两个真实工作流评估。

  • 中位延迟比 SMIless −64.5%~75.9%
  • GPU 内存比 eager 预加载 −83.9%
  • LLM 推理服务
  • GPU
  • 调度

让大量“休眠”模型共享 GPU 上下文,省下显存

AI / LLM 系统cs.DC › PhOSv1: Efficient Scaling of Model Sleeping on a Single Server for Autoscaling with GPU-Context Deduplication

Tianle Sun, Xingda Wei, Rong Chen

vLLM 和 SGLang 的 sleep mode 让扩容几乎零成本,但每个休眠模型都要常驻一份 GPU 上下文,模型一多显存就被吃掉。作者发现这些上下文高度重复:CUDA 上下文可以共享,kernel 二进制也大量重叠。PhOSv1 通过 API remoting 把上下文分配交给中心 daemon 统一去重。

  • 扩容速度与 vLLM sleep 持平
  • IEEE HPCC 2026
  • LLM 推理服务
  • GPU
  • 内存管理

用一个共享页池统一管理 LLM 服务的权重与 KV 等张量

AI / LLM 系统cs.OS › Rimuru: Unified Memory Management for Modern LLM Serving via Elastic Expert Offloading

Zhiyuan Fang, Dingyang Li 等 9 人

现有系统给权重和注意力状态各自固定预留显存,负载变化时无法互相挪用。Rimuru 建共享页池,用“内存视图”让每类张量按自己的页大小和页表解读同一空间,配合可拆分合并的多级页分配器和页表感知的 fused MoE kernel,在专家卸载和 KV 之间按负载动态调页。基于 vLLM。

  • 吞吐最高 19.03×
  • TTFT 平均 −98.1%
  • LLM 推理服务
  • 内存管理
  • GPU

100 ms 粒度、逐 GPU 的 LLM 训练与推理功耗数据集

资源管理与性能eess.SY › LLM-PowerTrace: A Dataset of Time-Resolved GPU Power Traces for AI Compute

Jiansheng Wang, Jaskeerat Singh 等 9 人

现有能耗基准只报焦耳每 token 之类的总量,很少公开时间序列。该数据集覆盖多种模型规模的微调和推理,扫描批大小、序列长度、精度、并行方式、并发、GPU 频率、量化等参数,附完整元数据,并定义了面向电网的指标和功耗缩放规律。

  • 采样间隔 100 ms
  • 数据与代码公开
  • 能耗
  • GPU
  • 基准与测量

KV cache 不再分层,DRAM 和 SSD 当作平级介质

存储 · 内存 · 文件系统cs.DC › FlatCake: A Flat KVCache Storage Architecture for LLM Serving

Xin Huang, Teng Ma 等 10 人

生产负载的复用呈两极:要么是复用距离很长的一次性块,要么是超出 DRAM 的大型 agent 会话,DRAM 作为中间缓存层基本失效。FlatCake 利用 KV 块写一次、不可变、按会话复用的特点,创建时就按会话连续、层优先的顺序直接落到目标介质,之后不迁移,并经 GPUDirect Storage 直读进 GPU。用 Claude Code 生产 trace 评估。

  • 命中率 94%(Mooncake 64%)
  • 峰值负载 TTFT 降低 1.6×
  • 消除 6.5× SSD 读放大
  • LLM 推理服务
  • 存储与文件系统
  • 内存管理
2026-10-28周三 · 精选 4 · 推荐 1 · 扫描 141

用 Rust 做单地址空间微内核,兼顾最小性与能力控制

内核与虚拟化cs.OS › safeL4: Rethinking Safe-Language-Based Single Address Space Microkernels 有关联 ›

Zheyuan Xu, Xiaobei Zhang 等 10 人

基于语言隔离的单地址空间微内核能省掉硬件隔离开销,但难以保持最小性和细粒度的能力控制。safeL4 用低层抽象封装所有 unsafe 操作来保证最小性,并借助安全语言的对象能力,实现覆盖全部系统资源操作的 capability 系统。作者用 Rust 实现了原型。

关联用语言级隔离代替硬件隔离来降低开销,与 bpftime 在用户态靠 verifier 和运行时保证扩展安全是同一类权衡,可借鉴其安全边界的划分方式。

  • 原语平均比 seL4 快 1.9×
  • ASPLOS'27
  • Rust / 安全语言
  • 安全

预测微服务在还没发生的变化下会怎样

资源管理与性能cs.DC › Agar: What-If Analysis for Microservice Applications

Saarth Deshpande, Neeraja J. Yadwadkar, Venkat Arun

不预测精确数值,而是给每个组件学一组既包住全部观测、又足够紧的可解释上下界,组合起来回答端到端 SLO 是否可行;自动扩缩因此变成一个反事实查询:满足 SLO 的最小资源是多少。还能估算运行成本、指出该优化哪个服务的启动时间,并定位性能 bug。

  • CPU 分配比 SOTA 扩缩器 −36.8%
  • 20 页
  • 分布式系统
  • 调度

以分离式内存为中心,重做跨机器的内核页缓存

存储 · 内存 · 文件系统cs.OS › Callosal: Rethinking the Kernel Page Cache for Disaggregated Storage and Memory

James McMahon, Amit Samanta 等 5 人

NFS 这类设计以存储服务器为中心,一致性弱,难以支持并发修改共享文件。作者认为大内存时代真正承担数据访问的是页缓存,于是沿用 Linux 原有页缓存路径,用 RDMA 和可编程交换机构建集群共享页缓存,提供 ext4 / tmpfs 那样的强一致性,同时避开主机端方案的额外网络延迟和瓶颈。

  • 混合读写吞吐为 NFS 的 4.6×
  • KV 负载 4 节点扩展 1.7×
  • 存储与文件系统
  • 内存管理
  • 分布式系统

用 USB 中断器给信息物理系统里的不同数据流分级服务

边缘 · 实时 · 嵌入式cs.OS › USB Differentiated Service for Networked Cyber-Physical Systems

Anton Njavro, Rafiuddin Syed 等 5 人

作者开发了自定义 xDCI gadget 驱动,把 USB 3.0 用作主机间网络,让多条虚拟连接共享一条总线;同时支持等时和批量传输,并把用户态任务的可预测执行与中断处理、数据通信串起来。面向车载控制、机器人等短距通信场景,也适用于设备 I/O。

  • 延迟可预测到 125 µs 微帧
  • USB 3.0 速率
  • 嵌入式与实时
  • 网络
  • 调度