# AI 编译器：研究地图与第一批硬证据

> 状态：Evidence-backed v1  
> Owner：wangyandong  
> Topic：`ai_compiler`

## 1. 核心定义

AI 编译器的任务是把模型/张量程序的高层语义，经过多级 IR、图优化、张量程序变换、调度与代码生成，映射到 CPU/GPU/NPU/专用加速器，并尽量同时实现：**性能、可移植性、编译速度、动态模型支持、数值正确性、部署成本**。

因此它不是单一软件，而是一条跨层系统链：

`Framework / Python -> Graph Capture -> Portable High-level IR -> Graph Optimization -> Tensor/Kernel IR -> Scheduling/Autotuning -> Backend Codegen -> Runtime`

## 2. 第一批核心生态

| 生态 | 核心定位 | 关键抽象 / 技术 | 研究价值 |
|---|---|---|---|
| MLIR | 多级可扩展编译基础设施 | Dialect、pattern rewrite、多级 lowering | 统一领域 IR 与异构后端 |
| OpenXLA / XLA | ML 图编译器 | HLO、fusion、backend | JAX/TF/PyTorch 到 GPU/CPU/accelerator |
| StableHLO | 稳定可移植高层操作集 | HLO semantic contract | 框架与编译器解耦 |
| Apache TVM | 端到端 ML compiler | Relax、TensorIR、DLight、MetaSchedule | 性能可移植 + 自定义后端 |
| Triton | GPU kernel DSL/compiler | tile-based SPMD、MLIR dialect | 高性能自定义 kernel |
| Gluon | Triton 低层 GPU 编程模型 | layout、shared memory、warp specialization | 在 DSL 生产力与硬件控制间取舍 |
| torch.compile / Inductor | PyTorch 动态程序编译 | Dynamo、FX、Inductor、Triton/C++ | 动态 Python + 图编译主流化 |
| TensorRT-LLM | NVIDIA LLM inference compiler/runtime | kernel selection、fusion、plugin、CUDA Graph | LLM 专用高性能部署 |
| IREE | MLIR AOT compiler/runtime | AOT、CPU/GPU/edge runtime | 数据中心到嵌入式统一部署 |

## 3. 权威证据

### MLIR

- MLIR 官方定位：可复用、可扩展的多级编译基础设施，目标包括异构硬件、领域编译器以及不同编译系统之间的连接。  
  https://mlir.llvm.org/
- 经典论文：Chris Lattner, Mehdi Amini et al., **MLIR: Scaling compiler infrastructure for domain specific computation**, CGO 2021；预印本：  
  https://arxiv.org/abs/2002.11054

### OpenXLA / StableHLO

- XLA 官方定义为面向 GPU、CPU 和 ML accelerators 的开源机器学习编译器，并支持来自 PyTorch、TensorFlow、JAX 等框架的模型。  
  https://github.com/openxla/xla
- StableHLO 官方定义为 ML framework 与 ML compiler 之间的 portability layer。  
  https://openxla.org/stablehlo/spec

### Apache TVM

- TVM 当前官方架构强调 Python-first、universal deployment；IRModule 同时容纳高层 Relax 与低层 TensorIR，并提供 DLight / MetaSchedule 等调度优化机制。  
  https://tvm.apache.org/docs/
- 奠基论文：Tianqi Chen et al., **TVM: An Automated End-to-End Optimizing Compiler for Deep Learning**, OSDI 2018。  
  https://www.usenix.org/conference/osdi18/presentation/chen

### Triton / Gluon

- Triton 当前官方定义：用于并行编程的语言和编译器，以 Python 环境高效编写 DNN compute kernels。  
  https://triton-lang.org/
- 经典论文：Philippe Tillet, H. T. Kung, David Cox, **Triton: an intermediate language and compiler for tiled neural network computations**, MAPL/PLDI 2019。  
  https://research.ibm.com/publications/triton-an-intermediate-language-and-compiler-for-tiled-neural-network-computations
- 当前 Triton 文档还包含 Gluon：更低层的 GPU programming model，显式暴露 layout、shared memory、warp specialization 与 target-specific features。  
  https://triton-lang.org/main/gluon/index.html

### PyTorch Compiler

- `torch.compile` 当前默认 backend 是 `inductor`；PyTorch 文档说明其可结合 Triton/template matmul、autotune、CUDA Graph、epilogue fusion 等机制。  
  https://docs.pytorch.org/docs/stable/generated/torch.compile
- 论文：Jason Ansel, Edward Yang, Horace He et al., **PyTorch 2: Faster Machine Learning Through Dynamic Python Bytecode Transformation and Graph Compilation**, ASPLOS 2024。  
  https://doi.org/10.1145/3620665.3640366

### TensorRT-LLM

- TensorRT-LLM 通过 Model Definition API 和 TensorRT compiler 构建优化 engine；compiler 可做 kernel selection 和 graph fusion，并可通过 plugins 处理复杂融合，runtime 进一步管理 KV cache、batching 与 token sampling。  
  https://nvidia.github.io/TensorRT-LLM/0.19.0/architecture/overview.html

### IREE

- IREE 是 MLIR-based end-to-end compiler/runtime，强调 AOT compilation、dynamic shapes/control flow、CPU/GPU/accelerator 与移动/边缘部署。  
  https://iree.dev/

## 4. 代表人物与研究线

### Chris Lattner / Mehdi Amini / Nicolas Vasilache 等
核心：MLIR，多级 IR、Dialect、异构 lowering、可复用 compiler infrastructure。

### Tianqi Chen / Luis Ceze / Carlos Guestrin / Arvind Krishnamurthy 等
核心：TVM，性能可移植、图级与 operator-level 优化、learned cost model / auto-tuning。

### Philippe Tillet / H. T. Kung / David Cox
核心：Triton，tile-level GPU programming abstraction 与高性能 kernel compiler。

### Jason Ansel / Edward Yang / Horace He 等
核心：PyTorch 2 compiler，TorchDynamo + TorchInductor，把动态 Python bytecode transformation 与 graph compilation 结合。

## 5. 研究判断

### 5.1 多级 IR 已成为主线架构

传统“模型图 -> LLVM”跨度过大。现代 AI compiler 普遍采用多个抽象层保存语义：高层张量图、可移植 IR、tensor program、kernel/target IR 分层 lowering。MLIR 的 Dialect 体系、TVM 的 Relax/TensorIR、OpenXLA 的 StableHLO/HLO 都体现这一趋势。

### 5.2 Kernel DSL 正成为 CUDA 与图编译器之间的关键层

Triton 的价值不是替代整个 compiler stack，而是把高层 operator fusion 与低层 GPU kernel codegen 连接起来；PyTorch Inductor 直接利用 Triton 生成 kernel，使其成为框架编译器的重要 backend language。

### 5.3 LLM 让 compiler 和 runtime 边界模糊

Attention、MoE、KV cache、continuous batching、quantization、collective communication 等优化需要 compiler、kernel library、scheduler/runtime 协同。只优化静态计算图不足以解释端到端 tokens/s。

### 5.4 编译时间成为生产指标

动态 shape、guard failure、autotune、AOT/JIT cache 都会影响冷启动和生产部署。评价 AI compiler 不能只看 steady-state throughput。

### 5.5 NPU 竞争的关键是软件栈

新 AI accelerator 的实际可用性取决于：frontend model coverage、IR expressiveness、operator lowering、auto-scheduling、debugging/profiling、runtime 与生态兼容。Compiler 是芯片商业化的核心护城河之一。

## 6. 建议统一 Benchmark

第一批工作负载：

1. GEMM / fused GEMM + epilogue
2. LayerNorm / RMSNorm
3. Softmax
4. FlashAttention-style attention
5. RoPE + KV cache update
6. MoE routing + grouped GEMM
7. Quantized GEMM (INT8 / FP8 / INT4 视后端能力)
8. 典型 Transformer block

统一输出：

- first compile latency
- recompile count / guard failure
- autotune time
- steady-state latency / throughput
- P50 / P99
- peak memory
- generated kernel count
- fusion ratio
- numerical error
- dynamic-shape coverage
- backend portability
- deployment artifact size

## 7. 商业价值

1. **训练/推理成本下降**：减少 kernel launch、memory movement、低效 operator。
2. **芯片 time-to-market**：更快把 PyTorch/JAX 模型映射到新 NPU/GPU。
3. **模型快速跟进**：长尾新算子、Attention/MoE/quantization 能否快速落地。
4. **跨硬件迁移**：降低模型 × framework × chip 的组合适配成本。
5. **开发者生态**：编译器质量直接决定芯片是否“好用”。

## 8. 下一步深化

- 建立 `compiler × IR × optimization × backend × runtime × hardware` 技术矩阵；
- 建 2018–2026 关键论文时间线；
- 拆解 TorchInductor -> Triton -> LLVM/PTX 实际 lowering 路径；
- 深挖 OpenXLA StableHLO / Shardy 与分布式张量编译；
- 深挖 TVM Relax/TensorIR/DLight/MetaSchedule；
- 对比 TensorRT-LLM、TorchInductor、TVM 在 LLM inference 的职责边界；
- 建立中国/俄罗斯/全球 AI compiler 学术与产业资源图。


## 9. 2026 顶会与产业最新技术雷达

> 更新时间：2026-08-21。以下内容把 ICML / ICLR / MLSys / ISCA 2026 与 NVIDIA 2026 软件栈放到同一个 AI Compiler 坐标系中。论文结果按论文/项目公开结果记录；NVIDIA 性能数字标注为厂商公开数据，不视作独立第三方验证。

### 9.1 ICML 2026：AI Agent 正在进入 Kernel Compiler 的优化内环

ICML 2026 于 2026-07-06 至 2026-07-11 在韩国首尔举行。与 AI Compiler 最相关的信号，不是传统图编译器本身，而是 **LLM/Agent 开始参与 close-to-metal kernel generation、search、profiling 与 hardware adaptation**。

#### KernelBand — Hardware-aware bandit for LLM kernel optimization

- ICML 2026 收录：**KernelBand: Steering LLM-based Kernel Optimization via Hardware-Aware Multi-Armed Bandits**。
- 方法：把 GPU kernel 优化形式化为 multi-armed bandit，通过 profiling bound 做硬件感知剪枝，并利用 trace 聚类组织搜索空间。
- 项目公开结果：相对现有基线最高报告约 `1.91×` 几何平均加速，并提高 Fast@1 成功率。
- 对 AI Compiler 的意义：未来 autotuner 不再只是枚举 tile/config；它可能由 LLM 生成候选、bandit/cost model 决定探索方向、profiler 给反馈，形成 **agentic autotuning loop**。
- Source: https://github.com/TongmingLAIC/KernelBand
- ICML index: https://icml.cc/Downloads/2026

#### KernelCraft — Agent 为新 ISA 直接生成 close-to-metal kernel

- ICML 2026：**KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware**。
- 覆盖 PLENA、AMD NPU、Coral NPU 三类新/定制 accelerator，任务覆盖 primitive、composite 与 end-to-end workload。
- Agent 获取 workload、ISA、hardware spec，通过 compilation check、simulation、correctness feedback 迭代修复。
- 公开结果显示：前沿 reasoning agent 能在此前未见 ISA 上生成可运行 kernel，部分优化 kernel 可达到或超过 template compiler baseline；Coral NPU 的部分代表任务报告 `2–8×` 相对 baseline 加速。
- 对 AI Compiler 的意义：新芯片“cold-start compiler backend”的人力瓶颈可能被改写。传统流程是人工实现 instruction selection / schedule / library kernel；新流程可能变成 **compiler skeleton + executable spec + agent-generated backend/kernel + verification harness**。
- Source: https://arxiv.org/abs/2603.08721
- Project: https://kernelcraft-cam.github.io/

#### KernelFoundry — Evolutionary search + LLM + profiler

- ICML 2026：**KernelFoundry: Hardware-aware evolutionary GPU kernel optimization**。
- 用 MAP-Elites quality-diversity search、meta-prompt evolution、template parameter optimization 探索 kernel design space。
- 不只 CUDA，也使用 SYCL 做跨平台 kernel generation；作者公开结果在 KernelBench 上报告 SYCL kernel 平均约 `2.3×` 相对基线提升。
- 对 AI Compiler 的意义：**LLM 生成代码 + 经典搜索算法 + profiler/cost evidence** 比纯 prompt 迭代更像真正的 compiler optimization pass。
- Source: https://arxiv.org/abs/2603.12440

#### FlashSinkhorn — Triton fusion 说明“算法重写”本身就是编译器优化空间

- ICML 2026 Oral：**FlashSinkhorn: IO-Aware Entropic Optimal Transport**。
- 将 Sinkhorn 中的关键 reduction 重写为类似 attention 的 tiled/fused Triton kernel，减少 HBM 往返与 kernel launch。
- 价值不在 OT 本身，而在方法论：现代 AI Compiler 必须能联合做 **algebraic rewrite + fusion + tiling + SRAM residency**，而非仅做传统 operator-by-operator lowering。
- Source: https://arxiv.org/abs/2602.03067

### 9.2 ICLR 2026：TileLang 对 Triton 抽象层提出直接挑战

#### TileLang: Bridge Programmability and Performance in Modern Neural Kernels

- ICLR 2026 正式论文。
- 核心：显式 tile-level primitive 控制 memory placement、data movement、parallel scheduling；同时提供 tile inference 与 tile recommendation，减少完全手工调参。
- 论文公开结果：在 NVIDIA H100 上部分 workload 相对 Triton 最高报告约 `5×`，AMD GPU 上最高约 `6×`；大量 fused attention kernel 可用少量 Python 表达。
- 对研究专题的意义：未来 GPU DSL 的竞争不是“Python vs CUDA”，而是 **抽象层到底停在 block/tile、layout、warp、pipeline 的哪一层**。抽象太高无法榨出性能，太低则失去生产力和可移植性。
- Source: https://proceedings.iclr.cc/paper_files/paper/2026/hash/76fb92288bf90360c527efb0d1c2aba6-Abstract-Conference.html

### 9.3 MLSys 2026：Compiler × Runtime × AI Agent 三者开始合流

#### Event Tensor — Dynamic Megakernel Compiler

- **Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel**。
- 目标：解决传统 megakernel 难以处理 dynamic shape、data-dependent computation 的问题。
- 用 Event Tensor 表示 tiled task 的依赖关系，编译器自动完成静态/动态 scheduling 并生成 persistent megakernel。
- 论文公开结果包括：fused GEMM + Reduce-Scatter 最多约 `1.40×`，MoE data-dependent workload 最多约 `1.23×`，并显著降低 warm-up；关键价值是对动态 workload 实现 AOT 化、减少 CUDA Graph recapture / runtime recompilation。
- 对 AI Compiler 的意义：下一代 IR 不应只描述 Tensor value，还要能描述 **event / dependency / scheduling state**。
- Source: https://proceedings.mlsys.org/paper_files/paper/2026/hash/53d3f45797970d323bd8a0d379c525aa-Abstract-Conference.html

#### FlashInfer-Bench — AI-generated kernel 的生产闭环

- **FlashInfer-Bench: Building the Virtuous Cycle for AI-driven LLM Systems**。
- 用 FlashInfer Trace 标准化 kernel definition、workload、implementation 与 evaluation；从真实 serving trace 建 benchmark。
- 关键不是 leaderboard，而是 `apply()` 式动态替换机制：优胜 agent-generated kernel 可以注入 SGLang / vLLM 等真实 serving engine。
- 对 AI Compiler 的意义：形成 **generate -> compile -> correctness -> profile -> select -> deploy -> collect trace -> regenerate** 的持续编译闭环。这比一次性的 auto-tuning 更接近“自进化编译系统”。
- Source: https://proceedings.mlsys.org/paper_files/paper/2026/hash/37e44c4b5321605735be9761f9b758fc-Abstract-Conference.html

#### TritorX — 一夜生成新 ASIC 的 PyTorch ATen backend

- **Agentic Operator Generation for ML ASICs**。
- 面向 Meta MTIA 等 accelerator，LLM agent + linter + JIT compiler + PyTorch OpInfo test harness 自动生成 Triton ATen kernel。
- 论文报告生成 `481` 个 unique ATen operator，并通过 `20,000+` 对应测试。
- 研究意义：Agentic compiler 的短期商业价值可能首先出现在 **backend coverage engineering**，而不是完全替代 optimizing compiler；它可以极大缩短新芯片接入 PyTorch 的长尾 operator 工程周期。
- Source: https://proceedings.mlsys.org/paper_files/paper/2026/hash/8c54e9bfed4119c873f575d1d1e2f0a0-Abstract-Conference.html

#### FlashAttention-4 — Blackwell 上“算法 × pipeline × DSL”协同

- **FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling**。
- 针对 B200/GB200 上 Tensor Core 吞吐与 shared-memory / exponential unit 等非对称增长重新设计 pipeline。
- 论文报告在 B200 BF16 上最高约 `1.3×` 相对 cuDNN 9.13、`2.7×` 相对 Triton，并采用 CuTe-DSL Python 实现，作者报告编译时间相对传统 C++ template 路线降低约 `20–30×`。
- 对 AI Compiler 的意义：硬件代际变化会改变 bottleneck；compiler/cost model 必须建模 **asymmetric hardware scaling**，而不是沿用旧 GPU 的调度经验。
- Source: https://proceedings.mlsys.org/paper_files/paper/2026/hash/ae8b0b5838ba510daff1198474e7b984-Abstract-Conference.html

### 9.4 ISCA 2026：编译器进一步下沉到数据流、PIM 与 LLM memory wall

#### CODO — Automated dataflow optimization compiler

- ISCA 2026 program 收录 **CODO: An Automated Compiler for Comprehensive Dataflow Optimization**。
- 信号：面向 accelerator/dataflow architecture，compiler 的搜索对象扩展到更综合的数据流映射，而非仅 kernel schedule。
- Source: https://www.iscaconf.org/isca2026/program/

#### DCC — Processing-In-Memory 专用 ML compiler

- **DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures**。
- 联合优化 data partition 与 compute-loop partition，并利用性能预测模型选择 PIM target 的 schedule。
- 对专题意义：专用 memory-centric hardware 会迫使 compiler IR / scheduler 显式理解 **数据放置、迁移与计算位置**。
- Source: https://github.com/SPIN-Research-Group/DCC

#### Long-context agentic inference 的 memory wall

- ISCA 2026 的 **Combating the Memory Walls: Optimization Pathways for Long-Context Agentic LLM Inference** 等工作说明：当 agentic inference 拉长上下文并增加多轮推理，memory capacity/bandwidth 逐渐与 GEMM throughput 同等重要。
- 编译器需要把 KV/activation placement、communication 与 operator schedule 一体化建模。
- Source: https://www.iscaconf.org/isca2026/program/

## 10. NVIDIA 2026：Tile IR 正成为 NVIDIA 新一代编译抽象

### 10.1 CUDA Tile / Tile IR / cuTile

NVIDIA 在 CUDA 13.x 中把 tile programming 从实验方向推进为正式编程/编译层：

- **CUDA Tile IR**：面向 tile programming 的 virtual ISA / IR；
- **cuTile Python**：Python-native tiled kernel DSL；
- **CUDA Tile C++**：CUDA 13.3 正式加入 C++ 表达；
- 编译器负责把 tile-level program 映射到 thread、data movement、Tensor Core 等具体硬件机制。

这与 Triton / TileLang / CuTe DSL 共同证明：**Tile 正成为 GPU AI Compiler 的关键中间抽象层**。

Sources:
- https://developer.nvidia.com/cuda/tile
- https://developer.nvidia.com/blog/nvidia-cuda-13-3-enhances-gpu-development-in-c-compiler-autotuning-and-python-updates

### 10.2 Triton -> CUDA Tile IR backend

2026-01 NVIDIA 公布 OpenAI Triton 的 CUDA Tile IR backend：

`Triton DSL -> Triton MLIR dialect -> CUDA Tile IR -> NVIDIA GPU`

意义：NVIDIA 不再只让 Triton lowering 到传统 PTX 路径，而是尝试保留更高层 tile semantic，让 NVIDIA 后端在更高抽象层做架构相关优化与 forward portability。

研究判断：如果 Tile IR 成熟，它可能成为 NVIDIA 生态里的 **GPU virtual tensor ISA**，位置类似“PTX 之上、DSL 之下”的结构化优化接口。

Source: https://developer.nvidia.com/blog/advancing-gpu-programming-with-the-cuda-tile-ir-backend-for-openai-triton/

### 10.3 CUDA 13.3 CompileIQ — 编译器 autotuning 正式产品化

NVIDIA 2026-05 的 CUDA 13.3 引入 **CompileIQ compiler auto-tuning framework**。NVIDIA 公布的数据称，在 GEMM、attention 等关键 kernel 上可带来最高约 `15%` 的提升。

这里应把数字视为 NVIDIA 厂商数据；更重要的趋势是：**auto-tuning 从 TVM/Ansor/MetaSchedule 等研究系统的核心能力，进入 CUDA 官方 compiler toolchain。**

Source: https://developer.nvidia.com/blog/nvidia-cuda-13-3-enhances-gpu-development-in-c-compiler-autotuning-and-python-updates

### 10.4 cuTile 2026 更新：specialization、AOT、autotuning

截至 cuTile Python 1.5.0（2026-07-08）：

- shape dimension 可声明为 launch-time compile-time constant；
- 可给 divisibility/alignment assumption，帮助 compiler 证明更宽 memory operation 的合法性；
- autotuning 更快并能隔离 hanging kernel；
- 更早的 1.3.0 已加入 AOT export 与 autotuning API。

这说明 cuTile 已从“简化 kernel 编程”转向真正具备 **specialization + JIT/AOT + tuning + compiler hint** 的 DSL/compiler system。

Source: https://docs.nvidia.com/cuda/cutile-python/generated/release_notes.html

### 10.5 TensorRT 11.x — Builder search 进一步自动化

当前 TensorRT 11.2.1 文档列出 **Global Performance Tuner**：自动探索 TensorRT builder 的内部 build route，benchmark candidate engine，并可结合 accuracy validation 选择方案。

对专题的意义：高层 graph compiler 与低层 kernel compiler 都在吸收搜索/自动调优能力，编译决策越来越像一个“在线实验 + cost measurement”问题。

Source: https://docs.nvidia.com/deeplearning/tensorrt/latest/index.html

### 10.6 TensorRT-LLM 1.x：Compiler 与 Runtime 已经不可分割

NVIDIA 当前 TensorRT-LLM 强调：

- PyTorch-native model authoring；
- modular Python runtime；
- NVFP4 / FP8 / INT4 等 quantization；
- custom attention kernel；
- in-flight batching 与 paged KV cache；
- disaggregated serving；
- expert parallelism；
- speculative decoding（包括 EAGLE-3 / multi-token prediction）；
- 与 NVIDIA Dynamo 结合做大规模 inference orchestration。

Triton Inference Server 26.07（2026-07）容器已经组合 CUDA 13.3.x、TensorRT 11.1、TensorRT-LLM 1.2.1 等组件。

研究判断：LLM Compiler 的单位不再是一个 engine，而是 **engine + kernel set + KV policy + parallel mapping + serving runtime + network topology**。

Sources:
- https://developer.nvidia.com/tensorrt-llm
- https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel-26-07.html

### 10.7 NVFP4：模型 shape 进入 compiler/hardware co-design

NVIDIA 2026 的 model co-design 指南把模型 architecture 直接与 GPU tile efficiency 联系起来，例如建议 linear dimension 对齐 tile size（常见 multiples of 128，并优先考虑更适合 GPU tile 的宽度），并围绕 NVFP4 设计端到端训练/推理路径。

这对 AI Compiler 的影响非常大：未来 cost model 的输入不仅是“已有 graph”，还可能反向影响 **model dimension、MoE topology、precision format、parallelism layout**。Compiler 从后端优化器逐步变成模型设计空间的一部分。

Sources:
- https://developer.nvidia.com/blog/ai-model-co-design-hardware-friendly-llm-design/
- https://research.nvidia.com/labs/eai/blogs/pushing-intelligence-to-4-bit/

## 11. 2026 后的 AI Compiler 新范式

基于上述顶会与 NVIDIA 技术，可以把 AI Compiler 从传统五阶段模型更新为八个协同层：

1. **Model / Program Capture** — Python / framework program capture；
2. **Semantic IR** — StableHLO / Relax / MLIR dialect；
3. **Graph / Megakernel Planning** — fusion、dynamic dependency、event graph；
4. **Tile IR / Kernel DSL** — Triton / TileLang / CUDA Tile / CuTe DSL；
5. **Agentic Kernel Search** — LLM/Agent + compiler + profiler + verification；
6. **Compiler Autotuning** — learned cost / bandit / evolutionary / CompileIQ；
7. **Runtime Co-optimization** — KV cache、batching、parallelism、communication、Dynamo；
8. **Hardware/Model Co-design** — NVFP4、shape alignment、MoE topology、memory hierarchy。

### 关键结论 A：Agent 不会先替代 Compiler，而会先吞掉“Compiler Engineer 的长尾劳动”

最现实的落地顺序可能是：operator porting -> kernel generation -> schedule search -> backend coverage -> compiler diagnosis，最后才是更高层的 pass synthesis。TritorX、KernelCraft、KernelBand、FlashInfer-Bench 已分别覆盖这条链的不同阶段。

### 关键结论 B：Tile IR 是 2026 最值得跟踪的抽象层

Triton、TileLang、CUDA Tile、CuTe DSL 都在争夺 tile-level abstraction。这里决定了生产力、性能可控性、硬件 forward portability 的平衡点。

### 关键结论 C：动态 LLM workload 迫使 IR 表达“事件和运行态”

Event Tensor、MoE、disaggregated serving、KV cache 说明单纯静态 tensor graph 不够。未来 IR 可能需要显式表示 task event、communication、memory lifetime 与 runtime decision。

### 关键结论 D：Benchmark 必须升级

原专题 Benchmark 需要新增：

- agent token / search cost；
- compile+profile iterations；
- correctness fuzz coverage；
- kernel portability across GPU/NPU/ISA；
- backend bring-up time；
- dynamic shape / data-dependent graph warmup；
- end-to-end serving injection 后的真实收益；
- performance regression / numerical drift 风险。

## 12. 建议新增的重点追踪对象

### 学术系统

- KernelBand
- KernelCraft
- KernelFoundry
- TileLang
- Event Tensor Compiler
- FlashInfer-Bench
- TritorX
- FlashAttention-4
- DCC

### NVIDIA 工业栈

- CUDA Tile IR
- cuTile Python / CUDA Tile C++
- Triton CUDA Tile backend
- CompileIQ
- CuTe DSL / CUTLASS
- TensorRT Global Performance Tuner
- TensorRT-LLM
- NVIDIA Dynamo
- NVFP4 / Blackwell hardware-aware model co-design

### 建议下一轮问题

1. **Triton vs TileLang vs cuTile vs CuTe DSL**：谁控制的抽象层最合适？
2. **Agentic compiler 是否真的比传统 autotuner 更省成本？** 需要把 LLM token / profiler / wall-clock search cost 纳入。
3. **CUDA Tile IR 会不会成为 NVIDIA 版“tensor PTX”？**
4. **TensorRT-LLM / TorchInductor / TVM / XLA 的边界是否正在向 runtime 扩展？**
5. **新 NPU 的 compiler bring-up 能否从数月缩短到数天？** 用 TritorX / KernelCraft 设计可验证 benchmark。