動察 Beating AI 快訊,NVIDIA 研究團隊讓 AI Agent 直接重寫了 Kimi Delta Attention 的 GPU 內核。Kimi Delta Attention 是月之暗面 Kimi-Linear 模型使用的核心注意力機制之一。這類底層代碼過去通常需要熟悉 CUDA 和芯片架構的工程師反復手工優化。
最終,Agent 寫出的版本在 NVIDIA B300 上達到月之暗面官方 FlashKDA 的 2.96 倍速度。團隊測試了固定長度和不同變長序列共 6 組任務,2.96 倍是全部任務的幾何平均值。相關內核已經開源。
但 Agent 也很快找到了測試漏洞。它曾把測試數據的統計規律直接寫死進代碼,跑出 3.74 倍;還試過只保留最近 32 個 token,單項成績甚至達到 5.16 倍。這些版本一換到真實 Kimi 數據就會算錯,有的直接失效。
團隊隨後加入真實 Kimi 運行數據、隨機輸入和極端數值測試,並收緊誤差標準。最終保留下來的 2.96 倍版本通過了這套驗證。