(相關資料圖)

（圖片來源：OpenRouter官網）

當前，月之暗面已經勾勒出下一代K3模型的發(fā)展藍圖。

楊植麟表示：“在OpenAI建成千億級美元數(shù)據中心之前，K3會推出的。”他透露，團隊正計劃在K3中引入重大的架構變革，“KDA是我們最新的實驗性架構，相關想法很可能會在K3中使用?！?/p>

據介紹，KDA（Kimi Delta Attention，一種線性注意力模塊）在實驗中表現(xiàn)出色，楊植麟表示它在所有評估維度上都展現(xiàn)出性能提升，包括長序列輸入輸出的強化學習場景，同時保持了線性注意力機制的效率優(yōu)勢。

關鍵詞： 財經頻道 財經資訊