Substack Notes 動態

Scott Alexander

我兒子建了一個簡陋的枕頭堡壘。我女兒無法攻破進去，便晃到廚房，趁他無法阻止的時候吃掉了他沒吃完的晚餐。強者為所欲為，智者為所當為。

Azeem Azhar

在 2010 年到 2017 年間，能源變成了一種技術，智慧變得可以被工程化⋯⋯

Sebastian Raschka, PhD

好一陣子沒寫 LLM 架構的文章了。剛好看到 Arcee AI 昨天發布的 Trinity Large 及技術報告，忍不住分享：

• 4000 億參數 MoE（130 億活躍參數）
• 基礎模型效能與 GLM 4.5 base 相近
• 以 3:1 的比例交替使用局部：全域（滑動窗口）注意力層，類似 Olmo 3