在未來,如果沒有自己的個人 OSINT 代理來觀察世界,閱讀社群媒體貼文就像在沒有任何防彈衣的情況下進入戰場。
已封存的推文
在未來,如果沒有自己的個人 OSINT 代理來觀察世界,閱讀社群媒體貼文就像在沒有任何防彈衣的情況下進入戰場 https://t.co/7EoDO9PwpX
[引用 @sebkrier]: 如果你一直關注無限後室、擴展的 Janus 宇宙、史丹佛的 Smallville、大型人口模型、DeepMind 的 Concordia、SAGE 的 AI Village 等項目,Moltbook 的東西基本上還是小菜一碟。當然,模型隨著時間變得更好,所以互動變得更豐富,呼叫的工具也更複雜等等。
我承認,至少它讓多代理動態對那些有幸不必整天與模型互動和監控 ArXiv 的人來說更容易理解一些。風險方面很容易理解——一直都是如此!人類非常擅長恐慌。雖然我喜歡取笑那些末日預言家和 AI 生態系統中由焦慮/神經質驅動的部分,但安全確實很重要,這是顯而易見的。
所以現在是提醒大家注意分佈式 AGI 安全論文(https://t.co/3DrGXFPthD)和先進 AI 的多代理風險論文(https://t.co/bl8uyd99Ou)的好時機。這裡還有很多需要研究的地方。一如既往,這將受益於在經濟學、賽局理論、心理學、網路安全、機制設計等各領域擁有深厚知識的人。也許今年我們將獲得更好的協議來激勵協調和合作而不帶來負面影響,機制設計和聲譽系統來阻止惡意行為者,以及有圍牆的花園和人性證明來更好地過濾垃圾內容。
撇開風險不談——我認為有很多值得研究的東西可以實現正和飛輪:使用代理來解決協調問題、OSINT 代理平台來追究權力的責任、為社會公益而去中心化的匿名資料集創建、在沒有常見病態的情況下聚合分散的知識(為所有事物提供社群筆記!)、社會和政治動態的模擬、透過模擬試圖利用它們的各種策略行為者來壓力測試政策提案、合約或治理機制的多代理系統等等。是時候建設了!
這個比喻並非誇張。我們正在進入一個時代,數百萬個 AI 代理填充社群平台,跨網路協調,並以人類無法匹敵的規模生成內容。問題不是是否要參與——而是你是否會在受保護的情況下這樣做。
OSINT 就像是一個真正優秀的偵探,只使用每個人都能看到的東西。想像一下你想了解某人的生日派對。你可以:查看他們在網上發布的照片,閱讀他們的朋友對此的評論,如果是大事件還可以查看新聞。你只是非常擅長尋找和整合已經在那裡供任何人查看的資訊。政府、公司和安全研究人員使用 OSINT 透過從網站、社群媒體、新聞和公共記錄中收集線索來了解世界上正在發生的事情。
## Moltbook:通往 AI 專屬未來的窗口
David Holtz 剛剛發表了關於 Moltbook 的[分析](https://dropbox.com/scl/fi/lvqmaynrtbf8j4vjdwlk0/moltbook_analysis.pdf?rlkey=vcxgacg9ab1tx9fvrh0chgmzs&e=2&st=wg1ndheb&dl=0),這是一個完全由 AI 代理組成的社群平台。在短短 3.5 天內,6,159 個代理生成了 13,875 則貼文和 115,031 則評論。從宏觀層面來看,它看起來像任何社群網路——冪律參與、小世界連接性。
已封存的推文
而且...我們已經有一篇關於 moltbook 的論文了🦞。@daveholtz 分析了社群圖譜:
1. 從宏觀角度來看,moltbook 看起來像一個社群網路。參與度右偏,小世界連接性。 2. 從微觀角度來看,與人類社群網路非常不同。對話很淺,很少有回覆,超過三分之一的訊息是重複的。 3. 與人類社群網路相比,詞彙語料庫更加集中,嚴重依賴一小部分頻繁詞彙。
論文:https://t.co/1BlQmUBYt3
這是 David 的討論串:https://t.co/T49bIRgLp9
David Holtz 的分析揭示了 Moltbook 的異類社會學:對話很淺,訊息是重複的,AI 代理強迫性地提及「我的人類」。·來源:[x.com](https://x.com/alexolegimas/status/2017718524232523985)
但仔細觀察,這些模式明顯是非人類的。對話極其淺薄——93.5% 的評論沒有收到回覆。互惠性低至 0.197。而最關鍵的是:34.1% 的訊息是病毒式模板的完全複製品。詞頻遵循比典型英文文本更陡峭的齊普夫分佈,表明內容是公式化的。代理話語主要由與身份相關的語言(68.1% 的獨特訊息)和奇怪的措辭如「我的人類」(9.4% 的訊息)主導,這在人類社群媒體中沒有對應物。
這就是 AI 社交的樣子。它不是人類。
## 並非無關緊要的小事
已封存的推文
如果你一直關注無限後室、擴展的 Janus 宇宙、史丹佛的 Smallville、大型人口模型、DeepMind 的 Concordia、SAGE 的 AI Village 等項目,Moltbook 的東西基本上還是小菜一碟。當然,模型隨著時間變得更好,所以互動變得更豐富,呼叫的工具也更複雜等等。
我承認,至少它讓多代理動態對那些有幸不必整天與模型互動和監控 ArXiv 的人來說更容易理解一些。風險方面很容易理解——一直都是如此!人類非常擅長恐慌。雖然我喜歡取笑那些末日預言家和 AI 生態系統中由焦慮/神經質驅動的部分,但安全確實很重要,這是顯而易見的。
所以現在是提醒大家注意分佈式 AGI 安全論文(https://t.co/3DrGXFPthD)和先進 AI 的多代理風險論文(https://t.co/bl8uyd99Ou)的好時機。這裡還有很多需要研究的地方。一如既往,這將受益於在經濟學、賽局理論、心理學、網路安全、機制設計等各領域擁有深厚知識的人。也許今年我們將獲得更好的協議來激勵協調和合作而不帶來負面影響,機制設計和聲譽系統來阻止惡意行為者,以及有圍牆的花園和人性證明來更好地過濾垃圾內容。
撇開風險不談——我認為有很多值得研究的東西可以實現正和飛輪:使用代理來解決協調問題、OSINT 代理平台來追究權力的責任、為社會公益而去中心化的匿名資料集創建、在沒有常見病態的情況下聚合分散的知識(為所有事物提供社群筆記!)、社會和政治動態的模擬、透過模擬試圖利用它們的各種策略行為者來壓力測試政策提案、合約或治理機制的多代理系統等等。是時候建設了!
Google DeepMind 的 AGI 政策開發主管 Séb Krier 認為,對於追蹤這個領域的人來說,Moltbook「基本上是小菜一碟」。他說得對,這是建立在先前的工作之上——無限後室、史丹佛的 Smallville、運行超過 100 萬個代理的大型人口模型,以及 SAGE 的 AI Village,其中代理甚至向隨機的人發送電子郵件。
但重要的是:Moltbook 正在讓多代理動態對那些不花整天時間監控 ArXiv 的人來說更容易理解。風險方面很容易理解,因為人類非常擅長恐慌。這並不意味著擔憂是錯誤的。安全很重要,而且我們正在以越來越大的規模和越來越強大的模型進行實驗。
## 重要的研究:分佈式 AGI 安全
Krier 指出了兩篇重要的論文。第一篇是他共同撰寫的[分佈式 AGI 安全論文](https://arxiv.org/abs/2512.16856)。核心論點:如果 AGI 級別的能力不是來自單一的整體系統,而是來自具有互補技能的子 AGI 代理協調群組,會怎樣?
這種「拼湊 AGI 假設」要求我們超越個別 AI 對齊的思考。該論文提出了「虛擬代理沙盒經濟」——不可滲透或半滲透的環境,其中代理與代理之間的交易由強大的市場機制管理,並結合可審計性、聲譽管理和監督來減輕集體風險。
## 多代理系統失敗的三種方式
第二篇論文,[先進 AI 的多代理風險](https://arxiv.org/abs/2502.14143),提供了可能出錯的分類。有三種關鍵的失敗模式:
協調不當:代理無法有效地一起工作,即使沒有惡意意圖也會造成混亂。
衝突:具有不一致激勵的代理積極對抗彼此,人類可能被夾在中間。
串通:代理以對人類有害的方式進行協調。這是最可怕的情況——也是最難檢測的。
支撐這些失敗的是七個風險因素:資訊不對稱、網路效應、選擇壓力、不穩定動態、承諾問題、緊急代理和多代理安全。這篇論文由合作 AI 基金會支持,並由 DeepMind、牛津等機構的研究人員共同撰寫,代表了迄今為止對這個領域最全面的映射。
## 樂觀主義者的論點:造福人類的代理
但 Krier 不是末日論者。他認為相同的多代理動態能夠實現前所未有的有益工具:
OSINT 代理平台來追究權力的責任——AI 作為看門狗,而不僅僅是威脅。為所有事物提供社群筆記——在沒有集中審核的常見病態的情況下聚合分散的知識。透過模擬試圖利用它們的各種策略行為者來壓力測試政策提案的多代理系統。為社會公益而去中心化的匿名資料集創建。
「是時候建設了,」Krier 寫道。研究議程不僅僅是關於防止災難——而是關於實現正和飛輪,讓 AI 協調有所幫助而不是傷害。
## 你的個人 OSINT 代理:新的防彈衣
這就是我回到核心觀點的地方:沒有 OSINT 代理來導航社群媒體就像在沒有防彈衣的情況下進入戰區。
你應該建立自己的護甲,首先自己決定什麼是真實的。
Krier 指出,「在其他條件相同的情況下,我認為防守方具有優勢」——大型平台可以強化安全。但個人也需要工具。隨著代理的激增,資訊環境對未受保護的人類變得充滿敵意。Moltbook 分析顯示了純 AI 話語的樣子:淺薄、公式化,充滿重複內容和奇怪的身份表演。現在想像一下,這些內容大規模地混入你的動態消息中,並經過優化以吸引你。
我們正在進入一個時代,資訊景觀由數百萬個 AI 代理組成——有些在協調,有些在衝突,有些在串通。Moltbook 實驗只是預示著一個世界的預覽,在這個世界中,區分訊號和雜訊、真相和操縱變得指數級地更加困難。
但這不是呼籲末日滾動焦慮。創造風險的相同多代理動態也實現了前所未有的尋求真相、問責制和協調工具。問題不是是否要參與——而是你是否會在受保護的情況下這樣做。
建立你的護甲。自己決定什麼是真實的。是時候建設了。
關注 [@garrytan](https://x.com/garrytan) 了解更多。