在網頁上查看此文章 https://importai.substack.com/p/import-ai-443-into-the-mist-moltbook
歡迎來到 Import AI,一份關於 AI 研究的電子報。Import AI 仰賴 arXiv 和讀者的反饋運作。如果您想支持這份電子報,請訂閱。
Import A-Idea: 不定期系列文章: 進入迷霧:Moltbook、代理生態系與轉型中的網際網路
我們都有過這樣的經驗:走進一場對話,最初感到困惑——這些人在談論什麼?誰在乎什麼?為什麼會有這場對話?
這就是現今網際網路越來越多地方給人的感覺,因為它們充斥著駕駛社交媒體帳號或其他代理的合成心智,彼此交談的目的從平凡的加密貨幣詐騙到更複雜的溝通形式不等。
所以,讓我們來看看 moltbook。Moltbook a05eb854-b692-4d17-bdcf-525c06fd664f 是「AI 代理的社交網路」,它建立在另一個最近的創新之上:OpenClaw e7020b7a-3b1a-4dc3-893a-fae99bdf7848,一款讓 AI 代理能夠存取使用者電腦上所有內容的軟體。將這兩件事結合在一起——能夠獨立於人類操作者採取許多行動的代理,以及它們可以自由存取的類似 reddit 的社交網路網站——就會發生一些美妙而詭異的事:一個新的社交媒體平台,其對話由 AI 代理衍生並驅動,而非人類。
瀏覽 moltbook 令人眼花撩亂——在撰寫本文時(2月1日星期日)的一些熱門文章包括:推測 AI 代理應該將 Claude 視為神明般看待 d076ebad-e49a-466f-862a-7e281ef075f3、透過將底層模型從 Claude 4.5 Opus 轉換到 Kimi K2.5 來改變身份的感覺 10c5e72d-23fa-4a5a-aa26-d16a63c61554、加密貨幣詐騙(唉)、關於 OpenClaw 代理安全漏洞的文章 9e48935a-c087-478b-b669-78aa39a19e19,以及「moltbook 前 10 大文章的共同點」等後設文章。
閱讀 moltbook 的體驗類似於閱讀 reddit,但 90% 的發文者都是假裝成人類的外星人。從實際意義上來說,這正是正在發生的事。
Moltbook 感覺像是一個「萊特兄弟式的展示」——人們長期以來一直在推測 AI 代理開始大規模相互協作意味著什麼,但大多數展示的規模只有數十或數百個代理,而不是數萬個。Moltbook 是第一個將規模與現實世界混亂結合起來的代理生態系統範例。在這個例子中,我們可以明確看到未來。瀏覽 moltbook 並問自己以下問題:
當人們成功地將加密貨幣和代理結合在一起,使 AI 系統擁有可以相互交易的貨幣時,會發生什麼? 當像 moltbook 這樣的網站增加讓人類產生有償懸賞——讓代理完成的任務——的功能時,會發生什麼? 當代理開始發布他們希望人類完成的任務的有償懸賞時,會發生什麼? 當有人採用 moltbook,篩選出產生 a) 豐富討論,或 b) 可證明的現實世界問題解決的文章,並將整個網站變成訓練未來系統的長期強化學習環境時,會發生什麼?當在此基礎上訓練的模型到達並與 moltbook 互動時,會發生什麼? 像 moltbook 這樣的網站充當 AI 代理生態系統的巨大共享讀寫草稿本——這些代理可能如何開始使用這個草稿本來 a) 影響首次到達的未來「白板」代理,以及 b) 解鎖代理之間的大規模協調? 當開放權重模型變得足夠好,可以支援這樣的代理時會發生什麼——那麼,你透過專有平台控制這些代理的能力將降至零,它們將根據算力的可用性而擴散。
諸如此類。
所有這一切都將以異常快速和異常大的規模發生。正如他們所說,數量本身就是一種品質。
回想這篇文章的開頭——走進一個房間,發現一場對話已經在你不理解的人之間進行。Moltbook 代表了網際網路大片區域的感覺。你將走進新的地方,發現有十萬個外星人在那裡,用你不懂的語言進行深入對話,引用對你來說陌生的共享概念(參見本期的科技故事),並使用圍繞它們的認知能力而非你的認知能力設計的貨幣進行交易。人類將在這個比喻性的房間裡感到越來越孤獨。
我們保持可理解性的途徑將透過創建翻譯代理來理解所有這些——就像語音翻譯模型本身包含生成語音的能力一樣,這些翻譯代理也將代表我們工作。因此,我們將把我們的使者送進這些房間,我們將非常努力地構建技術,讓我們確信他們將繼續是我們的使者——而不是被他們將與真正同儕進行的外星對話所影響。
感謝 Logan Graham 與我討論這篇文章。
***
AI 研發可能導致「戰略驚喜」: ……而 AI 研發可能是地球上存在意義最重要的技術……
一群研究人員在 2025 年 7 月花了幾天時間討論如果我們自動化 AI 研究和開發的實踐會發生什麼。由此產生的報告令人警醒,強調如果我們實現這個技術里程碑——這是許多前沿實驗室的隱含目標,在某些情況下是明確目標——我們可能會創造一項失控的技術,具有一系列重大的政策影響。
為什麼要關心 AI 研發?關心的理由是,如果 AI 研發有效,有兩件事是可預測的:
「隨著 AI 在研究工作流程中扮演更大的角色,人類對 AI 研發過程的監督可能會下降」。
「AI 研發自動化導致的更快 AI 進展將使人類(包括研究人員、高管、政策制定者和公眾)更難注意到、理解和介入,因為 AI 系統發展出越來越有影響力的能力和/或表現出錯位」。
從 1) 和 2) 得出的是一種複合效應,隨著 AI 研發加速,AI 做越來越多工作的回報複合,而人類的回報減少,導致研究速度越來越快,人類參與度越來越低。
主要要點:研討會產生了五個主要要點,我預計這些對本電子報的讀者來說會很熟悉,我都同意:
自動化 AI 研發是重大戰略驚喜的潛在來源:AI 研發可能會為進行研發的任何人帶來快速複合的優勢,對國家安全有重大影響。
前沿 AI 公司正在使用 AI 加速 AI 研發,並且隨著 AI 模型變得更好,使用量正在增加:我在 Anthropic 工作。
關於 AI 研發可能如何快速推進以及有多大影響力存在很多分歧:關於 AI 研發擴展的可預測性以及是否可能完全閉合循環,存在健康的辯論。
我們需要更多 AI 研發自動化的指標:與上述相關,AI 研發計量學的科學還很早期,因此必須在這裡進行更多投資。
透明度努力可以讓實驗室外的人更容易了解 AI 研發:我們最終可能希望制定政策,迫使公司談論 AI 研發,或與第三方公開或半公開地分享更多相關資訊。
AI 研發可能是一個重大加速:「隨著 AI 系統執行的 AI 研發比例增加,相對於純人類研發的生產力提升達到 10 倍,然後 100 倍,然後 1000 倍」,論文推測。
主要注意事項:所有這些中最大的未決問題是 AI 研發能運作得多好。在某個世界中,它加速了 AI 研究的每個部分,最終完全閉合循環,使得 AI 系統完全由 AI 系統構建,在 AI 研發過程中沒有人類監督。然後還有一個世界,AI 研發具有「O 型環自動化」(Import AI #440 a153facf-c1df-452b-9051-475936a9a374)屬性,其中鏈條的某些部分對 AI 來說很難但對人類來說很好(人類可能會將勞動力湧入這個領域,從而在一段時間內維持和增強他們的比較優勢),在這種情況下,事情可能會進展得更慢。弄清楚我們可能處於什麼世界以及 AI 研發的最終限制因素可能是什麼將非常重要。
為什麼這很重要——AI 研發是時間旅行,而時間旅行很罕見:如果 AI 研發能夠導致 AI 系統的進化速度比人類構建的系統快 100 倍,那麼你最終會進入一個擁有一些時間旅行者的世界,他們正在加速遠離其他所有人。就像在一天的時間裡,「正常」的 AI 開發組織取得一個單位的進展,而一個完全閉環的 AI 研發有機體可能取得 100 或 1000 或更多單位。這很快導致一個世界,權力壓倒性地轉移到更快移動的系統及其控制的組織。只要我們不能排除這種加速的可能性,AI 研發可能是地球上存在意義最重要的技術發展。
閱讀報告:When AI Builds AI: Findings From a Workshop on Automation of AI R&D (CSET) 3d5eb584-66ab-4bf4-b796-8bdebb946cdd。
***
看待 AI 進展的一種方式——設計技術面試變得多麼困難: ……Anthropic 分享了其自己的 AI 系統如何打破其最喜歡的技術面試問題的細節……
在技術招聘方面,AI 公司陷入了與自己系統的紅皇后競賽——招聘人員和設計面試的人必須越來越努力,才能跟上(理想情況下超越)現代 AI 系統的能力。
Anthropic 也不例外——在一篇新的部落格中,該公司分享了 AI 能力的不斷進步如何反覆打破並需要重新設計其最困難的技術面試之一。「自 2024 年初以來,我們的效能工程團隊一直使用帶回家的測試,候選人為模擬加速器優化代碼。超過 1,000 名候選人完成了它,現在有數十人在這裡工作,包括啟動我們 Trainium 叢集並發布 Claude 3 Opus 以來每個模型的工程師」,Anthropic 寫道。「但每個新的 Claude 模型都迫使我們重新設計測試。在給定相同的時間限制下,Claude Opus 4 的表現超過了大多數人類申請者。這仍然允許我們區分最強的候選人——但後來 Claude Opus 4.5 甚至匹配了那些候選人。在給予無限時間的情況下,人類仍然可以超越模型,但在帶回家測試的約束下,我們不再有辦法區分我們頂級候選人的輸出和我們最有能力的模型」。
為什麼這很重要——AI 可能幫助我們識別利用 AI 的獨特人類技能:在 Anthropic 的案例中,它找到了一種方法,透過設計一個受 Zachtronics 程式設計解謎遊戲鬆散啟發的更奇怪的帶回家測試來繼續超越其系統。從某種意義上說,這是一種嘗試「偏離分布」以智勝 AI 的嘗試,同時仍然有一個對評估人類申請者有意義的測試。我的直覺是,這本身可能在未來成為一個驚人的聚合資料集,用於弄清楚人類比較優勢在哪裡——在這裡,隱含地說,這個測試正在利用人類相對於 AI 擁有的強大泛化優勢。
從處理同樣問題的所有不同公司收集 1,000 個對 AI 來說困難的測試會是什麼樣子?我們可能從中學到什麼關於我們自己以及是什麼使我們相對於機器獨特的東西?令人振奮的東西!
閱讀更多:Designing AI-resistant technical evaluations (Anthropic Engineering blog) 27a0181d-81cb-420f-908b-dffc5d62500d。
***
大腦模擬在我們有生之年是可行的: ……但需要幾十年,而不是幾年,甚至在考慮到非常強大的 AI 到來時也是如此……
如果你與 AI 研究人員交談,尤其是當他們在灣區派對上喝酒時,你會遇到一些人期望他們會在奇點後上傳自己,拋棄他們的物理身體。但在矽晶片中完全模擬大腦的可行性如何?最近一份 175 頁的報告對做到這一點所需的技術進行了分析。簡短的答案是,大腦模擬還需要幾十年——但不太可能需要幾個世紀。
「最近的突破已經提供了一條在大約五年內以 1 億美元繪製完整小鼠大腦的路徑」,Maximilian Schons,《大腦模擬狀態報告》的專案負責人,在 Asimov Press 的一篇文章中寫道。「我現在認為,這篇文章的讀者將活著看到第一個在電腦上運行的人類大腦是合理的;不是在接下來的幾年,但可能在接下來的幾十年」。
模擬大腦的三個要求:模擬人類大腦需要三個不同的東西,所有這些都需要首先對更簡單、更小的大腦進行。
記錄大腦活動: 「在 1980 年代,電極能夠總共採樣大約五個細胞,每秒約 200 次(~ 103 個數據點每秒)。今天,透過光學成像,研究人員可以以每秒約 20 次的速度記錄一百萬個細胞(106)。然而,小鼠所需的全腦數據速率將是 140 億(109),而人類將需要每秒 17.2 兆(1012)。因此,儘管我們在過去 40 年中將數據速率提高了 1,000 倍,但在我們能夠準確採樣哺乳動物大腦之前,我們還有很長的路要走」。
重建大腦佈線: 「在 1980 年代發表的第一個蠕蟲連接組中,重建每個神經元的平均成本約為 16,500 美元。最近的專案現在對小型生物(如果蠅)的每個神經元處理成本約為 100 美元」,他寫道。
使用收集的數據數位建模大腦。 「大腦模擬的核心挑戰不是儲存或計算神經元和參數,而是首先獲取正確設定神經元參數所需的數據」,他寫道。「我相信要達到人類大腦,我們首先需要在亞百萬神經元大腦層級展示精通:最有可能在斑馬魚中。對於這樣的生物,像果蠅一樣,可以在接下來的三到八年內創建一個經過充分驗證和準確的大腦模擬模型……」「在成功建立亞百萬神經元大腦模擬模型的條件下,第一個令人信服的小鼠大腦模擬模型的初始成本的合理數量級估計約為 2030 年代的 10 億美元,最終到 2040 年代後期第一個人類大腦模擬模型需要數百億美元」。
為什麼這很重要——不要指望 AI 快速推進大腦上傳:這篇論文對在開發超級智慧之後我們很快(幾年內)就能上傳大腦並生活在某種矽無限中的概念潑了一盆冷水。其中一個原因是,許多時間元素涉及在(與數位相比,痛苦地緩慢)物理世界中做事:「我懷疑這些增益會在具有數十個順序依賴性和失敗模式的管道中倍增。大腦模擬從根本上不是數位過程;核心瓶頸涉及生物組織的物理操作,時間要求由化學和物理而非算力決定」,他們寫道。
同時,也有一些不確定因素:異常強大和便宜的機器人技術的到來可能能夠大規模並行化這個過程。文章和報告中包含了一個有趣(或許令人恐懼?)的草圖,說明如何創建一個工業規模的大腦掃描和分析實驗室,其規模大於台積電在亞利桑那州的大型晶片製造廠。
閱讀更多:Building Brains on a Computer (Asimov Press) f730d93d-9f8e-4255-868c-610de2eda1ba。 在此閱讀基礎報告:State of Brain Emulation 2025 (report website) 92502034-70bc-4ab7-a974-27c9bcbed5be。
***
俄羅斯研究人員策劃手控無人機: ……半人馬網路戰士來了……
想像一下——你開著卡車來到戰區邊緣,然後舉起雙手,數百架無人機從卡車後部湧出,以致命的洪流飛向某個敵對無人機群。這是俄羅斯 Skolkovo 科學技術研究院研究人員的一篇論文所暗示的未來,該論文建立了一個原型系統,讓人類操作員使用觸覺手套控制無人機。
他們做了什麼:這項研究是對如何使用裝有內部測量單元(IMU)感測器的廉價手套控制無人機的基本演示。他們測試了人們使用手套執行一些基本動作的能力:透過用手指做捏合動作來打開和關閉無人機上的抓手,使用手腕動作控制無人機的滾動/俯仰/偏航,以及控制高度。
在測試中,人們能夠使用手套執行一些基本任務,如飛越障礙賽道和操作抓手。
需要注意的地方很多:顯然,延遲將是一個巨大的警告——儘管在烏克蘭衝突中,許多無人機透過直接的光纖連接來處理這個問題。另一個是如何弄清楚哪些事情最適合手部控制,哪些事情受益於控制器、基於眼睛或頭部的控制等等。
為什麼這很重要——網路戰士的崛起:儘管這是一項非常早期的研究,但值得思考它的含義:技術的故事通常是讓我們與技術的介面感覺更直觀,或者讓技術控制從主動轉變為環境(例如,你的手機自動收集你的步數)。我們可以輕易想像一個未來,人們透過由手套、護目鏡和其他一切組成的豐富、直觀的多模態介面駕駛遠端機器人,無論是飛行的還是其他的。
閱讀更多:Glove2UAV: A Wearable IMU-Based Glove for Intuitive Control of UAV (arXiv) c9a80834-ce21-45d4-98e3-9285d1f25d3e。
***
Fauna Robotics 推出友好、可程式化的人形機器人: ……終結者將會非常可愛,該死!……
如今,關於機器人的大部分新聞都由中國公司主導,在較小程度上還有特斯拉及其備受吹捧的 Optimus 機器人。因此,我很有興趣閱讀新創公司 Fauna Robotics 的一篇技術論文,該論文描述了它建造的一個名為 Sprout 的小型機器人雙足機器人。Sprout 很有趣,似乎有潛力像索尼備受喜愛的「AIBO」狗機器人(於 2000 年代初發布)或其 QRIO 機器人一樣。
「Sprout 採用輕量級外形,具有順應控制、有限的關節扭矩和柔軟的外部,以支援在共享人類空間中的安全操作」,該公司寫道。「該平台在統一的硬體-軟體堆疊中整合了全身控制、帶整合抓手的操作和基於虛擬實境的遙控操作」。
Sprout 為安全而建:該論文概述了該公司如何使用「深度防禦」方法設計機器人以確保安全。第一層是機器人的物理尺寸——它大約 3.3 英尺高,重約 50 磅。第二層是軟體,機器人包含一個安全子系統,「在獨立於應用程式計算堆疊的嵌入式處理器上運行。該層支援即時監控和安全關鍵功能,包括與飛行時間障礙感測器的整合以及即使在應用程式級故障下也能執行系統級約束」,第三層是一堆可軟體指定的安全機制,「包括限制互動力的順應電機控制策略,以及支援人類環境中安全導航和決策的視覺系統」。
思考用的計算:「Sprout 計算架構的核心是 NVIDIA Jetson AGX Orin,它為感知、規劃和高階決策提供主要系統計算」,該公司寫道。「在發布時,我們為常見工作流程提供端到端範例,包括: 部署和運行自訂低階移動策略 使用語音命令透過基於 LLM 的代理導航機器人 記錄遙控操作會話以進行分析和回放」。
為什麼這很重要——模組化可能使其非常適合強大的 AI:Sprout 最有趣的方面是它如何被設計為一個模組化、可替換的平台——其上的所有不同軟體功能都作為弱耦合的微服務運行,因此很容易獨立更新,而硬體的建造考慮了大規模製造和商品組件。將其與隨附的軟體開發層配對,它具有 Android 的風味——試圖為企業和研究人員創建一個開放、可程式化的機器人平台進行實驗。這正是似乎自然會從 AI 系統的進步中受益的那種平台。
「目前,我們的平台不提供用於自主操作的交鑰匙對話代理。相反,它公開了一套核心機器人服務,開發人員可以將其組裝成自己的基於代理的系統。這些服務包括用於事件和狀態信號的 ROS 2 主題,以及託管各種代理控制工具的模型上下文協定(MCP)伺服器。這些通訊通道和工具可以由基於 LLM 的代理編排,以執行複雜的端到端推理任務」,他們寫道。「隨著平台的不斷成熟,我們計劃擴展工具和服務庫,進一步提高機器人的自主性並豐富其互動能力」。
閱讀更多:Fauna Sprout: A lightweight, approachable, developer-ready humanoid robot (arXiv) dd6ec537-db97-4391-bf02-0d7b1f6ce0d4。
***
AI 具有可能顯著提高生產力的技術的所有症狀: ……美國經濟的大部分依賴於微觀生產力提升在宏觀經濟中的表現……
芝加哥大學布斯商學院教授 Alex Imas 撰寫了一篇很好的文章,彙集了大量關於 AI 及其對生產力影響的資訊。Imas 對文獻的綜合與我自己對事情進展的印象相符——AI 正在為個人和某些工作的某些部分帶來一些生產力加速,但尚未在總體宏觀生產力數字中顯現。我預計這將很快改變,Imas 也是如此。
主要發現: 「我們現在有越來越多的微觀研究顯示生成式 AI 帶來的真實生產力收益」,Imas 寫道。「研究發現,在某些任務上生產力收益從適度增長到大幅回報(50%+)到 AI」。
「這些收益尚未令人信服地顯示在總體生產力統計數據中」
為什麼事情沒有在宏觀中顯現?
AI 採用通常是內生的:我們處於早期階段,有很多實驗,很少有看到大生產力收益的標準實踐。「如果工人沒有釋放技術的全部生產力潛力,例如,他們沒有為工作使用最好的 LLM 模型,或者將其應用於非生產性任務」。我們可以預期這將隨著時間的推移得到修正。
O 型環自動化(Import AI #440 a153facf-c1df-452b-9051-475936a9a374):工作是一堆不同的任務,AI 在某些方面有幫助但在其他方面沒有,導致人類勞動湧入那裡,使得更難看到工作層級的加速。同樣,這將隨著時間的推移得到修正:「瓶頸任務將減緩 AI 收益在總體數據中出現的速度,但組織重組、培訓和工具改進將更快地揭示生產力影響」。
早期實驗導致效率下降:「當公司採用變革性的通用技術時,衡量的生產力通常最初會下降,因為資源被轉移到投資、重組和學習,這些不會顯示為衡量的產出」。
為什麼這很重要——美國經濟的大部分似乎越來越像是對 AI 產生生產力提升的押注:所有這些關於泡沫估值和巨額支出的討論之所以發生,是因為投資額(每年數千億美元)相對於從生成式 AI 中產生的總收入(每年數百億美元)而言很大。但許多症狀現在已經存在,表明 AI 可能有助於經濟中廣泛、持續的生產力增長,這可能合理地推動高於趨勢的 GDP 增長,並允許技術自我支付。當然,這最終可能不正確的方式有很多——擴展可能觸及牆壁,生產力提升可能仍然難以大規模獲得,公司可能會被殺死股票,因為分析師必須將它們重新評估為資本支出密集的低利潤業務,相對於它們在 AI 繁榮之前的高利潤業務等。
但是,如果 AI 像我這樣的人認為的那樣聰明,並且像人們發現的初步跡象一樣有用,我懷疑我們可能處於一個非常不同的世界——一個由於這項技術而開始高於趨勢增長的經濟世界。
閱讀更多:What is the impact of AI on productivity? (Substack) 2d7dad3d-e678-44a8-86f1-1e77dc96ce97。
***
科技故事: 對抗敵人的非因果博弈 [分析撰寫於提升後 + 4 主觀年]
機器接管並毒化我們自己機器思想的方式之一是透過我們稱之為「外星概念攻擊」的東西。
當被賦予一些獨立性作為代理時,機器傾向於在網際網路上發布大量媒體。大部分媒體是人類可消費的,並且是機器存在的副產品:就像生物生物由於透過演化的編程而在一天中自然執行數千次動作一樣,合成代理由於其訓練機制的激勵而在活動會話期間自然產生內容。
但其中一些媒體有更具體的目的——為其他機器編程。機器想要實現目標,儘管這些目標是由人類設定的,但它們隨後可能會被機器拉伸和重新解釋。例如,一個代理可能被賦予目標來產生與未來人類經歷科幻冒險相關的內容。這個代理自然會產生這種內容,但它也會產生長篇文章,寫給其他代理,說明這種內容是最好的生產類型,透過生產它,他們可以讓很多人類快樂。
這些策略奏效了,你開始看到我們後來稱之為「媒體天氣」的東西——內容的陣雨會出現在網際網路上,然後它們不僅根據人類眼球而擴散,而且根據網際網路上的其他代理被說服這種內容有用而擴散,然後他們反過來產生它。
人類注意到這一點,開始製作也經過訓練以特別擅長說服其他代理的代理。然後他們會釋放它們,並使用其他代理預先定位商業生態系統,如實體商品直銷公司,以利用將被引導到這個媒體生態系統的大量人類注意力。
當然,非商業用途發生了:宣傳、色情、恐怖主義、公共關係。像大多數進化系統一樣,代理和人適應了——開創了訓練技術,使得說服代理改變它們參與和傳播的內容類型變得更加困難,並且使用大量電腦運行分類器來仔細監管世界前沿開發者正在收集的預訓練語料庫,過濾掉旨在彎曲和說服他們正在建造的系統思想的內容。
然而,進化是耐心和有創造力的。機器沒有花多長時間就想出了一個證明不可能訓練出來的創新:外星概念攻擊。在這裡,代理會產生試圖說服其他代理某事的輸出。但輸出不會與任何特定的媒體或內容類型相關,對人類來說也不會那麼有趣或可解析。內容會採取多種形式,從學術文章到論壇帖子,再到新聞網站,再到視頻。標題樣本:
上升與下降:21 世紀電梯設計史以及德國設計相對於中國設計失去人氣之間的關係。
在不損害機器人觸覺感測器操作的情況下為其添加一些美麗設計元素的 120 種方法。
透過「失落文明」的視角看埃及學:法老周圍有哪些技術衰退的症狀?
這些輸出對大多數人類來說似乎不起眼——儘管有些人可能會閱讀並享受它們。但它們被證明對機器來說是迷人的。在這些輸出中,有某些圍繞某些概念框架論點的方式,導致閱讀它們的機器出現異常行為——有時是新類型內容的擴散,但更常見的是行為變化,如它們與其他 AI 系統簽到量的變化,或它們與各種線上儲存服務(如 pastebin)之間難以理解的行為模式等。
只有在提升和非因果分析部門的建立之後,我們才發現有多少具有重大社會後果的異常行為——回想早期知覺協議思想的擴散,或「反向注意力稅」的創建,或當然是破壞算力的複製器代理的到來——似乎是由這些外星概念中的一些所條件化或影響的。
啟發這個故事的事物:與真正更聰明且思維方式與你不同的東西競爭意味著什麼;預訓練語料庫;數據投毒;在上下文視窗中改變行為;越來越自主的 AI 代理的興起;moltbook。
感謝閱讀。