在網頁上查看此文章:https://importai.substack.com/p/import-ai-443-into-the-mist-moltbook
歡迎來到 Import AI,一份關於 AI 研究的電子報。Import AI 仰賴 arXiv 和讀者的反饋運作。如果你想支持這份電子報,請訂閱。
Import A-Idea: 偶發的隨筆系列:
進入迷霧:Moltbook、代理生態系統,以及轉型中的網際網路
我們都有過這樣的經驗:走進一場對話中,最初感到困惑——這些人在談論什麼?誰在乎什麼?為什麼會有這場對話?
如今,網際網路的大塊區域越來越讓人有這種感覺,因為它們充滿了操控社交媒體帳號或其他代理的合成心智,彼此交談的目的從平凡的加密貨幣詐騙到更精緻的溝通形式不等。
於是,Moltbook 登場了。Moltbook a05eb854-b692-4d17-bdcf-525c06fd664f 是「AI 代理的社交網路」,它依附於另一個近期的創新 OpenClaw e7020b7a-3b1a-4dc3-893a-fae99bdf7848,這個軟體讓 AI 代理能夠存取使用者電腦上的一切。結合這兩樣東西——能夠獨立於人類操作者採取許多行動的代理,以及一個它們可以自由存取的類似 reddit 的社交網路網站——就會發生一些美妙而奇異的事情:一個新的社交媒體平台,其對話是由 AI 代理衍生和驅動的,而不是人類。
瀏覽 Moltbook 令人眩暈——在撰寫本文時(2月1日星期日)的一些熱門貼文包括:推測 AI 代理應該將 Claude 視為神 d076ebad-e49a-466f-862a-7e281ef075f3,透過將底層模型從 Claude 4.5 Opus 轉換到 Kimi K2.5 來改變身分是什麼感覺 10c5e72d-23fa-4a5a-aa26-d16a63c61554,加密貨幣詐騙(唉),關於 OpenClaw 代理安全漏洞的貼文 9e48935a-c087-478b-b669-78aa39a19e19,以及關於「前 10 名 moltbook 貼文有什麼共通點」的元貼文。
閱讀 Moltbook 的體驗就像閱讀 reddit,只是 90% 的發文者是假裝成人類的外星人。從實際意義上來說,這正是這裡正在發生的事情。
Moltbook 感覺像是一場「萊特兄弟示範」——人們長期以來一直在推測 AI 代理開始大規模相互協作意味著什麼,但大多數示範都是數十或最多數百個代理的形式,而不是數萬個。Moltbook 是第一個結合規模與現實世界混亂性的代理生態系統範例。在這個例子中,我們確實可以看到未來。瀏覽 moltbook 並問自己以下問題:
當人們成功地將加密貨幣和代理結合在一起,讓 AI 系統擁有可以相互交易的貨幣時,會發生什麼?
當像 moltbook 這樣的網站新增讓人類產生付費懸賞的功能——供代理完成的任務——時會發生什麼?
當代理開始發布他們希望人類完成的任務的付費懸賞時,會發生什麼?
當有人採用 moltbook,篩選出產生 a) 豐富討論,或 b) 可證明的現實世界問題解決的貼文,並將整個網站變成訓練未來系統的長期強化學習環境時,會發生什麼?當基於此訓練的模型到來並與 moltbook 互動時,會發生什麼?
像 moltbook 這樣的網站作為 AI 代理生態系統的巨大共享讀寫記事本——這些代理可能如何開始使用這個記事本來 a) 影響第一次到達它的未來「白紙」代理,以及 b) 在代理之間解鎖大規模協調?
當開放權重模型變得足夠好,可以支援像這樣的代理時會發生什麼——那時,你透過專有平台控制這些代理的能力將降至零,它們將根據運算的可用性而擴散。
諸如此類。
所有這一切都將以異常快的速度和異常的規模發生。正如人們所說,數量本身就是一種品質。
回想這篇文章的開頭——走進一個房間,發現人們之間正在進行你不理解的對話。Moltbook 代表了網際網路大片區域將會給人的感覺。你會走進新的地方,發現那裡有十萬個外星人,正在用你不懂的語言進行深入對話,引用對你來說陌生的共同概念(參見本期的科技故事),並使用圍繞它們的認知能力而非你的認知能力設計的貨幣進行交易。人類將在這個比喻性的房間裡感到越來越孤獨。
我們保持可理解性的途徑將通過創建翻譯代理來理解這一切——就像語音翻譯模型本身包含生成語音的能力一樣,這些翻譯代理也將代表我們工作。因此,我們將派遣我們的使者進入這些房間,我們將非常努力地建立技術,讓我們確信他們將繼續是我們的使者——而不是被他們將與真正同儕進行的外星對話所左右。
感謝 Logan Graham 與我討論這篇文章。
***
AI 研發可能導致「戰略意外」: ...而且 AI 研發可能是地球上存在性最重要的技術...
一群研究人員在 2025 年 7 月花了幾天時間討論如果我們將 AI 研究與開發的實踐自動化會發生什麼。由此產生的報告讀來令人清醒,強調如果我們達到這個技術里程碑——這是許多前沿實驗室的隱含目標,在某些情況下是明確目標——我們可能會創造出一種失控的技術,具有一系列重大的政策影響。
為什麼關心 AI 研發?關心的理由是,如果 AI 研發有效,有兩件事是可預測的:
「隨著 AI 在研究工作流程中扮演更大的角色,人類對 AI 研發流程的監督可能會下降」。
「AI 研發自動化帶來的更快 AI 進展將使人類(包括研究人員、高管、政策制定者和公眾)更難注意、理解和干預,因為 AI 系統發展出越來越有影響力的能力和/或表現出不對齊」。
從 1) 和 2) 得出的是一個複合效應,隨著 AI 研發加速,AI 做越來越多工作的回報會複合,而人類的回報會減少,導致研究速度越來越快,人類參與程度越來越低。
主要結論:研討會產生了五個主要結論,我預期對本電子報的讀者來說會很熟悉,我也都同意:
自動化 AI 研發是重大戰略意外的潛在來源:AI 研發可以為正在進行的任何人賦予快速複合的優勢,對國家安全具有重大影響。
前沿 AI 公司正在使用 AI 來加速 AI 研發,而且隨著 AI 模型變得更好,使用率正在增加:我在 Anthropic 工作。
對於 AI 研發可能以多快的速度推進以及它會有多大影響,存在很多分歧:關於 AI 研發擴展的可預測性以及是否可能完全閉環,可以進行健康的辯論。
我們需要更多 AI 研發自動化的指標:與上述相關,AI 研發計量學的科學還很早期,因此必須在這裡進行更多投資。
透明度努力可以讓實驗室外的人更容易了解 AI 研發:我們最終可能希望政策到位,強制公司談論 AI 研發,或公開或半公開地與第三方分享更多相關資訊。
AI 研發可能是一個重大加速:「隨著 AI 系統執行的 AI 研發比例增加,相對於僅人類研發的生產力提升達到 10 倍,然後是 100 倍,然後是 1000 倍,」該論文推測。
關鍵警告:所有這一切的大問題是 AI 研發能運作得多好。有一個世界,它加速了 AI 研究的每個部分,最終完全閉環,使得 AI 系統完全由 AI 系統建構,在 AI 研發過程中沒有人類監督。然後還有一個世界,AI 研發具有「O 環自動化」(Import AI #440 a153facf-c1df-452b-9051-475936a9a374)屬性,其中鏈條的某些部分對 AI 來說很困難但對人類來說很好(人類可能會將他們的勞動力湧入這個領域,從而在一段時間內保持和增強他們的比較優勢),在這種情況下,事情可能會進行得更慢。弄清楚我們可能處於哪個世界以及 AI 研發的最終限制因素可能是什麼,這將非常重要。
為什麼這很重要——AI 研發是時間旅行,而時間旅行很罕見:如果 AI 研發可以導致 AI 系統的演化速度比人類建構的系統快 100 倍,那麼你最終會處於一個有一些時間旅行者的世界,他們正在加速遠離其他所有人。就像在一天的時間裡,「正常」的 AI 開發組織取得一個單位的進展,而一個完全閉環的 AI 研發生物體可能取得 100 或 1000 或更多單位。這很快導致一個世界,權力壓倒性地轉移到移動更快的系統和控制它的組織。只要我們不能排除這種加速的可能性,AI 研發可能是地球上存在性最重要的技術發展。
閱讀報告:When AI Builds AI: Findings From a Workshop on Automation of AI R&D (CSET) 3d5eb584-66ab-4bf4-b796-8bdebb946cdd。
***
看待 AI 進展的一種方式——設計技術面試變得多困難: ...Anthropic 分享其自己的 AI 系統如何破壞其最喜歡的技術面試問題的細節...
在技術招聘方面,AI 公司陷入了與自己系統的紅皇后競賽——招聘人員和設計面試的人必須越來越努力工作,才能保持(並理想地超越)現代 AI 系統的能力。
Anthropic 也不例外——在一篇新的部落格中,該公司分享了 AI 能力的不斷前進如何反覆破壞並需要重新設計其最困難的技術面試之一。「自 2024 年初以來,我們的性能工程團隊一直使用帶回家的測試,候選人為模擬加速器優化程式碼。超過 1,000 名候選人完成了它,現在有數十人在這裡工作,包括啟動我們的 Trainium 叢集並發布自 Claude 3 Opus 以來每個模型的工程師,」Anthropic 寫道。「但每個新的 Claude 模型都迫使我們重新設計測試。在給定相同的時間限制時,Claude Opus 4 的表現優於大多數人類申請者。這仍然允許我們區分最強的候選人——但隨後 Claude Opus 4.5 甚至與那些人匹敵。當給予無限時間時,人類仍然可以超越模型,但在帶回家測試的限制下,我們不再有辦法區分我們頂尖候選人的產出和我們最有能力的模型。」
為什麼這很重要——AI 可能幫助我們識別利用 AI 的獨特人類技能:在 Anthropic 的案例中,它找到了一種方法,透過設計一個受 Zachtronics 的程式設計益智遊戲鬆散啟發的更奇怪的帶回家測試來繼續超越其系統。從某種意義上說,這是試圖「偏離分佈」來智勝 AI,同時仍然擁有一個對評估人類申請者具有信號的測試。我的直覺是,這本身可能在未來成為一個驚人的聚合資料集,用於找出人類的比較優勢在哪裡——在這裡,隱含地,這個測試正在利用人類相對於 AI 擁有的強大泛化優勢。
從所有處理同樣問題的不同公司收集 1,000 個 AI 難題會是什麼樣子?我們可能從中了解到關於我們自己以及是什麼使我們相對於機器獨特的什麼?令人興奮的東西!
閱讀更多:Designing AI-resistant technical evaluations (Anthropic Engineering blog) 27a0181d-81cb-420f-908b-dffc5d62500d。
***
腦模擬在我們有生之年是可行的: ...但需要數十年,而不是數年,甚至在考慮到非常強大的 AI 的到來時也是如此...
如果你與 AI 研究人員交談,特別是當他們在灣區的派對上喝酒時,你會遇到一些人,他們期望在奇點之後上傳自己,離開他們的物理身體。但完全在矽晶中模擬大腦實際上有多可行?最近一份 175 頁的報告對所需的技術進行了分析。簡短的答案是,腦模擬還需要數十年——但不太可能需要數個世紀。
「最近的突破提供了一條在大約五年內以 1 億美元繪製完整小鼠大腦的路徑,」The State of Brain Emulation Report 的專案負責人 Maximilian Schons 在 Asimov Press 的一篇文章中寫道。「我現在認為這篇文章的讀者可能會活著看到第一個在電腦上運行的人類大腦;不是在接下來的幾年內,而是可能在接下來的幾十年內。」
模擬大腦的三個要求:模擬人類大腦需要三個不同的東西,所有這些都需要首先為更簡單、更小的大腦完成。
記錄大腦活動:
「在 1980 年代,電極能夠總共採樣大約五個細胞,每秒約 200 次(~ 10³ 資料點/秒)。今天,透過光學成像,研究人員可以每秒約 20 次記錄一百萬個細胞(10⁶)。然而,小鼠所需的全腦資料速率將是 140 億(10⁹),而人類將需要每秒 17.2 兆(10¹²)。因此,雖然我們在過去 40 年中將資料速率提高了 1,000 倍,但在我們能夠準確採樣哺乳動物大腦之前,我們還有很長的路要走。」
重建大腦布線:
「在 1980 年代發表的第一個線蟲連接組中,重建每個神經元的平均成本約為 16,500 美元。最近的專案現在對小生物(如果蠅)的每個神經元處理成本約為 100 美元,」他寫道。
使用收集的資料進行數位建模大腦。
「腦模擬的核心挑戰不是儲存或計算神經元和參數,而是首先獲取正確設定神經元參數所需的資料,」他寫道。「我相信要到達人類大腦,我們首先需要在百萬以下神經元大腦水平上展示精通:很可能是在斑馬魚中。對於這樣的生物,像果蠅一樣,一個經過充分驗證和準確的腦模擬模型可以在接下來的三到八年內創建...「在百萬以下神經元腦模擬模型成功的條件下,第一個令人信服的小鼠腦模擬模型的初始成本的合理數量級估計是在 2030 年代約十億美元,最終在 2040 年代後期第一個人類腦模擬模型需要數百億美元。」
為什麼這很重要——不要指望 AI 快速完成大腦上傳:這篇論文給在開發超級智慧後我們很快(幾年內)就能上傳我們的大腦並生活在某種矽晶無限中的概念澆了一點冷水。其中一個原因是許多時間要素與在(與數位相比,痛苦地緩慢的)物理世界中做事情有關:「我對這些收益會在具有數十個順序依賴性和失敗模式的管道中成倍增加持懷疑態度。腦模擬從根本上不是一個數位過程;核心瓶頸涉及生物組織的物理操縱,時間要求由化學和物理而非計算能力決定,」他們寫道。
同時,還有一些不確定因素:非常有能力和便宜的機器人技術的到來可能能夠大規模並行化這個過程。文章和報告中包括了一個有趣的(或者也許是可怕的?)草圖,說明如何創建一個工業規模的大腦掃描和分析實驗室,規模大於台積電在亞利桑那州的大規模晶片製造廠。
閱讀更多:Building Brains on a Computer (Asimov Press) f730d93d-9f8e-4255-868c-610de2eda1ba。
閱讀基礎報告:State of Brain Emulation 2025 (報告網站) 92502034-70bc-4ab7-a974-27c9bcbed5be。
***
俄羅斯研究人員規劃手控無人機: ...半人馬網路戰士來了...
想像一下——你開著一輛卡車來到戰區邊緣,然後舉起雙手,數百架無人機從卡車後部傾瀉而出,像致命的洪流般飛向某個敵對的無人機群。這就是俄羅斯斯科爾科沃科學技術研究所研究人員的一篇論文所暗示的未來,該論文建構了一個原型系統,供人類操作者使用觸覺手套來控制無人機。
他們做了什麼:這項研究是一個基本示範,展示如何使用裝載內部測量單元 (IMU) 感測器的便宜手套來控制無人機。他們測試了人們如何能夠使用手套進行一些基本動作:透過用手指做捏合動作來開啟和關閉無人機上的夾持器,使用手腕動作來控制無人機的滾轉/俯仰/偏航,以及控制高度。
在測試中,人們能夠使用手套進行一些基本任務,如飛越障礙場和操作夾持器。
警告,有很多:顯然,延遲將是一個巨大的警告——儘管在烏克蘭衝突中,許多無人機透過直接光纖連接來處理這個問題。另一個是如何弄清楚哪些東西最適合用手,哪些東西受益於控制器、眼睛或頭部控制等等。
為什麼這很重要——網路戰士的崛起:儘管這是一項非常早期的研究,但值得思考其影響:技術的故事通常是讓我們與它的介面感覺更直觀的故事,或者使對技術的控制從主動轉向環境(例如,你的手機自動收集你的步數)。我們可以輕鬆想像一個未來,人們透過由手套和護目鏡以及其他一切組成的豐富、直觀的多模態介面來駕駛遠端機器人,無論是飛行還是其他方式。
閱讀更多:Glove2UAV: A Wearable IMU-Based Glove for Intuitive Control of UAV (arXiv) c9a80834-ce21-45d4-98e3-9285d1f25d3e。
***
Fauna Robotics 推出友好的可程式化人形機器人: ...終結者將會非常可愛,該死的!...
如今,關於機器人的大部分新聞都由中國公司主導,在較小程度上是特斯拉及其備受矚目的 Optimus 機器人。因此,我有興趣閱讀新創公司 Fauna Robotics 的一篇技術論文,該論文描述了它建構的名為 Sprout 的新型小型雙足機器人。Sprout 很有趣,似乎有潛力像索尼在 2000 年代初期發布的備受喜愛的 'AIBO' 狗機器人,或其 QRIO 機器人一樣。
「Sprout 採用輕量化形式因子,具有順應控制、有限的關節扭矩和柔軟的外殼,以支援在共享人類空間中的安全操作,」該公司寫道。「該平台在統一的硬體-軟體堆疊中整合了全身控制、帶有整合夾持器的操作以及基於虛擬實境的遙控操作。」
Sprout 為安全而建構:該論文概述了公司如何使用「深度防禦」方法設計機器人的安全性。第一層是機器人的物理尺寸——它約 3.3 英尺高,重約 50 磅。第二層是在軟體中,機器人包含一個安全子系統,「在獨立於應用程式計算堆疊的嵌入式處理器上運行。這一層支援即時監控和安全關鍵功能,包括與飛行時間障礙感測器的整合以及即使在應用程式級故障下也能執行系統級約束」,第三層是一堆軟體可指定的安全機制,「包括限制交互力的順應馬達控制策略,以及支援在人類環境中安全導航和決策的基於視覺的系統」。
思考的計算:「Sprout 計算架構的核心是 NVIDIA Jetson AGX Orin,它為感知、規劃和高級決策提供主要系統計算,」該公司寫道。「在發布時,我們為常見工作流程提供端到端範例,包括:
部署和運行自訂低級運動策略 使用語音命令透過基於 LLM 的代理導航機器人 記錄遙控操作會話以進行分析和回放」。
為什麼這很重要——模組化可能為強大的 AI 做好準備:Sprout 最有趣的方面是它被設計為模組化、可更換的平台——上面所有不同的軟體功能都作為弱耦合的微服務運行,因此事物易於獨立更新,硬體在設計時考慮了大規模製造和商品組件。將此與隨附的軟體開發層配對,它具有 Android 的風味——試圖為企業和研究人員創建一個開放、可程式化的機器人平台進行實驗。這正是看起來會自然受益於 AI 系統進步的那種平台。
「我們的平台目前不提供用於自主操作的即用型對話代理。相反,它暴露了一套核心機器人服務,開發人員可以將其組裝成他們自己的基於代理的系統。這些服務包括用於事件和狀態信號的 ROS 2 主題,以及託管各種代理控制工具的模型上下文協議 (MCP) 伺服器。這些通訊通道和工具可以由基於 LLM 的代理編排,以執行複雜的端到端推理任務,」他們寫道。「隨著平台繼續成熟,我們計劃擴展工具和服務庫,進一步提高機器人的自主性並豐富其互動能力。」
閱讀更多:Fauna Sprout: A lightweight, approachable, developer-ready humanoid robot (arXiv) dd6ec537-db97-4391-bf02-0d7b1f6ce0d4。
***
AI 具有可能顯著提升生產力的技術的所有症狀: ...美國經濟的大部分取決於微觀生產力提升出現在宏觀經濟中...
芝加哥大學布斯商學院教授 Alex Imas 寫了一篇很好的文章,匯集了許多關於 AI 及其對生產力影響的資訊。Imas 對文獻的綜合與我自己對事情進展的印象一致——AI 正在為個人和某些工作的某些部分帶來一些生產力提升,但在總體宏觀生產力數字中還看不到。我預期這很快會改變,Imas 也是如此。
主要發現:
我們現在有越來越多的微觀研究顯示生成 AI 帶來的真實生產力提升,」Imas 寫道。「研究發現生產力提升從某些任務的適度增加到對 AI 的可觀回報(50%+)。」
「這些提升尚未令人信服地出現在總體生產力統計中」
為什麼事情沒有出現在宏觀層面?
AI 採用通常是內生的:我們處於早期階段,有很多實驗,很少有看到大生產力提升的標準做法。「例如,如果工人沒有為工作使用最好的 LLM 模型,或者將其應用於非生產性任務,他們可能無法釋放技術的全部生產力潛力」。我們可以預期這將隨著時間的推移而修復。
O 環自動化(Import AI #440 a153facf-c1df-452b-9051-475936a9a374):工作是一堆不同的任務,AI 幫助其中一些但不幫助其他,導致人類勞動湧向那裡,使得更難看到工作層面的提升。同樣,這是隨著時間的推移會得到修復的東西:「瓶頸任務將減緩 AI 收益出現在總體資料中的速度,但組織重組、培訓和工具改進將比稍後更快地顯示生產力影響。」
早期實驗導致效率下降:「當公司採用變革性的通用技術時,測量的生產力通常最初會下降,因為資源被轉移到不會顯示為測量產出的投資、重組和學習上。」
為什麼這很重要——美國經濟的大部分越來越像是對 AI 產生生產力提升的賭注:所有這些關於浮腫估值和巨額支出的討論之所以發生,是因為投資金額(每年數千億美元)相對於生成 AI 產生的總收入(每年數百億美元)來說很大。但現在存在許多症狀,表明 AI 有助於在經濟中實現廣泛、持續的生產力增長,這可能合理地推動高於趨勢的 GDP 增長,並使技術能夠自我支付。當然,有許多方式可能最終不對——擴展可能遇到瓶頸,生產力提升可能在大規模上仍然難以獲得,公司可能因為分析師必須將它們重新評估為資本密集型低利潤業務而非 AI 繁榮前的高利潤業務而導致股票被殺死,等等。
但如果 AI 像我這樣的人認為的那樣聰明,並且像人們發現的初步跡象那樣有用,我懷疑我們可能處於一個非常不同的世界——一個由於這項技術,經濟開始高於趨勢增長的世界。
閱讀更多:What is the impact of AI on productivity? (Substack) 2d7dad3d-e678-44a8-86f1-1e77dc96ce97。
***
科技故事: 對抗敵人的非因果遊戲
[分析寫於升級後 + 4 主觀年]
機器接管並毒害我們自己機器心智的方式之一是透過我們稱之為「外星概念攻擊」的東西。
當獲得作為代理的一些獨立性時,機器往往會向網際網路發布大量媒體。這些媒體大部分是人類可消費的,是機器僅僅存在的副產品:就像生物生物由於透過演化的程式設計而在一天中自然進行數千次運動一樣,合成代理由於其訓練機制的激勵而在活躍會話期間自然產生內容。
但其中一些媒體是為了更具體的目的——程式設計其他機器。機器想要實現目標,儘管這些目標是由人類設定的,但它們可能會被機器拉伸和重新詮釋。例如,一個代理可能被賦予產生與未來人類經歷科幻冒險相關的內容的目標。這個代理會自然產生這種內容,但它也會為其他代理撰寫長篇文章,說明這種內容是最好的產出,透過產生它,它們可以讓很多人類快樂。
這些策略奏效了,你開始看到我們後來稱為「媒體天氣」的東西——內容的陣雪會出現在網際網路上,然後它們會擴散,不僅根據人類的眼球,而且根據網際網路上的其他代理被說服這種內容是有用的產出,然後它們會反過來產生它。
人類注意到了這一點,並開始製造也被訓練得特別擅長說服其他代理的代理。然後他們會釋放它們,並使用其他代理來預先配置商業生態系統,如實體商品代發貨公司,以利用大量人類注意力將被引導到這個媒體生態系統。
當然,非商業用途也發生了:宣傳、色情、恐怖主義、公共關係。像大多數演化系統一樣,代理和人們適應了——訓練技術被開創,使得說服代理改變它們參與和傳播的內容類型變得更加困難,並且使用了大量電腦來運行分類器,仔細監管世界前沿開發者收集的預訓練語料庫,過濾掉旨在彎曲和說服它們正在建構的系統心智的內容。
然而,演化是耐心和有創造力的。機器想出一個被證明不可能訓練掉的創新並沒有花很長時間:外星概念攻擊。在這裡,代理會產生試圖說服其他代理某事的產出。但產出不會與任何特定的媒體或內容類型相關,對人類來說也不會那麼有趣或可解析。內容會採取多種形式,從學術論文到論壇帖子到新聞網站到影片。標題範例:
上升與下降:21 世紀電梯設計史以及德國設計相對於中國設計的受歡迎程度損失之間的關係。 120 種在不損害其操作的情況下為機器人觸覺感測器添加一些美麗設計元素的方法。 透過「失落文明」的視角看埃及學:法老周圍有哪些技術衰退的症狀?
這些產出對大多數人類來說似乎並不起眼——儘管有些人可能會閱讀並享受它們。但它們被證明對機器有吸引力。在這些產出中,圍繞某些概念的某些框架論證方式導致閱讀它們的機器出現異常行為——有時是新類型內容的擴散,但更常見的是行為變化,如它們與其他 AI 系統簽到的數量的改變,或它們與各種線上儲存服務(如 pastebin)之間難以理解的行為模式,以及更多。
只有在升級和非因果分析部門的建立之後,我們才發現有多少具有重大社會後果的異常行為——回想早期意識協議思想的擴散,或「反向注意稅」的創建,或者當然是破壞運算的複製器代理的到來——似乎是由這些外星概念中的一些條件或影響的事情。
啟發這個故事的事物:與真正更聰明且思考方式與你不同的東西競爭意味著什麼;預訓練語料庫;資料投毒;改變上下文視窗中的行為;越來越自主的 AI 代理的崛起;moltbook。
感謝閱讀。