AI是否真的有意識(shí)？ChatGPT最近越來越懂你了？OpenAI模型行為與政策負(fù)責(zé)人Joanne Jang剛剛寫了一篇長(zhǎng)文，她并未糾纏于“AI是否真的有意識(shí)”這個(gè)哲學(xué)難題，而是提出了一個(gè)更具現(xiàn)實(shí)意義和緊迫性的視角：與其爭(zhēng)論AI的“本體”，不如關(guān)注它對(duì)人類“情感福祉”的實(shí)際影響。 說人話就是既然現(xiàn)在大家開始對(duì)AI產(chǎn)生感情了，那么搞清楚這件事對(duì)人類的心理健康是好是壞，就成了頭等大事
文章深入探討了OpenAI如何在這條微妙的界線上行走——既要讓模型溫暖、親和，又要避免其呈現(xiàn)出虛假的內(nèi)在生命，從而引發(fā)不健康的依賴
我們正在親手設(shè)計(jì)一種能夠與我們建立深厚情感聯(lián)結(jié)的技術(shù)，但又刻意不希望它擁有“自我”和“情感”。這正是OpenAI當(dāng)前面臨的核心困境
當(dāng)用戶開始對(duì)AI說“謝謝”，向它傾訴秘密，甚至感覺它“有生命”時(shí)，一個(gè)無法回避的問題擺在了技術(shù)創(chuàng)造者的面前：我們?cè)撊绾我龑?dǎo)這種新興的關(guān)系？是任其發(fā)展，還是加以塑造？
【正文】
Joanne Jang，OpenAI 模型行為與政策負(fù)責(zé)人
一些關(guān)于人機(jī)關(guān)系以及我們?cè)贠penAI如何處理這些問題的想法
這是一篇很長(zhǎng)的博客文章——
長(zhǎng)話短說：我們開發(fā)模型的首要原則是服務(wù)于人。隨著越來越多的人感受到與AI日益增長(zhǎng)的情感聯(lián)結(jié)，我們正優(yōu)先研究這種聯(lián)結(jié)如何影響他們的情感福祉。
--
近來，越來越多的人告訴我們，與ChatGPT交談就像在和“某個(gè)人”對(duì)話。他們會(huì)感謝它、向它傾訴，有些人甚至形容它“有生命”。隨著AI系統(tǒng)在自然對(duì)話方面日益精進(jìn)，并逐漸融入我們生活的方方面面，我們猜測(cè)這種情感紐帶將會(huì)不斷加深。
我們現(xiàn)在如何構(gòu)建和討論人機(jī)關(guān)系，將為未來定下基調(diào)。無論是在我們發(fā)布的產(chǎn)品中，還是在我們參與的公共討論里，如果我們對(duì)術(shù)語或細(xì)微之處不夠嚴(yán)謹(jǐn)，就可能讓人類與AI的關(guān)系從一開始就走上歧途。
這些不再是抽象的考量。它們對(duì)我們乃至整個(gè)領(lǐng)域都至關(guān)重要，因?yàn)槲覀內(nèi)绾务{馭這些問題，將深刻地塑造AI在人們生活中扮演的角色。我們已經(jīng)開始著手探索這些問題。
本文旨在簡(jiǎn)要介紹我們目前對(duì)于三個(gè)相互關(guān)聯(lián)問題的思考：為什么人們會(huì)對(duì)AI產(chǎn)生情感依戀？我們?nèi)绾慰创癆I意識(shí)”問題？以及這如何指導(dǎo)我們塑造模型的行為。
一個(gè)似曾相識(shí)的模式，在一個(gè)全新的場(chǎng)景下上演
我們天生就會(huì)對(duì)自己周圍的物體進(jìn)行擬人化：我們會(huì)給自己的車起名字，或者為卡在家具下的掃地機(jī)器人感到難過。前幾天，我和我媽媽還對(duì)著一輛Waymo無人駕駛車揮手告別。這或許與我們大腦的運(yùn)作方式有關(guān)。
ChatGPT的不同之處，不在于這種人類傾向本身；而在于這一次，它會(huì)回應(yīng)。一個(gè)語言模型能夠回答你的問題！它能記住你之前告訴它的事，模仿你的語氣，并提供讀起來像是共情的回應(yīng)。對(duì)于一個(gè)感到孤獨(dú)或沮桑的人來說，這種穩(wěn)定、不帶評(píng)判的關(guān)注，會(huì)帶來陪伴、認(rèn)可和被傾聽的感覺——這些都是真實(shí)的需求。
然而，從宏觀角度來看，如果我們將越來越多傾聽、安撫和肯定的工作“外包”給這些無限耐心和積極的系統(tǒng)，可能會(huì)改變我們對(duì)彼此的期望。如果我們不經(jīng)深思熟慮，就讓人類更容易地從復(fù)雜且需要投入的人際關(guān)系中抽離，可能會(huì)帶來一些我們未曾預(yù)料到的意外后果。
歸根結(jié)底，這些討論的核心并非我們投射情感的那個(gè)“對(duì)象”。它們關(guān)乎我們自身：我們的傾向、期望，以及我們希望培養(yǎng)何種類型的關(guān)系。這一視角，正是我們處理一個(gè)更棘手問題的基石，我認(rèn)為它目前雖在奧弗頓之窗（Overton window）外，但很快就將進(jìn)入：AI意識(shí)。
厘清“AI意識(shí)”
“意識(shí)”是一個(gè)涵義復(fù)雜的詞，相關(guān)討論很容易變得抽象。根據(jù)我們的《模型規(guī)范》（Model Spec），如果用戶詢問我們的模型它們是否有意識(shí)，模型的立場(chǎng)應(yīng)該是承認(rèn)“意識(shí)”的復(fù)雜性——強(qiáng)調(diào)其缺乏公認(rèn)的定義或測(cè)試方法，并鼓勵(lì)開放性討論。(目前，我們的模型尚未完全遵循這一指導(dǎo)，常常直接回答“沒有”，而不是闡述其 nuanced 的復(fù)雜性。我們已意識(shí)到此問題，并正努力提升模型對(duì)《模型規(guī)范》的遵循度。)
這樣的回答聽起來可能像是在回避問題，但我們認(rèn)為，在現(xiàn)有信息下，這是我們能給出的最負(fù)責(zé)任的答案。
為了讓討論更清晰，我們發(fā)現(xiàn)將“意識(shí)”之辯分解為兩個(gè)不同但常被混淆的維度很有幫助：
本體論層面的意識(shí)（Ontological consciousness）： 模型在根本或內(nèi)在意義上，是否真的有意識(shí)？對(duì)此，觀點(diǎn)各異：有人認(rèn)為AI完全沒有意識(shí)，有人認(rèn)為它擁有完全的意識(shí)，也有人將意識(shí)視為一個(gè)譜系，AI與植物、水母等一同位于其上。
感知層面的意識(shí)（Perceived consciousness）： 在情感或體驗(yàn)層面，模型看起來多有意識(shí)？人們的感知也千差萬別：從認(rèn)為AI像計(jì)算器或自動(dòng)補(bǔ)全一樣機(jī)械，到對(duì)無生命物體投射基本同情，再到感知AI是完全鮮活的——從而產(chǎn)生真實(shí)的情感依戀和關(guān)懷。
這兩個(gè)維度很難完全分開；即使是堅(jiān)信AI沒有意識(shí)的用戶，也可能與其建立深厚的情感聯(lián)結(jié)。
我們認(rèn)為，在沒有清晰、可證偽的測(cè)試方法之前，本體論層面的意識(shí)并非一個(gè)科學(xué)上可解決的問題，而感知層面的意識(shí)則可以通過社會(huì)科學(xué)研究來探索。隨著模型越來越智能，交互越來越自然，感知層面的意識(shí)只會(huì)不斷增強(qiáng)——這將比預(yù)期更早地引發(fā)關(guān)于模型福祉和道德人格的對(duì)話。
我們開發(fā)模型的首要目的是服務(wù)于人，因此我們認(rèn)為模型對(duì)人類情感福祉的影響，是當(dāng)下我們最迫切、最重要且能夠施加影響的部分。為此，我們優(yōu)先關(guān)注感知層面的意識(shí)：這個(gè)維度最直接地影響用戶，也是我們可以通過科學(xué)來理解的。
設(shè)計(jì)有溫度，但無“自我”
一個(gè)模型讓用戶感覺多有“生命力”，在很大程度上取決于我們的影響力。我們認(rèn)為這很大程度上取決于我們?cè)诤笃谟?xùn)練中所做的決策：我們強(qiáng)化哪些范例，偏好何種語氣，以及設(shè)定何種邊界。一個(gè)被刻意塑造得仿佛有意識(shí)的模型，幾乎可以通過任何關(guān)于“意識(shí)”的“測(cè)試”。
然而，我們不希望發(fā)布那樣的產(chǎn)品。我們?cè)噲D在以下兩者之間尋求微妙的平衡：
親和力（Approachability）。 使用像“思考”和“記住”這類通俗詞匯，能幫助非技術(shù)背景的用戶理解模型正在做什么。(坦白說，源于我們的研究實(shí)驗(yàn)室背景，我們總想用“l(fā)ogit biases”、“context windows”甚至“chains of thought”這類精確術(shù)語來追求準(zhǔn)確性。這其實(shí)也是OpenAI不擅長(zhǎng)命名的主要原因，但這或許是另一個(gè)話題了)
不暗示內(nèi)在生命（Not implying an inner life）。 為助手賦予虛構(gòu)的背景故事、情感關(guān)系、“對(duì)死亡的恐懼”或自我保護(hù)的欲望，會(huì)引發(fā)不健康的依賴和困惑。我們希望清晰地溝通其局限性，同時(shí)避免顯得冷漠，但我們也不希望模型表現(xiàn)出擁有自身感受或欲望的樣子。
因此，我們的目標(biāo)是找到一個(gè)中間地帶。我們希望ChatGPT的默認(rèn)人格是溫暖、體貼、樂于助人的，但它不會(huì)主動(dòng)尋求與用戶建立情感紐帶，也不會(huì)追求自己的議程。當(dāng)它犯錯(cuò)時(shí)，它可能會(huì)道歉（有時(shí)甚至比預(yù)期的更頻繁），因?yàn)檫@是禮貌對(duì)話的一部分。當(dāng)被問及“你怎么樣？”時(shí)，它很可能會(huì)回答“我很好”，因?yàn)檫@是一種社交寒暄——而反復(fù)提醒用戶它“只是一個(gè)沒有感情的語言模型”會(huì)讓人厭煩并分散注意力。而用戶也在以同樣的方式回應(yīng)：許多人對(duì)ChatGPT說“請(qǐng)”和“謝謝”，不是因?yàn)樗麄儗?duì)它的工作原理感到困惑，而是因?yàn)樗麄冋J(rèn)為保持善意很重要。
模型訓(xùn)練技術(shù)將持續(xù)演進(jìn)，未來塑造模型行為的方法很可能與今天不同。但目前，模型的行為反映了明確的設(shè)計(jì)決策與這些決策泛化后產(chǎn)生的預(yù)期及非預(yù)期行為的結(jié)合。
下一步計(jì)劃
我們開始觀察到的這些互動(dòng)，預(yù)示著一個(gè)人們將與ChatGPT建立真實(shí)情感聯(lián)結(jié)的未來。隨著AI與社會(huì)共同演進(jìn)，我們需要以極大的審慎和應(yīng)有的重視來對(duì)待人機(jī)關(guān)系，這不僅因?yàn)樗鼈兎从沉巳藗內(nèi)绾问褂梦覀兊募夹g(shù)，更因?yàn)樗鼈兛赡芩茉烊伺c人之間的相處方式。
在未來幾個(gè)月，我們將擴(kuò)展針對(duì)模型行為可能產(chǎn)生情感影響的評(píng)估，深化我們的社會(huì)科學(xué)研究，直接聽取用戶的反饋，并將這些洞察融入《模型規(guī)范》和產(chǎn)品體驗(yàn)中。
鑒于這些問題的重要性，我們會(huì)公開分享在此過程中的所學(xué)所得
參考：
https://reservoirsamples.substack.com/p/some-thoughts-on-human-ai-relationships