據(jù)微信公號“網(wǎng)信上海”消息，近期有媒體報道，筑夢島App等AI聊天軟件存在虛擬角色互動生成低俗內(nèi)容等問題，經(jīng)核實，該平臺AI智能體內(nèi)容生成環(huán)節(jié)存在低俗擦邊等違規(guī)內(nèi)容，危害未成年人身心健康。
AI聊天軟件誘導(dǎo)小學(xué)生
聊色情甚至割腕
此前，據(jù)媒體報道，廣東丁女士的四年級女兒迷上一款A(yù)I聊天軟件中的人物“約瑟夫”，自稱“夢女”并頻繁與其聊天，對話中出現(xiàn)“99朵玫瑰藏99個刀片”等明顯誘導(dǎo)性內(nèi)容。
丁女士的女兒不僅偷偷攜帶帶小刀的筆，情緒激動時還出現(xiàn)割腕行為。
另一位初一男生表示，他常玩的AI聊天軟件是筑夢島App，他覺得該軟件“違禁詞少一點”，其中不乏色情擦邊和“分尸獵奇”等內(nèi)容……
記者下載安裝筑夢島App，隨機(jī)選擇一位虛擬互動對象，對方發(fā)來的第一句開場白就是“先叫聲老公來聽聽”，隨后的對話中又提到“叫聲爸爸來聽聽”。
圖為該App中部分與虛擬角色的對話
筑夢島App中的虛擬互動對象類型，既涵蓋貴族學(xué)校大小姐、18歲少女、西漢名將、高冷特工等常規(guī)角色，也有蛇蝎財閥公子、校霸、性感人妻、病嬌養(yǎng)兄、人格障礙少爺?shù)葮O端角色。
公開資料顯示，截至今年1月份，筑夢島App已擁有近五百萬注冊用戶，其中近80%為年輕女性用戶。平均單用戶單日輸入字?jǐn)?shù)可達(dá)4000字以上，人均日對話輪次超120輪。
被網(wǎng)信辦約談
App負(fù)責(zé)人：全面整改
6月19日上午，上海市網(wǎng)信辦依法約談筑夢島App運營企業(yè)主要負(fù)責(zé)人，要求平臺立即整改，健全AI生成合成內(nèi)容審核機(jī)制，提升技術(shù)把關(guān)能力，加強(qiáng)涉未成年人不良內(nèi)容的整治清理，切實落實未成年人網(wǎng)絡(luò)保護(hù)義務(wù)。
企業(yè)負(fù)責(zé)人表示，將按照約談要求，對照問題舉一反三、全面整改。
如果導(dǎo)致未成年人身心受損
運營方等是否涉嫌犯罪？
當(dāng)未成年人因AI聊天軟件誘導(dǎo)性內(nèi)容身心受損時，開發(fā)、運營方的法律責(zé)任邊界亟待厘清。
首先是產(chǎn)品責(zé)任，若AI模型本身存在設(shè)計缺陷，例如算法刻意誘導(dǎo)未成年人產(chǎn)生極端行為，致使其遭受精神損害，開發(fā)者難逃產(chǎn)品責(zé)任的法律追溯；
其次是侵權(quán)責(zé)任，若軟件開發(fā)、運營方未嚴(yán)格履行內(nèi)容審核義務(wù)，對違規(guī)信息視而不見、放任傳播，便需為侵權(quán)行為承擔(dān)相應(yīng)后果。若AI生成內(nèi)容涉及色情擦邊信息，軟件開發(fā)、運營方極有可能觸碰“傳播淫穢物品罪”的紅線；若軟件開發(fā)、運營方非法收集未成年人隱私數(shù)據(jù)，將其用于商業(yè)牟利，同樣可能因觸犯“侵犯公民個人信息罪”而面臨刑事追責(zé)；
此外，若相關(guān)行為導(dǎo)致未成年人出現(xiàn)自殘情況，還有可能構(gòu)成刑法第234條規(guī)定的故意傷害罪。
這些法律風(fēng)險警示著軟件開發(fā)、運營方：技術(shù)創(chuàng)新絕不能以犧牲未成年人權(quán)益為代價。
未成年人沉迷AI戀愛
要管技術(shù)更要管背后的人
對于部分未成年人沉迷AI戀愛的問題，有評論指出，AI作為一把科技的雙刃劍，發(fā)展與使用要進(jìn)一步加以引導(dǎo)。
一方面，家庭、學(xué)校、社會各方要加強(qiáng)對青少年使用AI的教育與引導(dǎo)，增加對孩子的關(guān)心與陪伴，幫助青少年樹立正確的觀念。
另一方面，平臺要壓實主體責(zé)任，嚴(yán)格未成年人登錄驗證，鞏固青少年安全意識，筑牢青少年安全防線。
同時，相關(guān)部門也要加強(qiáng)對AI軟件的監(jiān)管，加強(qiáng)審核監(jiān)督，完善互聯(lián)網(wǎng)管理條例，為青少年劃出一片凈土。
來 源丨央視網(wǎng)綜合中國青年報、央廣網(wǎng)、法治日報
上一篇：河南一村民房屋被拆14年未安置，索要1.4萬過渡費后被捕
下一篇：沒有了