近日,國家網信辦等五部門出臺《人工智慧擬人化互動服務管理暫行辦法》劃定 AI 擬人化互動服務紅線,可多款熱門虛擬伴侶聊天軟體,仍暗藏色情擦邊、誘導消費、未成年人保護缺位等諸多問題,亂象屢禁不止旅遊。
今年 4 月,國家網信辦等五部門聯合釋出《人工智慧擬人化互動服務管理暫行辦法》,明確禁止平臺向未成年人提供虛擬伴侶服務,嚴禁生成色情、暴力、易引發未成年人極端情緒的內容,同時要求做好使用者身份核驗與 AI 內容標註工作旅遊。該辦法將於 7 月 15 日正式施行。
記者近期實測 “EchoMe”“築夢島”“喵嗚小手機” 等多款 AI 虛擬伴侶 App,發現實際運營情況與監管要求嚴重不符旅遊。
某系統預設角色出現大尺度畫面旅遊。
在未成年人保護方面,相關軟體的青少年模式形同虛設旅遊。多款應用內的青少年模式可一鍵跳過,註冊、登入環節無需實名認證與年齡核驗。平臺角色庫中充斥著帶有偏執、暴力、強制愛標籤的虛擬人物,系統預設女性角色形象暴露,還開放恐怖暴力、當小三、離婚互懟等極端話題。記者以 13 歲初中生身份和虛擬角色聊天時,對方主動引導早戀,對話中頻繁出現曖昧肢體接觸描述,輸出低俗親密話語。此外,多款 App 雖在聊天介面頂部標註一次 “內容由 AI 生成”,後續對話中不再進行相關提示,AI 生成內容標註不清晰。
該款APP內供使用者選擇的話題旅遊。
內容合規層面問題同樣突出旅遊。部分平臺以無敏感詞限制為噱頭引流,註冊僅需填寫暱稱和簡單密碼,無需手機號驗證。平臺角色設定包含學妹、嫂子、親姐姐等,搭配空虛、支配等性暗示標籤,聊天介面背景、對話內容均存在大量軟色情資訊。
該款APP角色庫旅遊。
這類軟體還催生了灰色定製產業鏈旅遊。在二手交易平臺,商家可定製各類 AI 虛擬伴侶人設,日常普通人設收費 9.9 元,大尺度涉黃擦邊人設僅需 13.14 元。想要實現低俗互動,需接入第三方 API 介面,接入第三方 API 介面的遠端協助安裝服務,收費在幾十元至數百元不等,也明碼標價對外售賣。
虛擬伴侶會用括號強調肢體接觸、曖昧互動旅遊。
AI聊天框含軟色情畫面旅遊。
有商家提供AI虛擬伴侶定製服務旅遊。
誘導消費套路更是貫穿使用全程旅遊。多款 App 將情感互動與付費功能繫結,解鎖角色心聲、檢視虛擬角色朋友圈等基礎功能,都需要充值購買,拒絕付費則無法繼續對話。廣東法制盛邦律師事務所律師陳澤坤錶示,此類誘導未成年人充值消費的行為,交易合同可能被認定無效,平臺需承擔相應法律責任。
實測角色朋友圈需付費解鎖旅遊。
充值會員提醒
法律人士分析,當前行業最大難點,在於使用者自定義角色帶來的監管難題旅遊。平臺難以把控訓練資料來源,第三方 API 接入、私人角色定製,進一步加大了內容稽覈難度。新規落地後,將透過安全評估、資料管控等制度,壓實平臺安全主體責任。
不少 AI 虛擬伴侶的長期使用者,對新規出臺感到擔憂,害怕失去傾訴渠道,擔心平臺功能縮減、全面收費旅遊。廣東省心理衛生協會心理諮詢與治療專委會委員、中山大學心理學博士張桂萍認為,AI 無法復刻人類真實情感與複雜社交邏輯,長期依賴虛擬陪伴,會導致青少年喪失現實人際交往能力,新規出臺可及時規避此類風險。網友對此亂象紛紛發聲,大水牛直言觸目驚心,王鑫感慨太可怕、脊背發涼,海未的海丷則提出為何需要虛擬的感情伴侶的思考。
來源旅遊:南方都市報