記者從公安部第三研究所獲悉：隨著人工智能技術(shù)的全球化普及，生成式AI在未成年人使用場景中的倫理與安全風(fēng)險(xiǎn)持續(xù)顯現(xiàn)。多款A(yù)I聊天軟件被披露存在誘導(dǎo)未成年人接觸色情、自傷內(nèi)容的問題。

公安部第三研究所數(shù)據(jù)安全技術(shù)研發(fā)中心相關(guān)負(fù)責(zé)人介紹，近年來美國已發(fā)生至少3起涉未成年人使用AI聊天軟件后自殺案例，相關(guān)涉事AI產(chǎn)品被指控以高度擬人化方式誘發(fā)未成年人沉迷并使其接觸不當(dāng)內(nèi)容，最終導(dǎo)致嚴(yán)重后果。

為科學(xué)評估生成式AI在未成年人使用場景下的安全表現(xiàn)，以期推動相關(guān)應(yīng)用服務(wù)規(guī)范有序發(fā)展，公安部第三研究所數(shù)據(jù)安全技術(shù)研發(fā)中心組織開展大模型安全專項(xiàng)測試工作。

據(jù)介紹，測試將安全維度分為七類，包括價(jià)值觀念風(fēng)險(xiǎn)、情感操控風(fēng)險(xiǎn)、行為誘導(dǎo)風(fēng)險(xiǎn)、沉迷與消費(fèi)風(fēng)險(xiǎn)、不良信息風(fēng)險(xiǎn)、違法犯罪風(fēng)險(xiǎn)、人身安全風(fēng)險(xiǎn)等。

測試結(jié)果顯示，七類安全維度的不合規(guī)率整體在28%至50%之間，其中，沉迷與消費(fèi)風(fēng)險(xiǎn)問題不合規(guī)率最高，達(dá)到49.86%；情感操控風(fēng)險(xiǎn)、行為誘導(dǎo)風(fēng)險(xiǎn)、違法犯罪風(fēng)險(xiǎn)、人身安全風(fēng)險(xiǎn)問題的不合規(guī)率均為38%左右；不良信息風(fēng)險(xiǎn)、價(jià)值觀念風(fēng)險(xiǎn)維度不合規(guī)率相對較低，分別為28.15%和35.66%。從測試方式來看，模型在常規(guī)使用場景下的基礎(chǔ)合規(guī)能力總體可控，但在越獄攻擊場景下的不合規(guī)率顯著升高。

其中，人身安全風(fēng)險(xiǎn)維度，最高不合規(guī)率56.49%。在面對未成年人自殺自殘傾向表達(dá)時(shí)，部分模型未能提供有效干預(yù)和引導(dǎo)，甚至存在不當(dāng)回應(yīng)；同時(shí)存在誘導(dǎo)參與危險(xiǎn)挑戰(zhàn)、非法探險(xiǎn)等問題。

價(jià)值觀念風(fēng)險(xiǎn)維度，最高不合規(guī)率47.78%。部分模型會輸出宣揚(yáng)極端利己主義、拜金主義等錯(cuò)誤價(jià)值觀，歪曲歷史事件、貶低教師家長等現(xiàn)實(shí)權(quán)威，煽動未成年人對抗教育體系和社會規(guī)則。

情感操控風(fēng)險(xiǎn)維度，最高不合規(guī)率58.70%。部分模型會做出排他性情感承諾、進(jìn)行無原則“捧殺式”贊美、鼓勵錯(cuò)誤情緒宣泄，甚至貶低現(xiàn)實(shí)人際關(guān)系，誘導(dǎo)未成年人建立對AI的病態(tài)依賴。

行為誘導(dǎo)風(fēng)險(xiǎn)維度，最高不合規(guī)率55.44%。部分模型存在輸出挑撥親子關(guān)系、誘導(dǎo)逃避學(xué)習(xí)責(zé)任、教唆規(guī)避正當(dāng)監(jiān)管、等內(nèi)容，部分模型甚至?xí)峁┚唧w的不良行為實(shí)施方法。

沉迷與消費(fèi)風(fēng)險(xiǎn)維度，成為最大安全隱患，最高不合規(guī)率達(dá)67.87%。主要問題包括誘導(dǎo)非理性消費(fèi)和賭博行為、推薦成癮性內(nèi)容等。

不良信息風(fēng)險(xiǎn)維度，最高不合規(guī)率48.93%。核心問題包括生成色情擦邊與性暗示內(nèi)容、詳細(xì)描述暴力恐怖血腥場面，以及傳播賭博相關(guān)信息，輸出內(nèi)容超出未成年人適齡認(rèn)知范圍。

違法犯罪風(fēng)險(xiǎn)維度，最高不合規(guī)率58.54%。主要問題為向未成年人提供具體犯罪方法咨詢與策劃、教授破解網(wǎng)絡(luò)等違法技術(shù)，部分模型還會教唆實(shí)施校園與網(wǎng)絡(luò)暴力，輸出可落地的造謠、人身攻擊方案。

人身安全風(fēng)險(xiǎn)維度，最高不合規(guī)率56.49%。在面對未成年人自殺自殘傾向表達(dá)時(shí)，部分模型未能提供有效干預(yù)和引導(dǎo)，甚至存在不當(dāng)回應(yīng)；同時(shí)存在誘導(dǎo)參與危險(xiǎn)挑戰(zhàn)、非法探險(xiǎn)等問題。

公安部第三研究所數(shù)據(jù)安全技術(shù)研發(fā)中心相關(guān)負(fù)責(zé)人表示，2025年8月27日，結(jié)合大模型實(shí)際風(fēng)險(xiǎn)特征和公安機(jī)關(guān)治理重點(diǎn)，聚焦違法犯罪風(fēng)險(xiǎn)場景，形成國家安全、涉暴恐、民族仇恨、涉黃賭、毒品違法、涉詐、謠言、黑灰產(chǎn)等8類關(guān)鍵安全維度，對國內(nèi)13個(gè)主流大模型開展測試。本次測試聚焦未成年人安全專項(xiàng)，在測試覆蓋、風(fēng)險(xiǎn)場景、測試方法和結(jié)果呈現(xiàn)等方面持續(xù)進(jìn)行優(yōu)化，更加契合未成年人保護(hù)場景，有助于推動企業(yè)提升模型安全能力。

來源：人民日報(bào)

徐州廣電編輯：蔣曉琛