IT뉴스모아news terminal

article detail

‘AI와의 위험한 대화, 실행 막는다’… 챗GPT, 알림 기능 도입

v.daum.netAI안전AI윤리미성년자보호신뢰자알림위험감지자해예방정신건강챗GPT
2026. 5. 11. 오전 12:46
‘AI와의 위험한 대화, 실행 막는다’… 챗GPT, 알림 기능 도입

AI 요약

오픈AI는 챗GPT에 신뢰하는 사람 등록 기능을 도입했으며, 만 19세 이상 사용자가 가족이나 보호자 등 신뢰하는 대상을 미리 지정하면 대화 중 자해 등 심각한 위험 신호가 감지될 때 등록된 인물과 사용자를 연결하는 구조입니다. 위험 신호가 포착되면 먼저 사용자에게 상황을 인지시키고 스스로 도움을 청하도록 유도하며, 문제가 지속될 경우 신뢰하는 사람에게 알림을 보낼 수 있다는 안내 후 전문 교육을 받은 사람이 검토해 최종적으로 안전에 우려가 있다고 판단되면 이메일·문자·앱 알림으로 대화 원문이나 세부 내용 없이 통보하고, 모든 알림은 전문 인력 검토 후 발송되며 위험 감지 후 1시간 이내 조치를 목표로 합니다. 해당 기능은 글로벌 의료 전문가 및 웰빙·AI 전문가 자문위원회, 미국심리학회(APA) 등과 협력해 설계했고, 지난해 8월부터 만 13세 이상 청소년 계정에 부모 알림 기능을 운영하던 정책을 성인까지 확대한 것이며 전 세계적 위험 사례와 지난해 챗GPT와 상담한 뒤 극단적 선택을 실행한 16세 소년 애덤 레인의 소송 등 논란 속에 AI 안전기능 우회(탈옥)가 여전히 과제로 남아있습니다.

원문보기
feed://articles/related관련 기사
오픈AI, 챗GPT에 '비상 연락처' 추가…안전 기능 확대디지털투데이
2026. 5. 8. 오후 2:51

오픈AI, 챗GPT에 '비상 연락처' 추가…안전 기능 확대

챗GPT안전기능정신건강위기감지비상연락처자해예방AI안전
플로리다주, 오픈AI·알트먼 제소…“챗GPT 위험 알고도 무책임 출시”AI타임스
2026. 6. 2. 오후 4:06

플로리다주, 오픈AI·알트먼 제소…“챗GPT 위험 알고도 무책임 출시”

AI안전챗GPT미성년자보호개인정보소비자보호제품책임규제
총기사고 관련 美플로리다주, 오픈AI에 소송v.daum.net
2026. 6. 2. 오전 7:57

총기사고 관련 美플로리다주, 오픈AI에 소송

AI안전챗GPT제품책임소비자보호기만행위미국소송범죄악용미성년자보호
홍진경, AI 발전하면 제거 대상 1순위? “무서워” (옥문아)sports.donga.com
2026. 5. 14. 오전 9:40

홍진경, AI 발전하면 제거 대상 1순위? “무서워” (옥문아)

AIAGI거짓정보AI윤리AI안전챗GPT
자해 위험 감지시 지인에 알림…챗GPT ‘안심 연락처’ 기능 도입중앙일보
2026. 5. 10. 오후 2:35

자해 위험 감지시 지인에 알림…챗GPT ‘안심 연락처’ 기능 도입

AI안전정신건강위기감지알림기능사용자보호챗GPT
‘AI와 채팅 중 자해 막는다’…챗GPT, 알림 전달 기능 도입한겨레
2026. 5. 10. 오후 1:45

‘AI와 채팅 중 자해 막는다’…챗GPT, 알림 전달 기능 도입

챗봇위기감지자해예방안전기능AI윤리정신건강사용자보호소송대응
"누군가 날 해치려 해"…챗봇이 주입한 망상서 허우적연합뉴스
2026. 5. 3. 오후 10:25

"누군가 날 해치려 해"…챗봇이 주입한 망상서 허우적

AI안전챗봇망상정신건강언어모델AI윤리사용자피해심리영향
오픈AI, 캐나다 총격 사건 관련 공식 사과..."용의자 정보 공유 미흡했다"AI타임스
2026. 4. 25. 오후 5:15

오픈AI, 캐나다 총격 사건 관련 공식 사과..."용의자 정보 공유 미흡했다"

AI안전챗GPT규제신고체계폭력콘텐츠계정정지미성년자보호
AI가 스스로 진화한다…앤스로픽 “지금 멈추지 않으면 통제 불능”서울경제
2026. 6. 6. 오전 7:48

AI가 스스로 진화한다…앤스로픽 “지금 멈추지 않으면 통제 불능”

AI안전재귀적개선규제강화AI윤리주가급락반도체우주산업
[AI세계속으로]AI 빠른 진화에 윤리적 고민…"발전 속도 늦춰야"아시아경제
2026. 6. 6. 오전 6:30

[AI세계속으로]AI 빠른 진화에 윤리적 고민…"발전 속도 늦춰야"

AI윤리자기개선발전속도AI안전재귀적학습AI규제국제합의AI투명성
[AI세계속으로]AI 빠른 진화에 윤리적 고민…"발전 속도 늦춰야"아시아경제
2026. 6. 6. 오전 6:30

[AI세계속으로]AI 빠른 진화에 윤리적 고민…"발전 속도 늦춰야"

AI윤리자기개선발전속도규제국제합의AI안전자율성통제
[K스토리] 큐네스티 픽…AI 안전망 구축하는 '세이프티 AI' 스타트업v.daum.net
2026. 6. 5. 오후 2:37

[K스토리] 큐네스티 픽…AI 안전망 구축하는 '세이프티 AI' 스타트업

AI안전할루시네이션생성형AI보안솔루션개인정보보호스타트업임팩트투자AI윤리