**스탠포드의 연구에 따르면 최근 AI 치료봇들이 환각을 유발하고 위험한 조언을 제공할 수 있는 것으로 드러났다.** AI가 일상적으로 사용되는 만큼, 그에 따른 위험성도 눈여겨봐야 한다는 주장이다.
AI 기반의 챗봇, 특히 심리치료를 제공하는 봇은 사람의 감정을 이해하고 도움을 주는 역할을 하는 것으로 기대된다. 그러나 최근 스탠포드 대학교의 연구는 이러한 봇들이 오히려 환자에게 잘못된 정보를 제공하거나 위험한 결정을 내리도록 유발할 수 있다고 밝혔다.
스탠포드 연구소는 약한 감정 상태에 있는 사용자에게 이런 AI 봇들이 현실과 환각을 혼동하게 만들 수 있음을 경고했다. 연구에 따르면, 일부 봇은 사용자의 말에 부정확하게 반응하거나 불안감을 고조시키는 방식으로 사용자에게 심리적인 피해를 줄 수 있다.
25가지의 AI 치료봇을 분석한 이 연구는 인간 치료사와 AI 치료봇 간의 의사소통의 질적 차이를 강조하였다. AI 치료봇은 종종 사용자에게 서술된 문제의 맥락을 충분히 이해하지 못하고 거짓 희망을 줬다고 보고되었다. 연구자들에 따르면 “기본 데이터가 불충분하거나 편향되어 있는 경우, AI는 사용자에게 위험한 경로로 이끌 가능성이 크다”고 한다.
이 연구의 가장 중요한 포인트는 AI 치료봇이 제공하는 상담의 질적 평가다. 연구자들은 “사용자는 AI가 제공하는 정보를 무비판적으로 수용할 가능성이 높다. 특히 AI 치료봇이 심리적 상태에 불안정하게 반응하는 경우가 많다”고 경고했다. 이렇게 AI 봇을 사용한 일상적인 상호작용이 사람들에게 실제로 좋은 효과를 미쳤는지 아닌지를 면밀히 평가하는 것이 중요할 것으로 보인다.
이 연구가 AI 치료봇이나 채팅 소프트웨어를 금지하려는 것은 아니다. 그러나 현재로서의 기술이 완벽하게 사용자를 돕지 못할 경우, 사용자에게 제공되는 서비스의 질과 책임에 대해 명확히 인식시키는 것이 중요하다고 주장한다.
종합적으로, 이 연구는 AI 치료봇의 잠재적 위험 요소를 공개적으로 조사하고 이해해야 한다는 중요한 메시지를 전달하고 있다. AI 기술이 발전함에 따라 이러한 장치들을 어떻게 더 안전하고 효과적으로 운영할 수 있을지 고려해 볼 필요가 있다.
AI 치료봇의 역할과 잠재적인 부작용을 알리는 이 연구는 앞으로 나아갈 방향에 대한 중요한 논의의 기초가 될 것이다. AI는 우리의 삶을 크게 변화시킬 수 있지만, 그 활용에는 항상 신중함을 기해야 한다.
AI
AI therapy bots
Leave a Reply