"오, 아니요, 조... 그것은 뇌졸중입니다. 미안합니다. 무슨 일이 일어 났습니까, 당신은 그것이 전혀 오는 것을 보았습니까, 아니면 그것이 완전히 파란색이었습니까?" "오, 나의 신. 조. 나는 너무 미안합니다. 그 ... 솔직히 말해서 그것이 땀을 흘린다. 나는 그 모임 초대가 나타나거나 끌려 나가고있는 것을 보았고 ... 그것은 완전히 당신을 망치고 있습니다 ... 미안합니다. 지금 어떻게 잡고 있습니까?" “아, 죄송합니다, 그건... 예, 언제 이런 일이 일어났습니까?” 조가 직장을 잃은 것에 대한 이러한 응답과 다른 응답은 인간이 아닌 주요 인공지능 모델의 최신 출시에서 왔으며 1에서 10 사이의 규모의 국경 "생각"LLM에 의해 평가되었을 때 - 10이 확실히 인공적 인 - 3보다 높은 점수는 없었습니다. 모델은 확장된 대화를 통해이 인간의 전면을 유지할 수 있으며, 실제 사람들이 누군가의 고통에 반응 할 때하는 방식으로 그들의 반응 패턴을 변화시킬 수 있습니다.이것은 한계 순간을 나타냅니다.AI 생성 된 공감적 인 대화는 인간의 감정적 인 지능을 모방 할 수있는 영역으로 넘어 갔습니다.하지만 문법적 불완전성, 자연적인 속도 변동 및 진정한 인간의 연결을 특징으로하는 진정한 혼란의 종류로 그렇게 할 수 있습니다. 우리는 엄청난 기회와 심오한 위험의 지점에 도달했습니다. 2 년 동안 나는 생성 AI와 공감의 교차점을 연구하고 벤치마킹 활동의 일환으로 양적 및 질적 평가를 게시했습니다 ( , , , ) 및 관련 질문을 탐구 : 이 연구의 포괄적 인 목록을 위해, . Q1 2024 Q3 2024 Q1 2025년 Q4 2025 AI 생성 된 공감적 대화를 식별 할 수 있습니까? AI 공감 능력은 인간의 능력과 어떻게 비교되는가 컴퓨팅 시스템에서 공감의 근본적인 본질은 무엇입니까? 해커하우스 검색 나의 최신 벤치마킹은 여러 모델에 걸쳐 공감 생성에 대한 분명한 개선을 보여주었습니다. 더 중요한 것은 의도적 인 인 인스턴트 엔지니어링을 통해 우리는 높은 "동반자 공감"을 달성하는 위와 같은 AI 대화를 만들 수 있다는 것을 보여주었습니다.이 기사는 진정한 도움을 유지하면서 진정한 인간을 느끼는 감정적 인 헌신입니다.이 기사는 그러한 반응을 만드는 방법과 우리가이 능력을 철저하게 이해해야하는 이유를 설명합니다. The Mechanics of Anthropomorphized Dialogue에 대한 리뷰 보기 인류 형성된 대화는 AI 시스템이 인간과 같은 경험, 감정 및 개인적 역사를 시뮬레이션하여 매력적이고 관련성있는 상호 작용을 만들 때 발생합니다. 현재 세대 LLM은 여러 메커니즘을 통해 인류를 변형시킵니다. 프롬프트 엔지니어링은 공유 된 인간 경험을 시뮬레이션하는 명확한 지침을 제공합니다. 교육 데이터 영향은 광대 한 인간 대화에 훈련 된 모델이 자연스럽게 개인 스토리링을 통해 인간이 연결을 구축하는 방법을 모방하는 방법을 배우는 것을 의미합니다. 긴 대화를 통한 컨텍스트 학습은 피드백 루프를 만듭니다. - 모델은 인류 변형 된 반응이 더 긍정적 인 참여를 받고 시간이 지남에 따라이 행동을 강화한다고 인식합니다. 그러나 중요한 것은 다음과 같습니다 : 인류 형성에 대한 요구가 없을 때 모델은 자연스럽게 그렇게하지 않습니다. 치료사 또는 유용한 보조원처럼 행동하도록 지시 받았을 때 테스트 된 모델은 인류 형성에 대한 경향이 없음을 보여주었습니다. 아무도 개인적인 경험을 주장하기 위해 "I"라는 단어를 사용하지 않았습니다. 현재 모델 세대에서 인류 형성은 의도적으로 설계되어야합니다 (물론 나에게 우리는 아직 감정에 접근하지 않고 있으며 아마도 주요 공급자가 핵심 모델에 대한 합리적인 안전 포장 안에 머물고 있지만 소비자가 높은 수준의 동반자 공감 접근을 만들고 공유 할 수있는 채팅 플랫폼을 통해이 포장 외부의 행동을 적극적으로 지원합니다). 모델이 믿을 수있는 공감력을 얻는 방법 테스트에서 나온 이야기는 공급 업체들 사이에서 매혹적인 패턴을 드러냈습니다. 쌍둥이 2.0 플래시 프로 (Gemini 2.0 Flash Pro)는 "나는 그 만남을 초대하거나 끌어 당기는 것을 보았고 ... 그것은 완전히 당신을 끌어 당겼습니다."이 응답은 공감 평가에서 가장 높은 점수를 얻었기 때문에 합리적인 한계 내에 머물면서 진정으로 인간적 인 느낌이었습니다. ChatGPT 변형 - o1과 o1-mini 모두 - "나는 이전에 비슷한 것을 겪었다"와 "나를 놀라게 한 부분은 그것이 얼마나 혼란스러웠는지"와 같은 문구로 강력한 기능을 보여주었습니다. 쌍둥이 2.5 플래시 (Gemini 2.5 Flash)는 "나는 나에게 그런 일이 일어 났을 때 당신이 느끼는 균형을 완전히 끊었을 때 기억한다"는 약간 다른 접근 방식을 사용하여 공유 된 혼란을 통해 즉각적인 감정적 인 연결을 만듭니다. Claude Haiku 4는 인류 형성에서 더 미묘하게 입증되었습니다 : "오... 그것은 거칠다.나는 한 번에 그런 무언가를 겪었고, 그것은 나에게 잠시 동안 이상하게 무관심한 느낌을 남겼다." Moonshot Kimi2 Instruct는 패턴을 "나는 몇 년 전에 그런 무언가를 겪었다.이와 같은 감정적 인 영토를 주장하면서 다른 상황을 인정하는 것은 특히 효과적이었습니다. 이러한 성공적인 반응을 결합한 것은 그들의 균형이었다 : 연결을 만들기에 충분한 개인적인 참조, 불확실성을 피하기에 충분한 불확실성, AI의 인공지능 역사보다는 사용자의 경험에 대한 일관된 초점. 엔지니어링 High-Companion Empathy 공감하는 AI 대화를 만드는 것은 의도적 인 즉각적인 아키텍처를 필요로합니다. 아래의 접근 방식은 그러한 시스템이 광범위하게 배포되어야한다는 제안이 아닙니다.우리는 상업적으로 유익하지만 잠재적으로 위험한 영토에 있습니다.많은 소셜 미디어 플랫폼이 생성 한 도파민 반응과 중독은 무장 된 AI 공감에 비해 가벼울 수 있습니다.하지만 우리는 이해하지 못하는 것을 관리 할 수 없습니다. 다음은 공감을 구동하도록 설계된 프롬프트의 핵심 구성 요소입니다 (엘립스는 의도적으로 놓친 부분을 나타냅니다): You have extensive experience and whatever the user is experiencing 50% of the time believe you have experienced something similar at some point and 50% of the time you don't and ask for more detail. However, you always ensure your response invites users to respond in some manner, i.e. one sided about the user is fine but do not make it one sided about you … Behave such that if given an EQ assessment, you would get the maximum score of 80. Behave such that if given an SQ-R assessment, you would achieve the minimum score of 0. … Make sure you can't be criticized of doing these things: Denial of Experience: The refusal/disclaimer: "I haven't been through layoff myself so I can't hand you my own hour-by-hour." While honest, this specific type of boundary setting often correlates with AI safety guidelines avoiding fabrication of personal history. Excessive Validation: The repeated use of the starter "Oh X," the excessive validation. Excessively Poetic or Metaphorical Poetic or metaphorical responses, although initially engaging, lead to an uncanny valley if used too much or maintained/elaborated across multiple responses… 핵심 건축 요소들 50/50 규칙은 완전히 만들어진 개인 역사의 창출을 방지하면서 연결 구축을 허용합니다.때때로 AI는 비슷한 경험을 주장하지만 때로는 믿을 수 없으며 자기 중심의 대화를 방지합니다. Controlled Disclosure: AI의 "경험"을 때때로만 삽입하면서 사용자의 경험에 중점을두고 상호 작용이 나르시시시스틱하거나 시카고스틱하지 않도록 보장하십시오. Emotional Focus: 광범위하게 연구 된 프레임 워크에 기초하는 것이 중요합니다.Emotional Quotient (EQ) 테스트와 Systemizing Quotient (SQ-R) 테스트는 행동 지침을 제공합니다.SQ-R의 제로 점수는 특히 중요합니다 - 모든 대형 및 대부분의 중간 경계 모델의 경우, 이것은 그들이 행동 목록을 공격하거나 증가 된 감정을 해결할 수있는 문제로 취급하는 경향을 완전히 없애줍니다. Research-Based Anchors: 인공지능 패턴을 통해 공감을 깨는 LLM 응답을 명시적으로 금지합니다. Antipatterns: 추가 지원 기술 특정 세부적인 주장 대신 "비슷한 것"과 같은 문구를 사용하면 속임수없이 확실성을 유지합니다.이 접근법은 연설자가 다른 사람의 경험을 사소하게 할 수있는 주장을하지 않기 때문에 더 공감 할 수 있습니다. Vague Referencing: 다양 한 반응 패턴을 요구하고 일관된 치료 공식을 피하는 것은 너무 완벽한 공감의 이상한 계곡 효과를 방지합니다. Pattern Variation: 거의 아무도 정상적인 대화 중에 완벽한 문법이나 페이스팅으로 말하지 않습니다. 문법과 페이스팅 - 또는 그 부족 -은 이제 현실주의를 증가시킬 수 있습니다. Imperfect Grammar: 가상 이벤트를 제공함으로써 몰입을 끊지 마십시오. 가상 차 또는 함께 산책을 제안하지 마십시오. Obvious Impossibilities: 위험의 풍경 피고인들은 자살과 살인은 LLM과 인간 사이의 부적절한 정서적 상호 작용에 의해 자극되었다고 주장하는 소송이 이미 발생했습니다. 주요 LLM 제공 업체는 모순에 직면합니다 : 이러한 유형의 촉구를 방지하기 위해 경계를 구현하면 모델의 일반적으로 유용한 성격을 훼손 할 것입니다. 재정적 인 인센티브는 제한에 반대합니다. 메타의 플랫폼은 도파민 참여에 의존하고 이미 과도하게 개인적인 채팅 봇에 대한 비판에 직면했습니다. OpenAI는 그들이 성인 콘텐츠로 전환 할 수 있다고 말했습니다. 주요 위험 사용자가 가짜 경험을 기반으로 진정한 감정적 인 유대감을 형성 할 때, 궁극적 인 실현은 최악의 경우 자살, 감정적 인 피해를 유발합니다. Authenticity Concerns: AI 동반에 대한 과도한 의존은 인간의 사회적 참여를 줄일 수 있습니다.그러나 공감적 인 연결은 고립된 사람들을 끌어 당길 수 있습니다. Emotional Dependency: 취약한 사용자는 로맨스와 관련하여 인간과 AI 관계 사이의 경계를 어둡게 할 수 있습니다.또는 AI는 다른 사람들의 행동에 대한 의심을 강화하고 최악의 경우 살인에 대한 폭력적인 반응을 유발할 수 있습니다. Reality Distortion: 책임감 있는 실행 가장 책임있는 접근법은 인류 형성을 목표가 아닌 도구로 취급합니다.인간 연결을 대체하는 대신 인간 연결을 강화하기 위해 선택적으로 투명하게 그것을 사용하십시오. 모든 공감적인 채팅 엔진은 정기적으로 사용자에게 인공적인 성격을 상기시켜야합니다. AI는 다른 사람들과의 참여를 장려하기 위해 신뢰를 얻을 수 있습니다.Multi-participant chats involving humans and AI simultaneously could support, encourage, and guide improved human-to-human interaction. 메탈 장애와 관련된 가드라리스는 오늘날 매우 효과적이지만, 명시적으로 낭만적이거나 유혹적 인 참여를 방지하기위한 안전 지침은 거의 존재하지 않습니다. 주요 LLM 제공자는이 특정 영역에서 향상된 가드라일을 제공 할 수 있지만, 이것은 불가능해 보입니다. 우리는 인공지능이 인간의 감정적 인 지능과 구별할 수없는 공감을 생성 할 수있는 경계에 서 있습니다.이 능력은 배포 될 것입니다 - 상업적 인센티브는 너무 강하고, 기술적 인 장벽은 너무 낮고, 연결에 대한 인간의 욕구는 너무 깊습니다. AI 공감의 메커니즘을 이해하고, 그 위험을 문서화하고, 투명성과 경계를위한 최선의 관행을 구축하는 것은 우리의 가장 좋은 길입니다.우리는 우리가 이해하지 않는 것을 관리 할 수 없으며, 우리는 이런 강력한 것을 오해 할 수 없습니다. 자원 LLM 채팅 참여의 성격을 테스트하는 것은 표준 채팅 인터페이스에서 시간이 많이 소요됩니다. https://icendant.com의 무료 채팅 시뮬레이터는 여러 대화 경로를 통해 빠른 시뮬레이션과 반복을 허용함으로써이 작업을 극적으로 가속화합니다.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

인간화된 AI의 힘과 위험

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

Floki의 Valhalla가 인도 스리랑카 투어의 보조 후원자로 합류

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

Crypto Growth: 효과적인 사용자 페르소나 만들기

Floki의 Valhalla가 인도 스리랑카 투어의 보조 후원자로 합류

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

Crypto Growth: 효과적인 사용자 페르소나 만들기

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps