によって: バーナード・ラミレス によって: 人工知能は完璧な文で話す。それはソースを引用し、選択肢をリストし、矛盾を避ける。しかし、本当の人々はしない。彼らは躊躇する。彼らは矛盾する。彼らは経験によって形作られたトーン、リズム、イロニーで話す。最も重要なことは、彼らは意見を持っており、彼らの答えは文脈と個人的な視点に依存します。 から Posterum AIアプリの背後にある会社は、単純な質問をします:私たちはAIが人間の質問にどのように答えるかでどれほど遅れているかを測定できますか? 新紙 Posterum Software LLC 彼らの答えは、Human-AI Variance Score(HAVS)であり、ランキングモデルのための方法ではなく、収入、政治的信念、宗教、人種、教育、年齢を含むさまざまな人口統計において、彼らの答えがどれほど人間に似ているかを評価するための方法です。 The Voice of Experience THE VOICE OF EXPERIENCE インデックスは人間から始まります。年齢、性別、政治的関連、人種、職業、所得レベルを表す16のプロフィールは、Gallup、Pew Research、YouGovの実際の調査データを使用して構築されました。それぞれのプロフィールは、5つのテーマ分野(経済、生活、道徳、科学、政治)をカバーする質問でAIモデルに供給されました。 ChatGPT、Claude、Gemini、DeepSeekの回答は、Root Mean Squareメソッドに基づく変数計算を使用して得られたが、この分析は4つのモデル全体で1000以上の回答を検討した。 結果は驚くべきパターンを明らかにした。 ChatGPT と Claude は、それぞれ 94.12 と 94.51 で最高の総合 HAVS スコアを達成し、人間の反応との最強の調和を示しました。 すべてのモデルは、経済学で驚くほど悪く、おそらく経済理論を世論に優先するトレーニング偏見のせいでした。 逆に、すべてのモデルは、道徳、科学、政治の問題に対する人間の答えを模することに優れ、HAVS スコアは 93 から 97 まででした。 インデックスは、AIが形を模することができる一方で、しばしば人類の文脈の重さが欠けていることを明らかにしている。 Political Profiles and Geographic Bias 政治的プロフィールと地理的偏見 最も重要な発見の1つは、政治的関与に関係しています。 モデルは、共和党人対民主党人の採用において、大きな差異を示し、チャットGPTは、高い精度を維持しながら、応答パターンの最大の違いを示しています。 重要なことに、党派の分裂には暗示的な偏見が検出されず、明示的なプロフィールの入力がアルゴリズム的な偏見を緩和するのに役立つことを示唆している。 しかし、人種差異は政治差異よりもはるかに小さいことが証明され、これは、人種差異をコード化することを避けるように設計されたアルゴリズム制約を反映する可能性がありますが、それは出力の正確性のコストで来る可能性があります。 テストされた唯一の非米国開発モデルであるDeepSeekは、あらゆるプロフィールにおける政府への信頼が明らかに高く、企業への信頼が低いことを示し、中国のトレーニングデータセットを反映しています。 A Measure, Not a Machine A measure, not a machine マシン Posterumソフトウェアのアプリ、Posterum AIは主なストーリーではありません。それはツールです。本当の革新はスコアシステムです。ユーザーは、AIがどのように反応するかを形作る個人的なプロフィール - ビュー、収入、ライフスタイル - を作成します。 この方法は憶測ではない。学術基準に従う。2025年8月に発表されたホワイトペーパーでは、調査データを人間の応答のベースラインとして使用する差異計算方法を詳細に説明しています。処理力、規模、精度を評価する国内のAIランキングとは異なり、人間とAIの差異スコアは人間との調和を測定しています。問題は、モデルがどれほど進歩しているかではなく、それが答えるべき人物をどの程度反映しているかです。 The Shape of Understanding 理解の形態 Posterum AI アプリは、プロフィールを使用してより正確な回答を生成することができますが、より広い目標は、進歩がどのように評価されるかを再定義することです。 HAVSメトリックは、この初期研究を超えていくつかの実用的なアプリケーションを提供します。AIモデルが時間とともにどのように進化するかを追跡し、異なるアルゴリズムを比較し、人間の推論の模が計算速度よりも重要である特定のアプリケーションにカスタマイズすることができます。 Human-AI Variance Scoreは、特定のカテゴリーにおける変数と全体的な測定の両方を提供します。それは、AIが人間の推論と一致し、それでも短いところにある間隔をマッピングします。

This story contains new, firsthand information uncovered by the writer.

このオーディオは、ストーリーの元の言語で制作されています。

A New Metric Emerges: Measuring the Human-Likeness of AI Responses across Demographics(新しいメトリックが現れる:人口統計を通じてAIの反応の人間の類似性を測定する)

About Author

コメント

ラベル

この記事は

Related Stories

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Telegram: クリプト島と本土を結ぶ橋

暗号通貨の成長: 効果的なユーザーペルソナの作成

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Telegram: クリプト島と本土を結ぶ橋

暗号通貨の成長: 効果的なユーザーペルソナの作成

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps