数字が増えるほど、顧客が見えなくなることがあります。
PV、セッション、滞在時間、クリック率、コンバージョン率。ダッシュボードには、数えられるものが整然と並びます。ところが、きれいに測れることと、知る価値があることは同じではありません。
数えられるものすべてが重要とは限らない。
重要なものすべてを数えられるとも限らない。Not everything that can be counted counts,
and not everything that counts can be counted.
この言葉は長くアインシュタインの発言として紹介され、このサイトでも2010年の初出時にそう記しました。しかし、確認できる出典は社会学者William Bruce Cameronの1963年の著書『Informal Sociology』です。引用元を訂正します。
出典は違っても、問いは古びていません。むしろ、あらゆる行動を計測し、AIが瞬時に要約できる今こそ深刻です。
測りやすい数字が、仕事を決め始める
本来、指標は目的へ近づいているかを確かめるための代理変数です。ところが運用を続けるうちに、代理だった数字そのものが目的へ変わります。
| 測りやすい数字 | 数字だけでは分からないこと |
|---|---|
| PV | 読みたい内容が見つかり、理解が進んだか |
| 滞在時間 | 興味を持って読んだのか、迷って動けなかったのか |
| クリック率 | 納得して選んだのか、誤解を招く表現に反応したのか |
| コンバージョン率 | 本人の目的が達成され、その後も満足したか |
| レポート作成時間 | 判断や顧客体験が良くなったか |
PVを目標にすれば、ページを分割して表示回数を増やせます。クリック率を目標にすれば、強い表現で注意を引けます。CV率を目標にすれば、判断に必要な情報を省き、決断を急がせることもできます。数字は改善しても、体験や信頼まで良くなったとは限りません。
問題は数字が不正確なことではありません。正確に測れた別のものを、本来の目的だと思い込むことです。
この転倒には名前も付いています。経済学者Charles Goodhartは1975年の論文「Problems of Monetary Management: The U.K. Experience」で、政策目標に使われた統計的な規則性は崩れると、金融政策の文脈で指摘しました。人類学者Marilyn Strathernは1997年の論文「‘Improving ratings’: audit in the British University system」で、これを「指標が目標になると、良い指標であることをやめる」と簡潔に表現しました。現在、KPI運用でもグッドハートの法則として知られる構造です。
成果ではなく、人間を理解する
では、何を測ればよいのでしょうか。ツールに用意された指標から選ぶのをやめ、次の順で逆引きします。
- その人は、何をしようとしていたのか
- どのような状況にあり、何に迷っていたのか
- 接点を通して、理解、感情、選択、関係がどう変わってほしいのか
- 何が分かれば、企業の次の判断を変えられるのか
売上やコンバージョンは大切です。ただし、それは人に起きた変化の結果です。結果だけを集計しても、なぜ選ばれたのか、誰の役に立たなかったのか、次に何を変えるべきかは分かりません。
この考えを具体的な計測へ落とした例が、ASCII.jpで連載した「その指標がデザインを決める」です。ゴールのないサイトでもコンバージョンを測る方法では、取得できる数字ではなく「訪れた人にどうなってもらいたいか」から指標を組み立てました。現在の言葉で整理し直したものが、PDCAからBMLへの記事です。
数えられないから、諦めるのではない
「大切なことは測れない」で終えると、経験や声の大きさで判断する仕事へ戻ってしまいます。完全には数えられなくても、理解を深める証拠は集められます。
- 行動データで、どこに違いが起きているかを見つける
- 検索語や問い合わせで、本人が使った言葉を読む
- インタビューや観察で、目的、事情、迷いを知る
- CRMや継続利用で、一回の訪問後に関係がどう変わったかを確かめる
- 複数の証拠が一致するか、反証となる事例がないかを探す
一人を追跡し尽くす必要はありません。同意を得て観測できる行動、集団の傾向、本人の声を組み合わせ、事実、解釈、仮説を分けて扱います。数字を捨てるのではなく、数字を人間の文脈へ戻すのです。
AIで数える前に、人が問う
AIは、自由記述や検索語の分類、パターンの探索、仮説の列挙を速くします。一方で、目的の曖昧なデータを渡せば、もっともらしい要約と指標をいくらでも増やせます。レポート作成が速くなっても、見るべきものを間違えていれば、間違った方向へ速く進むだけです。
何を知れば判断が変わるのか。誰にどのような変化が起きるべきか。その変化は本人にとっても望ましいのか。ここは人が引き受けるしかありません。
測れるものを増やす前に、何が重要なのかを決める。取れる数字から始めず、人に起きてほしい変化から計測を設計しよう。