リサーチの信頼感とヒューリスティック
前の投稿をもう少し詳しくまとめてみた。
経験と記憶 (リサーチにおいて) - Hello World By Idenarix http://t.co/FvLChWertA
— Idenarix (@Idenarix) 2015, 10月 12前に記憶と経験の乖離がリサーチ結果に影響を与えるかもって事を書いたけど、リサーチ結果と実際のビジネスメトリクスとのギャップなんかにも影響を与えるんじゃないかって思ったり。
記憶の態度と経験の態度
リサーチでは総合的な指標として消費者の態度変数を扱ったりする。たとえば、好意度とか購入意向とか。
企業が広告とかコミニュケーションで消費者に影響を与えるときに、その態度変数の変化を追うわけだけど、例えばトラッキング調査としてトレンドを追う場合には、1週間とか1ヶ月単位で同じ指標を繰り返し聞いていく。そして、その点と点と結んでいって消費者の態度の変化を描こうとする。また、その態度の変化が広告やコミニュケーションの成果と言うことになる。
でも行動経済学によると、人間のある事柄に対する記憶は、そのピークと終わり(直前)の状態に左右されると言う。
つまり、1カ月スパンのトラッキングだとすると、最初の3週間はポジティブでも、最後の1週間がネガティヴだと、その人の記憶はネガティヴだとされてしまう可能性がある。
でも、(態度がある程度売り上げに相関するとして)売り上げは最初の3週間はプラスなので、そんなに悪いわけではない。この逆のパターンもありうる。
こうなると、トラッキング調査のトレンドと実際のセールスのトレンドはうまく一致しないことにもなってしまうのでは。
時間の連続性
スパンの長いリコール式の調査を嫌がって、毎日少しずつサンプルを変えて直近1週間のことを答えてもらうようなケースもあるみたいだけど、これも時間の間隔が短かっただけで結局は同じことのような。セールスなどのビジネスメトリクスは時間の連続性の中で生まれているので、調査で測定する指標も時間的な連続性の中で扱わないといけないのでは。
そもそも論とリサーチの信頼感
前も書いたかもだけど、リサーチもモバイル端末などの発展で、何でもかんでも思い出させないとデータが集まらないような世界ではなくなっているわけで、まずは、自分たちが集めているデータがどう言った素性をもったものなのか、からの視点が必要だなと。
リサーチ以外にもマーケティング課題を解決する選択肢が広がりつつある今、この辺の反省って大事じゃないかな。
経験と記憶 (リサーチにおいて)
"経験と記憶"の違い
これ、リサーチの視点としてもとても重要だよ。≫ダニエル・カーネマン： 経験と記憶の謎 | TED Talk | http://t.co/tU6kU7NRhA http://t.co/9ymDKG2aED
— Idenarix (@Idenarix) 2015, 10月 11少し長めの動画だけど、人はその時に直面する経験と、後になってどのようにその経験を捉えているのか、と言う記憶は、実は同じではない、という行動経済学の理論に関することをダニエル・カーネマンという有名な(知らなかったけど)先生が説明してくれてる。
この中で出てくる痛みに関する経験と記憶の乖離も面白いなーと。
リアルタイムデータとリコールデータはまったく別のもの
この、経験と記憶と言う枠組みで我々のリサーチデータを見てみると、リアルタイムに聴取するデータと、リコールさせて聴取するデータが異なる可能性があるってことになるのかな。
実は実際に、ある実験的な調査で、このリアルタイムデータとリコールデータが異なるんじゃないかって可能性があるのを発見した事があって、リアルタイムとリコールの乖離がずーっと頭の片隅にあったので、このダニエル・カーネマン先生の話もとても興味深かったのだと思う。
その時とるべきデータは、その時とるべき
この偶然見つけたっぽい傾向は、簡単に言うと、どうやら、リコールデータにおけるヒューリスティック(ダニエル・カーネマン先生が言うこところの人間が勘違いするパターンみたいな意味かな)は、マーケッターにとっては都合のいい方向に働いてしまう可能性があるらしい。
具体的には、ある製品を購入する時にはなーんにも考えてなかった人も、後になってその時のことを聞かれると、製品特徴をちゃんと理解してて、コミュニケーションもしっかり認知してたって勘違いしてるっぽい。
リアルタイムで調査すると、みんなその製品の事なんて気にしてなくて、価格だけを重視して買ってるのに、しばらく使った後で、初めて買った理由とかの同じ質問すると、買う前に興味を持ってて、特徴を理解して買ったって答えるんだよね。
調査結果を見ると、おー、しっかりコミュニケーションできてるし、製品特徴も訴求できてるじゃん、って思うんだけど、それは、しばらく製品を使ってることで、過去の記憶が書き換えられてるって可能性があるんだよね。
これは製品購入理由に関することだけと、他にもその時の経験と、後になっての記憶が乖離しているケースって少なくないと思うわけですよ。
やはり、その時に取るべきデータは、その時に取るべきなんだと思う。
センサー技術のハードと、データ分析のソフトが直面のハードル
とは言え、リアルタイムデータをちゃんと扱おうとすると、当面はいくつか超えるべきハードルがあると思う。
- リアルタイムを捕らえるためのセンサー技術をあつかうスキルセット
- 日常的な消費行動に極力影響を与えないような限定的な聴取からインサイトにつなげていくスキルセット
- 属性データになっているセンシングデータをあつかうデータ分析のスキルセット
ただし、リコールするべきデータは、リコールされるべき
ただし、すべてをリアルタイムで聴取することが正しくて、全てのリコールデータが無意味だという事ではないと思う。
購入理由をとっても、購入スパンがすごく長いようなものとかは、過去の経験を思い出して色々考えるだろうし、ブランドや企業に対する態度なんかはリコールデータの方がいいのではないかなーと思う。
つまりは、今まではリコールデータとしてしか経験も記憶も聴取する事が出来なかったけど、これからは経験として聴取するべきものと、記憶として聴取するべきものを分けて考えなくちゃいけなくなるんじゃないかな。
日本のソーシャルはビッグデータ向き？
Social Mediaの使い方は国によっても傾向が大きく違うけど、やはり欧米系の方が、ひとつのPostの中身が意見としてまとまっていて、Netnographyのような分析に適している印象。
１つのポストに含まれる情報が多いので、内容分析とかSCATみたいな手法で質的なデータ分析を行うことがわりとできる。
一方で、日本は個々のポストに含まれる情報量はたいしたことないので、ビッグデータ的なアプローチやマシーンラーニング技術で量（大量のデータソース）から質（インサイト）を引っ張り出すようなアプローチの方が適しているのではないかと思ってみたり。
これは、わりと古い記事だけど、ちょっと思い出したので。
日本語ツイートの情報量は、世界で2番目に少ないらしい - TEXT/YUBASCRIPT
もちろん、テーマやプラットフォームによっては情報量が多いケースもあったりするので一概には言えないけどね。
ビッグデータ時代のデータコレクション
定量リサーチは長らく調査票によるリコールデータを扱ってきたし、今もほとんどの定量リサーチはこの方法でデータコレクションされていると思う。
また、定量リサーチのデータの多くは、関心のある上位指標とそれを説明しているであるうとされる下位指標で構成されるようなメカニズムに関心のあるテーマも多いと思う。
そして、この上位指標はだいたいがブランドや製品にたいする態度で、下位指標はイメージだったり、経験の有無だったりする。
でも、特に過去の経験を取りたい場合に、調査票を使ったリコールデータは、これが正しいから使われているのではなく、人の頭の中を記録する方法が他になかったからこの方法を採用するしかなかったと言うのが正しいはず。
また、リサーチは、データコレクション、分析、伝達のステップに別れるけど、それぞれ、手前のステップがちゃんとしてないと意味がない。
伝達はいわゆるレポーティングで、分析はデータ処理や解析なんかだけど、割とここは手前のプロセスと後のプロセスで、やる事同士が見た目のレベルから連動するので新しい分析は受け入れられ安い。
一方で、データコレクションは結果に対して直接的に影響を及ぼさないケースも多く、あまり投資されない。
いったん数字やデータになってしまうと、どのようにその数字が生まれたのか、についてはあまり議論されない、と言うか、あまり関心を持たれない。
最初に調査票に記憶を落としていく方法論は正しい方法ではなく、妥協案だと話したけど、リサーチの結果にデータコレクションへの想像力が働かないので、新しいデータコレクションの方法はお金を出してもらうのが簡単じゃない。
より正しい、より正確なデータを新しい方法で集めても、出てくるチャートの軸が変わらないなら投資はできないって感じ。
自分も定量リサーチをやっている人間として気持ちは分かるけど、この回答バイアスやデータの信頼性みたいなことにちゃんと意識を向けないと、正確にはもっと反省しないと、調査畑以外の人が調査を見た時にとか、調査結果を見た時に、なんじゃこれって思うんじゃないかな。
門外漢のゼロフラットな視点ですごく怖いし往往にして正しいしね。
どこまで現実的に見ていいのか分からないデータをそのまま使い続けるのは、アクチュアルなデータを直接的に扱えるビッグデータ的なやり方に比べて説得力なくなると思うんだよね。
タイムマシーン経営とビジネス領域
結局、早朝（というか深夜）のウェビナーにリアルタイムでは参加できなかったけど、近いうちに録画したものが送られてくるとか、こないとか。
詳細はそっちを見るとして、地球の反対側で似たようなことを考えている人がいるってことが非常に面白いなあと感心してしまう。
まあ、考えてみれば、文化や歴史は異なるにしても、西欧化された産業社会の中で、私企業のマーケティング活動という世界に身を置いていれば、感じることや考えることなんかも似通ってくもんなんだな。
具体的な形として生まれてくるものが異なるのは、どのくらい感じることや考えることを形にする体制とか、まわりの環境とか、人々の姿勢や態度みたいなものが関わってくるでしょうね。
そういう意味では、アメリカや欧米がマーケティングの歴史が長い分だけ、生まれるものも先行しているのはある意味当然なのかな。
少し前に、タイムマシーン経営なんて言葉もあったように思うけど、MRの世界でもおなじような考え方ができるのかもしれない。そもそも、Social ListeningやMROCみたいなものもそうだしね。
ただ、MRって、特に定量畑は、”我々は統計学に基づいているんだ”って姿勢に真面目だから、うまく取り込めない状況なんかも出てきそう。
統計学に基づいた社会調査をサービスとして提供する会社と自分たちのビジネスを定義するのか、クライアントのマーケティング課題解決のためのサポートを提供する会社と定義するのか、その辺の姿勢が重要なんだろうな。
Mixed Method（混合研究法）は大きなパラダイムシフトになりうるか
MR会社は多くの場合、「定量」と「定性」に分かれています。
ほとんどの会社で組織が別になっているのではないでしょうか。もちろん、数人などの小さな会社さんはそんなこともないかもしれませんし、そもそも定性専門の会社もけっこうありますよね。まあ、基本的に、組織が異なるケースが多いわけです。
そして、組織が異なるということは人も別になっているということですよね。
定期的に人事異動がある大きめ（？）の企業ならまだしも、中小のMR会社では定量畑の人はずーっと定量、定性畑の人はずーっと定性、ってん感じです。
これはこれで、専門性が磨かれるという意味ではすばらしいですし、スーパー定量リサーチャー、スーパー定性リサーチャーが生まれることもあるんだと思います。
ただ、MRはクライアントのビジネス課題、マーケティング課題解決のサポートのために存在する訳で、そのために、より深い、より質の高いインサイトを生み出すことが求められるわけです。むしろ、それが存在価値と言ってもいい。
ここの部分を別の言い方をすると、定量的な方法を使うとか、定性的な方法を使うとかは目的ではない訳です。手段ですよね。
でも、われわれMRは、「この課題は定性だな」とか「この課題は定量だな」と考えます。そして、これは、100％定性でカバーできる、とか、100％定量で対応できるという意味ではなく、「定性でやったほうがカバーできる範囲が多いな」「定量でやればおおむねOKだな」とう意味です。
手段によって目的をやや矮小化してませんかね。本末転倒な気がしませんか。
もちろん、すごく大きなPJとかになると、定性フェーズと定量フェーズに分けて~とか考えますが、余程のことがないかぎり、そんなにお金も時間も使える案件なんてありません。
この定量、定性の議論は、アカデミックの世界でも昔から存在するようなのですが、素人の私がいろいろ読んだ範囲では、90年代にこの手の議論は収束したようです。理由としては、「定性VS定量の議論が、あまり生産的な結果をうまな方から」とのこと。
この視点、すごき刺激的ですよね。定性とか定量とかという考え方（それぞれの分析アプローチとしての考え方は必要です。2項対立としての考え方）は、何も生まないということですよね。
そして、アカデミックでは、混合研究法（MM）という考え方が出てきたようです。そして、このMMの重要な点は「実用主義」であるということだそうな。
ビジネスとマーケティングの世界のプレーヤーである、MR会社がいまだ定量と定性の2項対立の中で物事を見ているときに、そのような視点は生産的ではない、実用主義として定量と定性を混ぜて考えるアプローチがアカデミックの世界から出てきているというのに、MR会社も目を向けるべきではないかと思います。
もちろん、MR会社が普段相手にしているクライアント側の担当者も、定量と定性でものごとを見ている傾向が強いので、今日明日ですぐにどうのということではないですか。よりよいインサイトを生み出すという意味で、いろいろ考えてもいいのではないかなと思うわけです。
incrementalでagileなリサーチ
おそらく今後は、従来型の統計的サンプリングだけでなく、理論的サンプリング、選択的サンプリングをもっと取り込んでいく必要が、定性調査だけでなく、定量調査にも現れてくるのではなかろーかー。
— Idenarix (@Idenarix) 2015, 7月 15一方で、アンケートに答える側の都合を、あまり、考えずにどんどん肥大化している現在のリサーチのお作法では、モバイル端末での回答はかなり無理があります。
そーすると設問数を減らすしか方法はないんですが、設問数を減らすことは、関心の領域を取捨選択することを意味するので、なかなか難しいです。
そこで必要なのがincremental でアジャイルな調査設計ではないかと思うんです。
今までのリサーチはソフトウェア開発で言うところのウォーターフォール型で、最初に設計した内容にそって、その後のすべてのプロセスが決まってました。
そうする事で、想定しない仮説にフレキシブルに対応する調査設計が可能になります。
一方で、データは連続しないし、リサーチ会社の伝統芸である、統計的サンプリングは使えなくなります。
