こんにちは、杣取(そまとり)です。

本記事は再現性アドカレの18日目の記事になります。

先日、心理学評論の特集号「心理学研究の新しいかたち」にて拙論文アンへドニア(anhedonia)と遅延割引: Lempert & Pizzagalli(2010)の追試が採択されました。 今回は、この論文の宣伝と、執筆の裏話などを書こうと思います。

ゆる〜い感じで書こうと思うのであまり細かいことは気にしないでもらえると助かります。

論文の概要

まず、この論文の概要をざっくり紹介していきます。 この論文では、Lempert & Pizzagalli (2010)の“Delay Discounting and Future-directed Thinking in Anhedonic Individuals”という論文の追試を行っています。

Lempert & Pizzagalli (2010)では、心理尺度で測定したアンへドニアと、遅延割引課題を用いて測定した割引率との間に負の相関(r = 0.42)があることが示されています。 ちなみに、アンへドニアというのは楽しい気持ちや嬉しい気持ちになりにくくなってしまう症状のことを言います。割引率は遅延する報酬の価値をどれだけ割り引くか、という指標です。ヒトは一般に、遅延する報酬の価値を割り引く(つまり、今の1000円よりも明日の1000円は安く感じる)ことが示されています。つまり、割引率が高いということは、遅延する報酬の価値をより大きく割り引く、ということを意味します。

Lempert & Pizzagalli(2010)では、金銭に対する遅延割引課題を実施しているので、アンへドニア症状が高い人ほど、遅延してもらえるお金の価値を割り引かない(つまり、遅延しても金銭に対する価値は変わらない)ということを示したことになります。

私たちの研究では、ウェブ実験を使って同様の実験を行いました。その結果、アンへドニアと割引率の間の相関係数はr = 0.12であり、統計的に有意ではありませんでした。つまり、Lempert & Pizzagalli(2010)の研究成果は今回の手続きでは再現されなかったことになります。

なお、本実験で使った実験プログラムと統計解析コードはここにおいてあります。

裏話

さて、ここからはこの再現性論文を書くにあたって、こんなことがあったよ〜的なことをつらつら書いていきたいと思います。

論文に掲載されている手続きがなんか変

Lempert & Pizzagalli (2010)には、以下のような記述がありました。

The delay discounting task used here is a computerized question-based measure that can be used to study choice behavior (Richards et al., 1999).

どうやら、遅延割引課題はRichard et al. (1999)を元にして作ったようです。Lempert & Pizzagalli (2010)の中には、

Participants were presented with a series of questions asking about their preferences between $10 to be received after one of the delays (1, 2, 30, 180 and 365 days) or a smaller amount (e.g., $2) to be received immediately. …

と実際に使った課題の説明もあるのですが、これがどうやらRichards et al. (1999)とは微妙に異なっています。

具体的には、

  • 確率割引課題の有無
  • 遅延時間
  • 即時報酬額の変化方法
  • 主観的等価値の決定方法
  • そのほか細かいこと

これは、Richards et al.(1999)を参考に、マイナーチェンジを行ったということでしょうか。 ところがどうやら、Lempertにメールで確認してみると、Richards et al. (1999)と全く同じ課題をやったとのこと・・・

?????って感じなのですが、とりあえずそういうことらしいです。

今回のケースではもちろんデータ取得前でしたので、遅延割引課題はRichards et al. (1999)に合わせることにしました。また、事前登録を行った論文を修正し、Appendixをつけて経緯を対処することで対処しました。

R2にはいろんな定義がある。

今回の再現性企画では、第一段階・第二段階と2回査読をして頂きます。 第一段階の時に査読者の先生より、「R2値を載せよ」とのご指摘がありました。あまり深く考えずに、統計解析にR2を使うことを追記したのですが、後々問題が発生しました。

どうやら、R2値の定義っていくつかあるんですね。あと、遅延割引関数のような非線形関数で使うのは微妙らしいです。

知らなかった私に一番の問題があるんですが、いざ解析しようとしたときに、「どの定義を採用したものか、というかそもそも使っていいのか?でも事前登録論文に書いちゃったしなぁ」という問題が生じました。

今回はデータに適した定義を使うことにして論文に掲載しました。問題なのは、結果的に、データ取得後に解析方法を選択する裁量が私に生じてしまったことです。もし事前登録をしてなければ、全部の定義を試して一番うまくいったやつを報告するとか、そもそもRが低かったら報告しないとか、そういうことがありえてしまいますね。

収束しない結果

これは、再現性とはあんま関係なさそうな話ですが、実は一番苦戦したところなのでついでに書きます。Lempert & Pizzagalli (2010)では各参加者の割引率を最尤推定法で推定しています。当然私も最尤推定をするわけですが、これがなかなか収束しない。推定のたんびに結果が変わって何が何やら。

私はRを使って解析をしているのですが、最尤推定のできる関数としてはoptim関数が有名だと思います。一方でこちらの本によるとsolnpというパッケージの方が安定して推定できるとのこと。ところが、これがなかなか時間がかかる・・・

データとしては150名くらいなのでそんなに多くはないはずなのですが、ランダムサーチをそれなりの数でやると1週間とかかかってました。 これはあかん、ということで、optim関数にしたり、でも収束しなかったり…てな感じで、結構試行錯誤がありました。最終的には問題なく収束した結果が無事得られたので、問題はなかったのですが、こういう思うようにうまくいかない時の試行錯誤で、それなりに危険な気がします。うまくいくようにやってるうちに、当初想定していた解析とは違うやり方になっていたり、とか。

思ったこと

論文にも書きましたが、今回わりと骨身にしみたのが、「データ取得前に解析の準備を完全に終えておき、公開しておくことの重要性」です。

これをしておくと、いざやってみたらうまくいかないとか、違う方法があるとか、そういうデータ取得後に生じる研究者側の自由度をある程度制限することができると思います。

理想的には、予備実験的にデモデータを取得しておき、予定している解析を行う解析コードを作り、ドキュメント化した上でどこかにアップロードする、というのが素敵だと思います。こうすることで、データ取得中・データ取得後に生じうる様々なアクシンデントを回避することもできるんじゃないでしょうか。

心理学研究はなぜ再現しないのか

最後に、再現性に限った話じゃないのですが、最近心理学研究について素朴に思ってることを書いて終わります。あくまで超個人的感想で、特に根拠もないんですが、せっかくなので書いとこうと思います。


最近、「手元にデータから母集団についての推測ってできるのかな?」なんてことを考えています。

順を追って話すと長いのと、今とても眠いので、雑に書きますが・・・

心理学の研究は一般に参加者の同意を得て行われるので、

研究参加お願いします → 良いですよ

のやりとりが必ず行われていると思います。私たちが扱う標本というのは、「良いですよ」と答える方たちですよね。

実はこれって、かなり偏った(限られた)集団な気がしています。誤解を恐れずに言えば、ごく限られた特殊な集団だけを対象に研究をして、母集団(日本人とか、人間とか)についてなにか推論をするっていうのは結構無理めなんじゃないかなと。これは、心理学で想定している効果量が小さいとか、そういう問題ではないような気がします。

よく推測統計の例で、よくかき混ぜられた味噌汁の味見をするのに全部飲む必要はない、みたいな話がありますが、いっちゃえば全然混ざってない味噌汁なわけですよね。だから、味見をするにはほとんど飲む必要があるんじゃないでしょうか。

そんなわけで最近私は、あくまで標本についてものをいうっていうことで良いんじゃないかなと思っています。この標本だったらこうだけど、この標本ではこうだったよっていう結論が集積して、いつか母集団についての結論が導ければ良いのかな、みたいな。

再現性にからめていうなら、再現しなくても不思議はないのかもしれません。

いずれにしても、心理学研究の再現性の問題は、私tにとってはいろんなことを考える良いきっかけになりました。特に、なんとなく大前提としていたようなことが必ずしもそうではないのかな、と考える良い機会でした。

もう無理矢理終わらせます。

Enjoy !!