こんにちは、小泉です。

記事が長くなったので2つに分けた「Altmetrics編」です。前半の「プレスリリース編」を読んでいない人はこちらからどうぞ。

 

本ブログの構成

1．研究のインパクトを測る新指標、Altmetrics
2．Altmetricsの計算方法
3．どれくらいのポイントだと高いのか？
4．日本国内のニュースは反映されない？
5．Altmetricsが高い論文は良い論文？

 

1．研究のインパクトを測る新指標、Altmetrics

これまで”良い雑誌”と書いてきましたが、Journalのレベルを測る指標としてImpact factor（IF）というものがあります。簡単にいうとその雑誌に掲載された論文が、1本当たり平均して1年間に何回引用されたか、という指標です。学術界では、たくさん引用してもらえる論文ほど良い論文、というのが一般認識です（たまに悪い例として何度も引用される論文もありますが）。

IFの数字はそれまで思われていた雑誌のレベルと概ね一致するので研究者の間で一定の評価を得ています（むしろ影響力が強過ぎて呪縛にもなっていますが）。例えば、著名な雑誌、Nature, Scienceは30−40、PNASは10といった値です。生態学や進化学ではトップクラスが10程度、かなり良い雑誌が5-10、良い雑誌が3−5といった感じです（もちろん良し悪しの基準は人によって違うでしょうが）。ちなみに、分野によってIFは大きく異なるので、分野間で比較するのはナンセンスです。

ただ、同じ雑誌に掲載されても各論文の質には大きなバラツキがあり、すごく引用される論文と全然引用されない論文が混ざっています。なので、IFは雑誌の平均レベルをみるには良いですが、各論文の質を担保するものではありません。個別論文のインパクトを知るには、その論文がどれだけ引用されているか（被引用回数）を調べた方が正確です。ある研究によると雑誌のIFと個別論文の被引用回数の相関係数は0.3-0.5くらいとなっていました（Costas et al. 2015） 。これは、IFが高い雑誌に載るほど引用される傾向にあるが、バラツキも大きいということを表しています。

このように、ある論文が学術界においてどれだけ影響力があるかは被引用回数を調べると大体分かります。ただ、どれくらい引用されるかを調べるのは早くても数年かかります。なので、論文が出版されてすぐに影響力を調べられないか？ということで提案されたのが”Altmetrics”という指標です。さらに、この指標はある論文の学術的重要性だけでなく、”社会的に”どれだけインパクトがあるのか、も評価できると言われています。

仕組みを簡単に述べると、Altmetricsは該当論文がどれくらい話題になっているかを、Facebook, Twitter, News, Blog、閲覧回数、ダウンロード回数などから計算するものです。各論文の識別番号であるDOIを手がかりに引用を定量的に調べます。ネット社会になったからこそ可能な評価手法ですね。確かに、これならその論文がどれだけ影響力があるかをすぐに評価できるかもしれません。なので、IFや被引用回数などこれまでの指標を代替する（Alternative）ものとしてAltmetrics (Alternative + metrics)と呼ばれています。2010年くらいから導入され、今ではNature, AAAS, Springer, Elsevier, Wileyなどほとんどの大手出版社で提供されています。

Altmeticsを提供している会社・団体はいろいろあるようですが、一番主流なのはAltmetric.comが提供しているものです。見たことがある人も多いと思いますが、こんなヤツです。

 

論文の質やインパクト指標としての有効性については最後に検討するとして、まずは計算方法やスコアの意味などを説明します。

 

2．Altmetricsの計算方法

各サービスで独自のアルゴリズムを用いているようで、計算の詳細は不明な部分が多いです。ただ、基本的には、News, Blog, Twitter, Facebook, Wikipediaなど一般社会で話題になり、かつインターネットで追跡できる媒体から計算されます。それぞれで独自の方法で重み付けをしており、例えば、Altmetric.comでは以下を基本的な値として計算しているようです（詳細はこちら）。

News: 8
Blogs: 5
Twitter: 1
Facebook: 0.25
Youtube: 0.25
Wikipedia: 3
F1000: 1
Policy Documents: 3
その他にもいろいろあるが省略

政治や政策などで参考にされているか（Policy Documents）も評価項目に入っているのは面白いですね。確かに、政策で取り上げられるような論文は社会的に重要ですね。

ただ、これらは基本的な値で、例えばニュースではNewYorkTimesなどは他の地方ニュースに比べて値が高くなるなど、各カテゴリー内でも勾配がつけられています（この勾配の基準は不明です）。TwitterではRe-tweetが0.85ポイントに下がったり、Followerの数によってポイントが変わったり、発信者がどれくらい頻繁にTweetしているかなどによっても値が変わってきます。例えば、関連分野をプロモートするために、同じJournalの論文を何度もTweetする場合などは、値が低くなるそうです（故意に論文や雑誌の価値を高めることを防ぐため）。同様に、Wikipediaは1度引用されると3ポイントつきますが、たとえ別の記事（項目）であっても2度目以降の引用はポイントがつかないようです。これも論文の評価を上げるために、不当に引用されることを防ぐ理由もあるようです。

ちなみに、その他有名どころのImpactStoryやPublic Library of Science (PLoS) では、どれくらい引用されているか、どれくらいMendeley（Web無料文献管理ソフト）にダウンロードされているのか、といった指標も用いられています。こちらの方がより学術的インパクトが加味されていると言えますね。

 

3．どれくらいのポイントだと高いのか？

各サービスにより値が異なるので、ここでは最大手Altrmetic.comに絞って話を進めます。

これまで自分が発表した論文だと通常10ポイント以下のようです。5年ほど前の論文だとメディアに取り上げられることがないのでポイントがつかない（ゼロ）の論文も多いです。ただ、現在は独自のFacebookやTwitterを持っているJournalも多く、1−2ポイントはつくことが多いようです。少しTwetterで拡散されたら5ポイント程度に上がるといった印象です。

Altmetricの詳細を調べると、ポイントが付いている全論文の中で上位何パーセントに位置するか、また、その雑誌の中で何番目かという順位もでます。例えば、夏枯れ支流の越冬移動論文だとAltmeticが現在14ポイントとなっています（2017.2.20現在）。これは全論文（全部で700万件！）の上位25パーセントに入っており、該当雑誌（Icthyological Research）のAltmetric スコアがついている218本の論文中で第16位のようです。

なので、Altmetricが10ポイントあれば上位3分の1くらいで、高い方なのかな、という印象です。ちょっとしたニュースに取り上げられる、といった感じでしょうか。あと、研究仲間とか生き物マニアのコミュニティーで話題になる論文などはTwitterだけでAltmetricsが30とかいくようです。

 

ちなみに、ヤツメウナギの乱婚論文は国内外のニュースで取り上げられ、Altmetricは77という高スコアを出しています。これは論文全体で上位5％に入っており、Journal of Ethologyの185本の該当論文中で第4位だそうです。

ちなみに、最近の知り合いの研究だと、殻を振り回して防御するカタツムリの論文は260という驚きのスコアです！この論文はNational Geographicやハリーポッター作者のFacebookで取り上げられるなど、世界的に注目度がスゴかったようです（おめでとう〜）。

さらにスゴいのがEZOゼミでも異様な盛り上がりを見せた『雌雄の性器が逆転』するというトリカヘチャタテの研究。なんとAltmetricスコア 1312ポイント！700万件の論文のうち650番目。上位0.001パーセント。10,000本に1本という圧倒的な注目度ですね。まぁ、内容的にそれはそうでしょうけど（笑）ヤツメウナギの研究といい、やっぱりこの手の話は一般ウケが良いです。

Altmertic.comによると現時点での最高スコアは、福島原発由来のセシウムが河川魚類に取り込まれた量を調べた論文で6767ポイントだそうです。

 

4．日本国内のニュースは反映されない？

我々のヤツメウナギの論文も注目度が高かったと言えますが、実はプレスリリースを出してもテレビ局と新聞社は取材に来てくれませんでした。やっぱり一般の新聞では乱婚の話題は取り上げられないんですね（笑）

一方、シマフクロウ＆タンチョウの指標種研究やヒグマなどの哺乳類７種の活動性の研究は、NHKニュースや北海道新聞などで広く取り上げてくれました。なので、Altmetricsの高評価を期待していたのですが、何と両方5ポイント以下！

どうしてだろう？と思ったら、そうですね。AltmeticsはWeb上の媒体から計算されるので、新聞やテレビなどの媒体はカウントされないようです。

さらに不思議な点がありました。ヤツメウナギは国内のネットニュースでもいろいろと取り上げて貰ったのに、その分がカウントされていませんでした（Altmetricsを調べるとどこに取り上げられたか追跡できます）。少し調べてみたら、Altmetic.comで計算されるニュースやブログは人力でひとつひとつ登録してきたようです（多分、現在も増え続けているかと）。自動で行ってしまうと不用意に自分の論文のスコアを高める輩が出てきたりするので、信頼できるサイトだけを登録しているんですね。スゴイ労力だ。。。(^^;)  まぁ、これだったら日本のニュースやブログは反映されませんよね。一部は既に登録されているかもしれませんし、将来的には登録されそうな気はしますが（ドイツ語など他の言語のニュースが追跡されているので日本語もありだろう、と）。

 

5．Altmetricsが高い論文は良い論文？

さて、一番重要なポイントです。

IFと同様、Altmetricsの有効性や是非については様々な議論があります。これに関する論文もたくさん出ています。その中で最近の論文をひとつ取り上げてみます。

Costas et al. (2015) Do “Altmetics” correlate with citations? Extensive comparison of Altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, 66, 2003-2019.

タイトルにあるとおりAltmetricsのいろいろなスコアと、雑誌のIF、論文の被引用回数の関係性を調べています。Web of Scienceに掲載されている論文72万件を調べた研究です。いろんな分野を網羅的に調べた比較的最近の研究で、現時点で既に140回も引用（Google Scholar）されています。本研究の結論は、他の多くの類似研究と概ね一致しているようです。ちなみに、本論文自体のAltmetricも100を超えています。

まず興味深かったのがTable 3の主成分分析で、着目した12の変数が4つの主成分で明瞭に分かれています。第1主成分は雑誌のインパクトファクターに関するもの、第2、第4主成分がAltmetricsに関係するもの、第3主成分がその論文の被引用回数に関連するもの、と各主成分の解釈も容易でした。しかも、雑誌のIF、各論文の被引用回数、Altmetricsは相互に強く関連しそうですが、実際はそれほど関連性が高くないという結果でした！

さらに、Altmetricsの中で2つに分かれた主成分は、ひとつがAltmetricスコア, Twitter, Facebook, Google+。もうひとつがNewsとBlogです。つまりニュースやブログに掲載されるのと、TwitterやFacebookで共有されるのは異なるということです。さらに言うと、Altmetric全体のスコアはニュースやブログよりもTwitterやFacebookをよく反映しているということです。ただ、少し考えてみれば、多くの論文はニュースなどで取り上げられることはないので、研究仲間のTwitterやFacebookがAltmeticsスコアにより影響するというのは納得がいきますね。

で、（自分の中で）一番メインの結果がTable 4の相関係数。雑誌のIFと個別論文の被引用回数の相関係数は0.3-0.5とそれほど高くない、と最初の方に述べましたが、Altmetricsとこれらの相関はさらに低いです。Altmeticスコアと被引用回数の相関は0.15-0.20程度、雑誌のIFとの相関は0.18-0.25くらいです（それでも両方とも有意な正の相関ですが）。

ただ、相関が低いのでバラツキが大きいということが分かりますが、同時に、やはりAltmetricスコアが高いと被引用回数も多いこともFig.2で明瞭に示されています。

 

この論文の結果は個人的に非常に分かりやすかったです。「Altmetricsは論文の質（被引用回数）をある程度反映している。しかし、予測精度は決して高くない。むしろこれまでの学術的インパクトは違った（これまの指標では測れない）何かを表わしているのだろう」と解釈できます。

ここでいう「何か」とはニュースやブログ、ソーシャルメディアで測られる社会的インパクト、一般社会からの注目度合いです。これは、社会的重要性、教育的重要性、あるいは文化的重要性を含んでいるのかもしれません。例えば、文化人類学などは論文の被引用回数は多くなさそうですが、地域文化にとって重要な研究が多そうですよね（実際はどうか知らないので違っていたらごめんなさい）。

 

ヤツメウナギが何度も偽りの交配をしていることを示した論文も、おそらく今後の被引用回数は多くないと思われます。とてもスペシフィックな現象で他の生物に当てはまりづらい行動だからです。ただ、ヤツメウナギという変な生物は、こんな変な繁殖行動をするんだ、という事実はちょっとした話題として一般市民の記憶に残るかもしれません。もしかしたら将来的には図鑑などで解説されたり？

そういう意味で地道に観察をしてデータを取ったZackはヤツメウナギという生き物を一般に広めた社会的貢献は大きいのかな？と思ったりします (^^)

 

まぁ、そんなわけで、導入されて７年ほどのAltmetricsはまだまだ赤子を抜け出した程度です。ようやく個性が出てきた段階で、社会からは賛否両論いろんな意見が出始めています。ただ、試みとしては面白いし、成果の社会還元を考えている研究者にとってはちょっとした励みになります。

 

当研究室では一般人も興味を持ってくれそうな生態研究が多いので、引き続き研究成果を発信していきたいと思います。今年・来年の目標はAltmetric100超え！

 

 

小泉

 

P. S.  こういう内容を書くと「そんなアピールする暇があったらもっと良い研究しろ！」という方々もいらっしゃるんですよね〜 (^^;)  まぁ、その気持ちも分からないでもないですが。。。これは学振とか論文のIFばっかり気にして、研究自体に打ち込んでいない一部の耳年増な学生達にも共通する部分だと思います。ただ、研究をより多くの人に知ってもらう、そして認めてもらうためには、論文を出した後の広報活動も重要だと思います。

あと、自分でAltmetricsについて調べてみましたが、それほど丁寧に説明してるのなかったのでせっかくなので記しておこうと思いました。