新风 见微知著

舆论操控范例:我是如何让一百万人相信巧克力可以减肥的

【摘要】我是说那些总想搞个大新闻的记者们,却让这冲动蒙蔽了双眼。任何人,不需要多么高的学位,哪怕只要接受过最基础的科学素养训练,都能一眼看出这个研究是多么脆弱。更别提谷歌搜出的结果中,根本就没有Johannes Bohannon博士这个人,也没有所谓的Institute of Diet and Health机构。

作者:cloudwalker @ 来源:煎蛋

图片来源:网络

吃巧克力可以减肥”,多么吸睛的标题。一个德国研究组发现,保持低碳水化合物饮食习惯的人群 – 每天吃一个巧克力棒,能比普通人群减肥快10%。这篇研究上了欧洲最大的日报Bild的头条,一时之间,与德翼航空的坠机事件齐名。自此,这个新闻通过网络,蔓延到了超过20个国家。它上了电视,被印在杂志封面上(“Why You Must Eat Chocolate Daily,” page 128)。巧克力不仅加快减肥,研究指出,它还能帮助降低胆固醇,提升生活质量。Bild 日报引用了研究第一作者,Institute of Diet and Health的负责人Johannes Bohannon博士:“最美妙的是,你可以随处买到巧克力。”

我就是Johannes Bohannon博士(即本文作者),其实我的真名是John,我同时也是个记者,至于我的博士学位,是细菌分子生物学而不是人类分子生物学。上文那个所谓的“Institute of Diet and Health”,不过是个网站罢了。

但除此之外,这项研究是百分百真的。我和我的同事在德国征集了一些研究志愿者,并对他们进行医学体检,然后随机分组,我们得到巧克力可以减肥的结果,的确是真实的data。不仅如此,这其实也是众多饮食研究中很普通的一个罢了。但这个结果毫无意义,它被无数媒体铺天盖地的转载了。

我们如何做到的:

步骤

去年12月,我接到了一个德国电台记者的电话,他叫Peter Onneken, 他和他的同事Diana Löbl正筹划一个关于垃圾食品工业背后的纪录片。他找到我,希望我们能帮助他们展示一下 – 如何简单的将一个挫劣的科学研究变成一个能上头条的饮食风尚。Onneken还希望用gonzo style(一种报道风格)的方式跟进报道:通过参与从而揭露饮食研究-媒体背后的复杂链条。

说实话,接到这个电话我并不奇怪。几年前,我参与了一个Science 对开放获取收费期刊– 一个学术出版界近来快速发展的版块,的研究行动,为了考察到底有多少人严格遵守了同行审阅的严格标准,我提交了一些有严重瑕疵论文,并统计最终被拒的概率。(答案:接 近一半)

Onneken和Löbl规划好了一切:一笔几千欧的资金招募研究志愿者、一个德国医生、一个数据专家。然后他们找到了我。唯一的问题是时间:纪录片计划来年的早春在德法的电台播放,我们仅剩几个月的时间。

我们真的能发表么?也许能,但然后呢?我曾确信计划会走不下去。我们科学家,实话说,会有些小清高,我们喜欢认为我们比常人智商优越。毕竟,我们需要足够了解那些不可思议的科学实验背后的种种,然后才能给出解释。然而记者们,我是说那些总想搞个大新闻的记者们,却让这冲动蒙蔽了双眼。任何人,不需要多么高的学位,哪怕只要接受过最基础的科学素养训练,都能一眼看出这个研究是多么脆弱。更别提谷歌搜出的结果中,根本就没有Johannes Bohannon博士这个人,也没有所谓的Institute of Diet and Health机构。我明白,文章放出来的那一刻,那些记者们老远就会闻到它。我不想显得太悲观。“就让我们看看事态会如何发展吧。”

事情的另一面

Onneken和Löbl一刻不停。他们通过Facebook迅速召集齐了研究志愿者, 150欧的奖励给任何完成了为期3周实验的人。他们同时也说明了,这项研究将会拍进纪录片中。一月的一个寒风料峭的清晨,5位男士和11位女士来了,年龄从19到67岁。

Gunter Frank,我们的医学检查医生,用黑巧克力就是他的主意。“黑巧克力苦,对你们研究会有利,”他说。“这就像玄学。”

在一轮基本问题摸查和验血过后,我们确认了样本中没有厌食症、糖尿病、或其他可能疾病后,我们将他们随机分成了3组。一组低碳水化合物,一组同样低碳水化合物不过外加每日1.5盎司黑巧克力,最后一组对照组,正常饮食。连续21天,每日清晨测量体重,最后再体检一轮,取样部分就结束了。

Onneken找了他的一个朋友,Alex Droste-Haars,金融分析师,帮我们分析数据。一个周末后 … 中奖了!前两组,每个组都平均减掉了5磅,对照组没变。但巧克力组呢?他们减肥的速度比另一组快了10%。不仅统计方差十分显著,胆固醇水平也更好。

鱼钩

我知道你们现在怎么想,数据的确表明减肥速度快了10%啊,没有猫腻啊,为何不相信呢?难道科学研究不就是从现象出发么?

这里给你点真的:如果你要对一组小样本取样一众数据,你几乎肯定能找到一个统计上的G点。就比如我们的研究,从15个人(有一位中途退出)身上检测了18项数据 – 体重、胆固醇、血钠、蛋白水平、睡眠质量、幸福感等等。整个实验几乎就是冲着假阳性去的。

请把每个数据想象成彩票,每一张都有小几率中奖,在这里中奖指的是给出一个统计学显著结果,以便能快速召集一帮跑得快的记者好上头条。彩票你买的越多,中奖概率就越大。事实上,我们先前并不知道头条的标题会是什么,它可以是 【研究显示巧克力提高睡眠质量】,也可以是【研究显示巧克力降低血压】,这些都不重要,重要的是这么多张彩票,我们要能确认至少中一张。

在统计中,有个值十分关键 – p值。这个字母有着图腾一般的力量,其实它真正代表数据中的 信号 – 噪音 指数。生物学上,一般用 p < 0.05 代表显著(< 0.01代表极显著),即你的数据,只有不到5%的可能性是一个随机扰乱。彩票越多,你得到假阳性的概率也就越大。那么,具体一点,最少要多少张彩票呢?    P(winning) = 1 – (1 – p)^n 18个测量对象,意味着我们有60%的几率得到一个统计学“显著” 。这个数字游戏的天平,从一开始就在我们这一边。 我们管这种叫P值操纵(p-hacking) – 拉扯你的数据,直到p小于0.05,不得不说这是个严重问题。大多数科学家只是无意的做了相同的事。当他们拿到一个阴性结果,他们自己给自己解释也许是实验搞砸了,然后一遍又一遍重复,直到得到一个阳性结果。或者干脆选择性舍弃一部分碍事的结果。

但,就算我们小心谨慎的避免这种p值操作,我们的实验仍然注定不会有可信结果 – 因为我们的样本太小,实验中的任何外界干扰都会被放大。想象,一个女人的体重就可能因为月经周期浮动,最多达5磅,比整个低碳组对比巧克力组都多。这也是为什么研究一定要用大样本,并尽可能平均分布性别,以中和这种差异(我们的研究并没有)。

你应当这样看待我们的研究,巧克力可能会也可能不会加速减肥,甚至,低碳组 对比 对照组 的结果都是不可信的。谁知道这些人到底吃没吃巧克力,我们可没有真的跟踪过。

幸运的是,科学家对于实验设计越来越精了。有的杂志也在推动去掉投稿中的p值结果。现在,已经没有研究者相信样本小于30的研究了。杂志编辑会在推送同行审阅之前就拒掉这种稿。但,也还是有相当数量的杂志重数量甚于质量。

内部人士

是时候向世界展示我们的研究成果了。首先,我们要发文章,但这个文章实在是差到不能再差,我们需要跳过同行审阅这一步。不过方便的是,有很多假学术杂志可选(例1,例2)。鉴于时间紧迫,我同时给20个杂志投了稿。剩下的就是等了。

不到24小时,就有多个杂志表示愿意发表。不用说,根本就没有同行审阅这回事。最后,我们在众多杂志中选择了这个 – the Iternational Archives of Medcine。曾是BioMedCentral旗下刊物,近几年被倒手。它的新CEO电邮我:我们做了个超好的原稿,并且,只要600欧,文章就可以被我们的主刊收录。

尽管,刊物主编声称:“我们的所有来搞都会被严格审阅。”Onneken打了款两周后,我们的文章就发表了,一字没动。

记录

有了文章,也该有一点动静。我电话了一位Scientific的PR朋友。她帮我打磨了头条标题,并给了几个人生经验:

首先,要抓住记者们 懒 的这一特征。如果关键信息塑造得当,记者的报道到了网络里,就能像你自己写出来的一样。事实上,也确实是你在写,好多记者基本就是Crtl + c/v。

来看我汇总的媒体报道,应有尽有。如何提高点击:放张美女大标,一张不知所云的写真,几句耸人听闻的引述,好了。你都不用去真的读我们的论文,因为我早就给你总结好了。我花了特别的精力保证正确性,而没有特意给记者们下套,只是想让他们像惯常报道科学研究一样报道我们。

有了基本报道还不够,记者朋友们还喜欢追求一点“艺术感”,于是Onneken 和 Löbl 又跑去拍了几个宣传短片,甚至找了几个自由艺术工作者编了个民谣和rap(事实证明,你有钱可以雇人干任何事情)。

Onneken 专门联系了一家德国媒体,答应给独家内部采访,于是报道就上了其旗下的澳洲电台和英国的NewsWire。

此时我骄傲并恶心着。

成绩

前面说到的Bild日报,我们都没放钩,自己咬上来了 – “Those who eat chocolate stay slim!” ,都没跟我说一声。接着是 Daily Star, Irish Examiner, Cosmopolitan’s , the Times of India, German 和 Indian 版的 Huffington Post, 甚至还有德州的电台 和澳洲的早间SHOW.

当记者们联系我时,只是敷衍的问几句:“你认为为何巧克力可以减肥?你对读者有何建议?”几乎没人问我实验样本数量有多大,也没有报道提过那个数。没有一个记者联系过其他研究者提供第三方意见,也没有一句相关引用。

这些搞新闻的,虽然控制着很多民众的新闻入口,却很难把他们和职业道德联系到一块。所以对他们这种论斤卖只求点击率的行为,也没什么好奇怪的。毕竟,即便是本应该把好关口的杂志,也没发现文章的问题。

Shape杂志报道了我们的研究,请翻到六月刊第128页,他们倒是对我的数据做了核查,很懒的那种。跟我比对了几句话,检查了下我名字的拼写。他们要求我提供巧克力可可含量(81%),甚至给了两个具体品牌。

但最最失望的其实是,没人用我们的宣传mv,显然记者们更喜欢用类似一个美女大嚼巧克力棒的封面。但毕竟拍了MV,这里是连接:rap、民谣。

事后记

我们应该相信谁呢,民众每天都在面对各种矛盾信息:今天食盐有害,明天食盐益寿,今天蛋白好,明天蛋白差 … – 就跟天气预报一样。如今面对越来越严重的肥胖问题,资金源源不断地流向相关领域科学家,最终科学还是会给我们一个明确的答案,对么?

又也许不会。即使是最顶尖的研究机构,配备最好的严肃的科学家,仍然对这一领域充满困惑,Peter Attia ,Nutrition Science Initiative 创始人感叹,”他们花了10亿美元都没能找到一个明确答案,低脂饮食到底是好还是不好。“他的非盈利研究机构希望能筹集1.9亿美元,以便能解答这些最基础问题,但肥胖领域,“实在太多噪声了。”

对于噪声这个锅,我背。传媒对减肥饮食领域新闻如此饥渴,读者们也是。毕竟这是一日三餐的问题,但终究,它应该是个科学问题。相关报道记者甚至可以足不出户,每天在家里翻邮箱,从众多新出炉的论文里找出那么几个能火的,配个大图,又一篇搞定了,还不愁没人读,一颗赛艇。

报道记者们并没有把这些研究当论文看,而是当成了八卦,希望,我们的这个小小实验能给记者们提个醒。

如果研究论文没提样本数量,或者不提相关结论的支撑到底有多“显著”,那么你要当心了,很可惜的是,很多时候我们并没有,现在的媒体快成了新的同行审阅机制了,我们离充满垃圾科研的世界也又近了一步。

在这样的大环境下,我看到了一丝希望,那么就是读者们,许多读者机智而有怀疑精神。也是他们在报道留言中提出了记者本该提的问题。

About the author

破土编辑

/* ]]> */