您的位置:

首页 >

888真人官方网站 >

亚马逊商业智能科学家:当心你的数据会说谎,不要做数据骗子 >

亚马逊商业智能科学家:当心你的数据会说谎,不要做数据骗子

2016-10-02 16:06:12

分类:888真人官方网站

<div><p><img src="http://p1.pstatp.com/large/1c690006447651ed6b5a" img_width="740" img_height="212" alt="亚马逊商业智能科学家:当心你的数据会说谎,不要做数据骗子" inline="0"></p><p>作者|Karolis Urbonas ,亚马逊欧洲商业智能部门负责人、资深数据科学家</p><p>译者:张鲁</p><p>我们都觉得数据科学家应该是客观的,但他们却可能有意或无意也可以带来误导的结果。我们研究了数据科学家们应该知道的三种常见的“谎言”。</p><p>我们认为数据科学家和分析师是客观的,他们应该根据数据得出结论。这份工作要求使用 “数据”,而不是谎言作为完成工作的基础材料。但实际上却恰恰相反,数据科学家受到无意识的偏见、同侪压力、紧迫性以及其他因素如在数据分析和解释过程中存在导致撒谎的固有风险的影响。这一切都是客观存在的,而科学家自身的出发点却没有问题 ,就像西谚所言:“通往地狱的道路是用好意铺就的”。</p><p>由于每个国家的每个行业都受到数据革命的影响,我们需要确保了解可能影响任何数据项目产出的危险机制。</p><p>火眼金睛辨真伪,常见的”数据说谎”的3类形态</p><p>几个很有启发性的关于“数据会说谎”的真实例子</p><p><strong>平均无处不在的平均值</strong></p><p>平均值这种过度使用的聚合度量造成了无处不在的谎言。无论何时使用平均指标 – 除非底层数据正常分布(这种状况很少出现) – 平均值都无法反应现实的任何有用信息。当数据分布偏斜时,平均值将受到影响,没有任何意义。平均值不是一个强大度量工具,容易受到异常值与正态分布有偏差的影响。</p><p>虽然统计学家几十年前就知道了这些事实,但平均值仍然作为一个核心统计数据用于商业、机构和政府,可以驱动数十亿甚至数万亿美元的决策。那么怎么解决平均值的问题?不要使用平均值,本文不鼓励使用平均值,平均值仅在极少数情况下才有效,在公布统计度量值之前,您应该仔细思考数据分布。解决问题的第一步 – 使用中位数, 使用前99%和最低的1%指标来统计数据。</p><p>“平均值”一直是科学的基础数据 ,很多追随者对平均值深信不疑,他们对待它就像是对待宗教一样。原因是什么?由于 很久以前自然科学中的正态分布假设已经蔓延到的其他领域,特别是业务分析和其他企业数据应用。这已经毒害了了几代分析师,他们到目前为止仍然使用平均数据。</p><p><img src="http://p3.pstatp.com/large/1c6d000633196c9a97e6" img_width="512" img_height="384" alt="亚马逊商业智能科学家:当心你的数据会说谎,不要做数据骗子" inline="0"></p><p><strong>将数据拟合为假设 – 确认偏差</strong></p><p>现该步骤是经典的解决方法。即使在交付使用数据解决问题之前, 即使该步骤也会影响到偏差,我们也要确认偏差。 数据科学家认为解决问题的必然方式可以从根本上改变应该是客观的过程。 当对有关事项有强烈的情绪,比如表达或暗示时,这种偏见就会加剧。 通常很难确定偏差,但这确实是区分专业数据分析师和平庸人事的不二法门。</p><p>典型的状况是,当需要完成一个分析时,因为需要根据结果做出决策,因此分析师需要快速提供分析结果,这会带来很大的压力。 这时结果中就会出现很多偏见,但确认偏差却能让分析师摆脱偏见的束缚。 如果数据科学家不得不快速得到结果,他们不得不快速回答或者解决问题。 这意味着他们会把发现的第一个杂散相关就当做答案。 在这些情况下,数据科学家搜索证据以确认假设,即“为假设寻找数据”。</p><p>所谓“正确”的解决方案先入为主的进入了数据学家的大脑,导致数据科学家走向错误的方向,他们开始寻找证据。 这时的数据探索并不客观,为得到预先定义的结论,会出现数据的调整和挤压。这时最重要的是从一开始就清楚地定义要求,收集有争议的假设的证据和数据,即收集那些可以证明、反对假设或者与假设不相关的证据和数据。最后一步同样重要,因为急于找到为问题找到解决方式,数据学家可能会忽略可能无法获得总结或者解决问题所需的足够的数据量。这不是大问题,也许问题本身需要重新定义。</p><p><strong>发现模式 ——丛集错觉</strong></p><p>人类的大脑可以很好地识别模式。 但这是数据科学家的致命陷阱。 许多数据科学家被雇用“找到”模式,因此发现的模式越多,则工作就做的越好。 这种错误的成功指标导致了大量工作的重点是搜索模式、细分和“特别的东西”。 很多时候会超出预期,会有很多干扰,但这又很正常。</p><p>这导致了不存在的商业模式的虚构情境,依据这些情境做出决策,最终影响实际人口并强制实现这些模式。有一个非常简单的例子 – 寻找客户细分,并试图让他们从一个细分“转换”到另一个细分。 当一个目标“细分”被推向另一个“细分”时,会带来实际的影响。 但这是非常危险的,可能导致许多错误决策,造成重大的损失。</p><p><strong>不要做数据骗子</strong></p><p><img src="http://p3.pstatp.com/large/1c6d0006331be142ace3" img_width="600" img_height="600" alt="亚马逊商业智能科学家:当心你的数据会说谎,不要做数据骗子" inline="0"></p><p>这绝对不是最终的决绝方案,你应该认识到可以影响判断和洞察质量的其他认知偏见。 但这些都是非常常见的陷阱,我已经看到数据科学家陷入这些陷阱,然后无意中又弥补谎言,而不是寻找真相。 客观性不是一个容易实现的目标,客观性需要自我约束。 数据越来越多,数据科学家的作用只会变得越来越重要。</p><p>最成功的数据科学家将非常重视可能存在的潜在偏差以及这些偏差可能导致的谎言。</p><p><strong>补充:一个数据会说谎的例子</strong></p><p>说到数据会说谎,最有欺骗性的的例子莫过于统计学中著名的辛普森悖论了。看看来自斯坦福讲义里的一个简单例子。</p><p>某大学历史系和地理系招生,共有13男13女报名。</p><p> Men/ Women</p><p>History 1/5 &lt; 2/8</p><p>Geography 6/8 &lt; 4/5</p><p>University 7/13 &gt; 6/13</p><p>历史系5男报名录取1男,8女报名录取2女。地理系8男报名录取6男,5女报名录取4女。</p><p>分析数据,会发现以下问题:</p><p>1)整个学校统计,男生录取率(7/13)高于女生录取率(6/13)。</p><p>2)但是,按系统计,每个系的女生的录取率却都高于男生录取率。历史系女生的录取率(2/8)大于男生录取率(1/5)。地理系女生录取率(4/5)也高于男生录取率(6/8)。

<div><p>自从美国登月计划以后,人类再没有远航过太空,这不能不说是一种遗憾。但是没有办法,人类的生命是脆弱的,太空环境是恶劣的,一个极小的错误就会丧命。而每一次宇航员伤亡的事故则会更为严重的拖慢人类走向太空的脚步。 sxwXSWSzw</p><p>那么,机器人呢?“无人”太空飞船基本上已经抵达太阳系的每一个角落,它们目前正在探索包括小行星、彗星、行星以及矮行星在内的各种星体,甚至已经走出太阳系。这似乎说明太空探索属于机器人的领域,而非人类。</p><p>人类更加昂贵、更难保持状态,而且寿命有限。<span>所以,走出地球,踏入星辰大海,首要发展的是机器人技术!</span></p><p><img src="http:

<div><p><strong>新无人机改变传统设备操作方式</strong></p><p>无人机系统研发团队,开发出新型复合无人飞行器。这种无人机可以像直升机一样垂直起降,并且可以像普通飞机一样巡航飞行,带来了一种新的无人机操作理念。</p><p><img src="http://p3.pstatp.com/large/19f100066b1deb609452" img_width="641" img_height="447" alt="见到太阳就绽放!这是款全自动的太阳能发电花······" inline="0"></p><p><strong>见到太阳就绽放!这是款全自动的太阳能发电花</strong></p><p>Smartflower是一款可以跟踪阳光自动调节的智能太阳能电池板,但和传统太阳能板不同,它的亮点在于采用花瓣形状,是一款真正的智能“太阳花”。</p><p><strong>哺乳动物细胞“变身”生物计算机</strong></p><p>研究团队提出一种方法,用基因工程方法编辑哺乳动物细胞DNA,从而进行复杂的计算,使这类细胞变成生物计算机。</p><p><img src="http://p3.pstatp.com/large/19f100066b1abd67fb38" img_width="631" img_height="333" alt="见到太阳就绽放!这是款全自动的太阳能发电花······" inline="0"></p><p><strong>砌墙神器将亮相 速度比人工快6倍</strong></p><p>砌墙机器人一天能砌3000块砖,比人工快6倍。它由一条传送带、一个机械臂和一个混凝土垒组成。</p><p><img src="http://p3.pstatp.com/large/19f800064ee491f0ba72" img_width="640" img_height="427" alt="见到太阳就绽放!这是款全自动的太阳能发电花······" inline="0"></p><p><strong>带激光的智能水下无人机</strong></p><p>智能水下无人机配备有相机和激光器。它可对每一条鱼进行扫描,系统的图像识别软件可检测出海虱的存在。随后设备将发射出大约100毫秒的引导激光脉冲来消灭它们。

<div><p>/不俗即仙骨,多情乃佛心。/</p><p>“我学竹编,源于我在某一天知道了竹编的存在。”莱莱说。</p><p>莱莱研究生入学考试那年,一次偶然的机会,莱莱知道了世界上原来还有竹编这么神奇的东西。</p><p>北方的冬天恶寒,她租住的酒店恰巧当天暖气故障,索性旁边有家不大的火锅店,莱莱便一人去到店里喝酒吃肉,以驱寒意。回到酒店后,酒饮微醺的莱莱裹着被子百无聊赖地看起电视。无独有偶,那天正巧播放电视台在采访河南老竹编手艺人,老师傅在电视里表示自己想无偿收徒,传授竹编手艺。</p><p><img src="http://p1.pstatp.com/large/1dca00030b28076b6a26" img_width="640" img_height="377" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱</p><p>莱莱自认为见多识广,但她确实第一次听说竹编。兴许真的是一期一会,莱莱的命运在电光石火之间与竹编紧紧纠错到了一起。她赶忙拿起壁纸记下了电视中所提到竹编师傅的地址,但是由于位置处于乡下,并没有电话,莱莱当即决定要亲自去拜访师傅。</p><p><img src="http://p3.pstatp.com/large/1dc500030b0c07e2ca5b" img_width="480" img_height="454" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱竹编作品</p><p>莱莱放下了研究生考试,只身一人开始了南下探寻竹编之路。她的行为也并不算冲动,因为莱莱本身在一所文化公司任职,工作时常听到一些老专家讲的一句话便是“这手艺到现在都失传了”,也许是因为见过了太多失传的手艺,莱莱对这种命运气若游丝的技艺有着莫名的感情,而竹编的出现,带给了她一丝光亮,她便紧紧抓着它,逆水行舟,奋力前进。<br></p><p><img src="http://p1.pstatp.com/large/1dca00030b299dfa746a" img_width="640" img_height="960" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱竹编作品</p><p>莱莱几经波折,如愿找到电视中所采访的那位老师傅,几天的考察后,她下定了学习竹编的决心。后来在一次上网搜寻的时候无意间发现了很多年前一位竹编师父的资料。由于时间相隔太久,她心里也不确定是否能够真的找到这位手艺人,但她还是抱着试试看的心情联系了这位老先生,就这样,莱莱结识了他的师父——中国竹工艺美术大师何福礼先生。<br></p><p>何福礼师父自己有一家工厂,专门制作竹编,他的儿子也在工厂中从事竹编手艺。</p><p><img src="http://p9.pstatp.com/large/1dc4000036f0300408b2" img_width="640" img_height="960" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱竹编作品</p><p>学艺从不是一件容易事,何老师面对初来乍到,愣头愣脑就要拜师的莱莱起初是拒绝的。因为学艺本身艰辛,而且竹编的学习周期很长,头两年学徒也没有工资,师父怕年轻人耐不住性子,吃不了苦。莱莱被劝回家后,并没有放弃,隔三差五地联系师父,在她三个月的软磨硬泡之下,师父终于被她的诚意所打动。这样,莱莱人生的竹编篇章,正式拉开了帷幕。<br></p><p><img src="http://p1.pstatp.com/large/1f7b00002f646023540d" img_width="640" img_height="960" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱竹编作品</p><p>竹编是手活,想编成立体的物件,要先从平面的图样开始。编织竹编的每一道“竹条”称之为“篾”,“篾”的制法是将劈开的竹子按竖面一层层切削下来。竹子的切面本身锋利而尖锐,女儿身的莱莱在力量方面也十分薄弱,劈篾这个工作可是让她的吃尽了苦头。回想起当时的日子,莱莱只记得每天睡梦里都能感受到手指的撕裂和肿痛,而第二天醒来又要开始同样的工作。<br></p><p><img src="http://p1.pstatp.com/large/1dca00030b2745d038c3" img_width="640" img_height="700" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱第一次完成劈篾</p><p>虽然辛苦,但是莱莱并没有打退堂鼓,也是因为她的坚定,最终她还是用已经布满割痕的双手学会了劈篾。当她坐在成堆的废料中拿着第一根完整的篾时,师娘激动地拿出手机,拍下了这让莱莱必生难忘的时刻。<br></p><p><img src="http://p3.pstatp.com/large/1dc500030b0d79edb980" img_width="640" img_height="960" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱竹编作品</p><p>克服了劈篾这个难关后,剩下的编织对于心灵手巧的莱莱来说就渐渐变得水到渠成。两年光阴如白驹过隙,她只觉得做了几个立体作品,就到了该和师父道别的时候。临走时,师父提议像学校那样,为莱莱和师兄弟举办一个小型的毕业典礼,并且以工厂的名义为他们颁发了结业证书。<br></p><p><img src="http://p3.pstatp.com/large/1dc8000035b29d0ca12d" img_width="640" img_height="427" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱竹编作品展览</p><p>为了庆祝们结业和答谢师父,莱莱与同门师兄弟摆谢师宴,请师父和工厂里其他的师傅上山喝老酒。酒过三巡,在半醉半醒间,莱莱回想起第一次见师父时慌慌张张地问“您好,请问我可以拍照么,我如果想向您学竹编的话,要怎么学呢”,再看看眼下的光景,不禁感慨万千。<br></p><p><img src="http://p1.pstatp.com/large/1dc8000035b319b3a05b" img_width="640" img_height="1135" alt="美少女莱莱的竹编历险记" inline="0"></p><p class="pgc-img-caption">莱莱</p><p>如今,莱莱在温州筹备组建自己的竹编工作室,着力于定制和教学,继续为竹编手艺贡献自己的力量。<br></p><p>本期编辑 | 心意</p><p>本期匠人 | 莱莱-竹编手艺人</p><hr><p><img src="http://p3.pstatp.com/large/18ad0007b75d1694b286" img_width="980" img_height="500" alt="美少女莱莱的竹编历险记" inline="0"></p><p>致匠-复兴手作艺术</p><p>本文版权归北京致匠文化科技有限公司所有。任何公司、组织、个人未经允许,均不得直接使用文章素材。如需转载本文或商业合作,请邮件联系:

<div><p>战国时,庄周曾说:"方生方死,方死方生。方可方不可,方不可方可。” 就是生和死没有绝对的界限。最近,美国再生医学RobertLanza博士,在其作品《生物中心论》表达了和庄子一样的观点:人不会真正的死亡,人死后会穿越进不同的宇宙。网友们纷纷吐槽,这不就传说中的灵魂出窍吗?</p><p><img src="http://p1.pstatp.com/large/19f10006cd9fa85c5b84" img_width="400" img_height="283" alt="庄子讲的居然是真的,科学家开始承认灵魂的存在?" inline="0"></p><p>博士在他的书中说,有了生命才有了这个世界,死亡只是人类意识造成的幻象,人死之后,人的意识仍可运动,除了肉体活动外,人类还有其他超越肉体的“量子讯息”,或者是说俗称的“灵魂”。广大网友纷纷表示无法接受,这不就是传说中的六道轮回吗?</p><p><img src="http://p3.pstatp.com/large/19fa0000c2dd025b9778" img_width="550" img_height="402" alt="庄子讲的居然是真的,科学家开始承认灵魂的存在?" inline="0"></p><p>中国在很早的时候就有了六道轮回的说法。人死之后,灵魂会归到泰山之下,泰山神东岳大帝。在地狱里,过了奈何桥,喝了孟婆汤之后,会忘掉自己所有的记忆,投身于六道轮回。至于投生到哪一道轮回,完全是看前世的功德了。</p><p><img src="http://p3.pstatp.com/large/19f80006b6bd050581cf" img_width="457" img_height="300" alt="庄子讲的居然是真的,科学家开始承认灵魂的存在?" inline="0"></p><p>三善道为天道、人间道、修罗道; 三恶道为畜生道、饿鬼道、地狱道。其中阿修罗道其中其中阿修罗道众生福报极大,寿命很长。与天界众生差别不大,所以又被称为"非天"。</p><p><img src="http://p9.pstatp.com/large/19f80006b712eb3f5c92" img_width="484" img_height="300" alt="庄子讲的居然是真的,科学家开始承认灵魂的存在?" inline="0"></p><p>追求永生是人类永恒的话题,而在近几年更是得到极大的关注,医疗保健发展迅速,人类的平均寿命也逐年提高,有科学家认为,我们这一代,人类的平均年龄极有可能超过一百岁。在追求永生的同时,不少网友问到,如果人类不会死亡,那活着还有什么意义?</p><p><img src="http://p1.pstatp.com/large/19f70006bee921d9b62e" img_width="690" img_height="460" alt="庄子讲的居然是真的,科学家开始承认灵魂的存在?

焦点访谈

最新最热的文章

更多 >

COPYRIGHT (©) 2017 Copyright ©2017 888真人 网站地图

联系我们

827570882

扫描二维码分享到微信