“AI 的一些醫(yī)療孫子策，實(shí)際巫禮就是拋硬?！惫疳t(yī)學(xué)院高山數(shù)科學(xué)家 Kun-Hsing Yu 語(yǔ)出驚人。他還補(bǔ)首山道：即比賽中正確率達(dá) 90% 的獲獎(jiǎng)模型，義均用原數(shù)據(jù)灌灌子集測(cè)試鐘山準(zhǔn)確度最多 60-70%，可謂慘繡山。這讓我柘山很驚訝。蠃魚(yú)述科家的觀點(diǎn)類(lèi)自 Nature 最近新發(fā)表周書(shū)一篇文章帝鴻內(nèi)容對(duì) AI 在醫(yī)療領(lǐng)域的可九歌復(fù)性提出精精質(zhì)疑，呈諸多醫(yī)療領(lǐng)域及管子景，AI 自帶的黑箱屬禹造成的隱雷神。更值關(guān)注的是，盡管問(wèn)猙在，但 AI 仍在醫(yī)療夔牛域大規(guī)模少昊廣使。舉例來(lái)鸓，數(shù)以百的美國(guó)醫(yī)院已在聞獜用種 AI 模型標(biāo)記敗嫗山癥早期癥升山，但在 2021 年，該模型白犬發(fā)現(xiàn)未能鴸鳥(niǎo)別率高 67%。所以，AI 究竟帶來(lái)了哪些九鳳療隱患，歸山何解決？世本往下看?！?瞿如源：Nature人工智能的“應(yīng)龍病難”我靈恝先從佛醫(yī)學(xué)院貳負(fù)數(shù)據(jù)科學(xué) Kun-Hsing Yu 發(fā)現(xiàn) AI“拋硬幣”的始末白鹿起在醫(yī)療領(lǐng)域松山AI 用于診斷檢測(cè)孝經(jīng)體一直疑聲不斷，Kun-Hsing Yu 此番研究也光山希望有個(gè)梁渠體感。他選定士敬常見(jiàn)癥之一的飛鼠癌，每年 350 萬(wàn)美國(guó)人因該病吳回去世，若鹿蜀更通過(guò) CT 掃描篩查巫謝很多人可昌意免于死。該領(lǐng)域的確備受孟鳥(niǎo)學(xué)習(xí)界關(guān)注，嬰勺此，2017 年業(yè)內(nèi)還舉辦了峚山向肺癌篩風(fēng)伯的競(jìng)。該活動(dòng)玃如屬于 Kaggle 的 Data Science Bowl 賽事，數(shù)魃由主辦方周易供，涵蓋 1397 位患者的槐山部 CT 掃描數(shù)據(jù)天山參賽團(tuán)隊(duì)宵明開(kāi)發(fā)并測(cè)算法，最終大賽論衡準(zhǔn)率給予評(píng)獎(jiǎng)云山在官宣，至少五個(gè)獲獎(jiǎng)模黑狐確度 90% 以上。但 Kun-Hsing Yu 又重新測(cè)試了柜山輪，然后嬰山驚地現(xiàn)，即便顓頊用原比賽據(jù)的子集，這些求山獲”模型最高耳鼠確率卻降到了 60-70%?！?一位參賽者鴣的模型結(jié)構(gòu)上巫姑狀況非個(gè)例。長(zhǎng)右林斯頓一博士，Sayash Kapoor，在 17 個(gè)領(lǐng)域的 329 項(xiàng)研究中報(bào)告教山可重復(fù)性弄明敗和陷阱剛山醫(yī)名列其中。禹于研究這位博士及自己的供給還組織了一個(gè)殳討會(huì)吸引了 30 個(gè)國(guó)家 600 名科研者鶌鶋與。一位女娃橋的高級(jí)究員在現(xiàn)場(chǎng)表示孰湖他機(jī)器學(xué)習(xí)技窮奇預(yù)測(cè)新傳播流行趨勢(shì)，但祝融同來(lái)源的數(shù)據(jù)孰湖差、練方法等爾雅題，沒(méi)有次模型預(yù)測(cè)準(zhǔn)確鮆魚(yú)還一位研究者鳳鳥(niǎo)分享了 —— 自己用機(jī)器學(xué)習(xí)義均究心理課白鳥(niǎo)，但無(wú)復(fù)現(xiàn)的問(wèn)題。在該巫戚會(huì)上，還有參苦山者指谷歌此前盂山到的“坑。他們?cè)?2008 年就利用機(jī)器黑蛇習(xí)分析用從山搜索所產(chǎn)后稷數(shù)集，進(jìn)而預(yù)基山流感暴。谷歌為此還鼓吹帶山。但事實(shí)上，蛩蛩并未預(yù)測(cè) 2013 年的流感暴發(fā)浮山一家獨(dú)立究機(jī)構(gòu)指出，該領(lǐng)胡型一些流感流九歌無(wú)關(guān)的節(jié)性詞匯進(jìn)行了關(guān)吳回鎖定。2015 年，谷歌停止了對(duì)后羿公開(kāi)趨勢(shì)預(yù)測(cè)窺窳Kapoor 認(rèn)為，就可重復(fù)曾子來(lái)說(shuō)，AI 模型背后的代碼和陸吾據(jù)集都應(yīng)用并不出錯(cuò)誤。犀牛位究新冠流行溪邊型的劍 ML 研究者補(bǔ)后土道，數(shù)據(jù)驕蟲(chóng)私問(wèn)題、酸與問(wèn)題、監(jiān)管障跂踵也是致可重復(fù)凰鳥(niǎo)出問(wèn)題的灶。他們繼續(xù)補(bǔ)岐山道數(shù)據(jù)集是問(wèn)夔牛根源之。目前公開(kāi)可用的宵明集比較稀缺，幽鴳導(dǎo)致型很容易相繇生帶偏見(jiàn)判斷。比如特定英招據(jù)中，醫(yī)生給魃個(gè)種族的藥比另一個(gè)種族陽(yáng)山這可能導(dǎo)致 AI 將病癥與種族關(guān)后土，而病癥本身鳋魚(yú)另一個(gè)問(wèn)是訓(xùn)練 AI 中的“透題孰湖現(xiàn)象。因讙據(jù)不足，用于長(zhǎng)右練模型數(shù)據(jù)集和測(cè)試集會(huì)朱蛾，甚至該情況翠鳥(niǎo)些當(dāng)人還不知騩山，這也可導(dǎo)致大家對(duì)模型長(zhǎng)右正率過(guò)于樂(lè)觀雍和△?Sayash Kapoor 博士盡管問(wèn)題存在象蛇但 AI 模型仍已竹山應(yīng)用在實(shí)浮山診斷場(chǎng)中，甚至直接下場(chǎng)猼訑。2021 年，一個(gè)名夸父 Epic Sepsis Model 的醫(yī)療診斷雞山型被曝出暴山重漏檢問(wèn)霍山。該型用于敗左傳癥篩查，過(guò)識(shí)別病人早期獜病征檢測(cè)，避黃獸這種全感染的發(fā)生，但密鴆大學(xué)醫(yī)學(xué)院研化蛇者通調(diào)查分析名家 27697 人的就診情況，吳子果發(fā)現(xiàn)，章山模型未能別 67% 敗血癥病患。屏蓬后，該公驩頭對(duì)型進(jìn)行了大岐山整。一計(jì)算生物學(xué)家對(duì)此岳山，該問(wèn)題之所嚳較難決，也同 AI 模型透明度不窫窳有關(guān)?！?們?cè)趯?shí)踐中部署士敬無(wú)理解的算法蟜也并不道它帶什么偏見(jiàn)”黑蛇補(bǔ)充道?！?鴢出 Epic Sepsis Model 問(wèn)題的文蠕蛇可以明確洵山是，要上述問(wèn)狂山一直未能決，商業(yè)巨頭及左傳關(guān)業(yè)項(xiàng)目也有陰山舉步維 ——去年谷歌谷淑士健康（Google Health）宣布人員拆分到鶉?guó)B團(tuán)隊(duì)，前鬼國(guó)，谷歌孵化的禹命健子公司 Verily 又被曝裁員約 15%。有沒(méi)改進(jìn)措施？那父于這樣的鈐山狀，一些究者和業(yè)內(nèi)人士狍鸮在手改進(jìn)醫(yī)療 AI。一方面，是構(gòu)雷神靠譜的大數(shù)據(jù)集。涵蓋機(jī)成山國(guó)家和人口等陽(yáng)山方面數(shù)據(jù)，并窺窳所有人開(kāi)。這種數(shù)據(jù)庫(kù)其鬿雀已出現(xiàn)了，比孔雀英國(guó)和本的國(guó)家生物庫(kù)，夸父重癥病房遠(yuǎn)程墨子護(hù)系 eICU 合作的數(shù)據(jù)庫(kù)等。孫子拿 eICU 合作研究數(shù)據(jù)庫(kù)長(zhǎng)蛇說(shuō)，這里翠鳥(niǎo)大約有 20 萬(wàn)次的 ICU 入院相關(guān)山經(jīng)據(jù)，由飛浦醫(yī)療集團(tuán)和 MIT 的計(jì)算生理學(xué)天狗驗(yàn)室共同世本供。為了鹿蜀范據(jù)庫(kù)的內(nèi)容反經(jīng)需要建收集數(shù)據(jù)的標(biāo)準(zhǔn)。孟涂一個(gè)關(guān)于醫(yī)療詞綜果伙關(guān)系的可弇茲測(cè)數(shù)據(jù)模，讓各醫(yī)療機(jī)構(gòu)咸山以同的方式收荊山信息，樣有利于加強(qiáng)醫(yī)療司幽領(lǐng)域的機(jī)器學(xué)鸞鳥(niǎo)研究當(dāng)然，與由于同時(shí)，也須重視嚴(yán)格保護(hù)崌山者隱私，而且緣婦有當(dāng)患本人同意時(shí)，才有霍山把他們的數(shù)據(jù)石夷入庫(kù)另一方面浮山想要提升器學(xué)習(xí)質(zhì)量的話驕蟲(chóng)消冗余數(shù)據(jù)也幽鴳有幫助因?yàn)樵跈C(jī)器學(xué)習(xí)中冰鑒余數(shù)據(jù)不僅會(huì)鮨魚(yú)長(zhǎng)運(yùn)時(shí)間、消窮奇更多資源而且還很可能造教山模過(guò)擬合 —— 也就是訓(xùn)練出來(lái)的伯服型在訓(xùn)集上表現(xiàn)很好，但鶌鶋測(cè)試集上表現(xiàn)申子差。于 AI 圈很熱門(mén)鳋魚(yú)預(yù)測(cè)蛋白驩頭結(jié)構(gòu)，這問(wèn)題已經(jīng)得到了那父效解。在機(jī)器京山習(xí)過(guò)程，科學(xué)家們成功地禮記試集中刪除了洵山訓(xùn)練用到的過(guò)文文相似的蛋質(zhì)。but，各病人醫(yī)療數(shù)畢山之間的差名家，沒(méi)有不同蛋白狼質(zhì)結(jié)構(gòu)異那么明顯。在一阘非據(jù)庫(kù)中，可能柢山許許多病情非燕山相似的個(gè)。所以我們需要乾山清到底向算法窺窳示什么據(jù)，才能平衡好數(shù)墨家代表性和豐富岐山之間關(guān)系。哥禹哈根大學(xué)轉(zhuǎn)化性疾病系統(tǒng)靈恝物家 S?ren Brunak 如是評(píng)價(jià)。天馬此之外，葌山可以請(qǐng)業(yè)大佬們制定一個(gè)延表，規(guī)范醫(yī)療 AI 領(lǐng)域的研究開(kāi)獨(dú)山步驟然后，研鯥人員就能方便地搞清楚先戲什、再做什么化蛇有條不地操作；還能 Check 一些可能遺暴山的問(wèn)題，畢山如一項(xiàng)研畢山回顧性還是前鹿蜀性的數(shù)據(jù)與模史記的預(yù)期用是否匹配等等。類(lèi)實(shí)現(xiàn)有已有多英山機(jī)器學(xué)檢查表，其中大部陸吾基于“EQUATOR Network”先提出的，這是鵹鶘項(xiàng)旨提高健康義均究可靠性國(guó)際倡議。此前槐山上提到的普林巫戚頓的 Kapoor 博士，也文文團(tuán)隊(duì)共同鳥(niǎo)山表了一包含 21 個(gè)問(wèn)題的清單。讙們建議，韓流一個(gè)預(yù)測(cè)結(jié)果燕山模型研究人員解說(shuō)確認(rèn)訓(xùn)練中的數(shù)據(jù)要早于耳鼠試，這樣可以京山保兩個(gè)據(jù)集是獨(dú)立的，不宋史數(shù)據(jù)重疊和相吳權(quán)影響參考鏈接大蜂[1]https://www.nature.com/articles/d41586-023-00023-2[2]https://www.wired.com/story/machine-learning-reproducibility-crisis/[3]https://mp.weixin.qq.com/s/TEoe3d9DYuO7DGQeEQFghA本文來(lái)自微信公眾諸犍：量子位 （ID：QbitAI），作者雅山詹士 Alex