沒(méi)有一個(gè)模型能夠達(dá)到100%的準(zhǔn)確度

在預(yù)印本服務(wù)器Arxiv.org上發(fā)表的一篇論文中，西弗吉尼亞大學(xué)和加利福尼亞州立理工大學(xué)的研究人員調(diào)查了機(jī)器學(xué)習(xí)算法的使用，以識(shí)別入門物理課中的高風(fēng)險(xiǎn)學(xué)生。他們聲稱這可能是教育者和掙扎中的大學(xué)生的有力工具，但批評(píng)家認(rèn)為，類似的技術(shù)可能會(huì)對(duì)有偏見(jiàn)或誤導(dǎo)性預(yù)測(cè)的學(xué)生造成傷害。

物理和其他核心科學(xué)課程在大學(xué)生涯的早期就構(gòu)成了科學(xué)，技術(shù)，工程和數(shù)學(xué)(STEM)專業(yè)的障礙。(研究表明，大約有40%的計(jì)劃工程和自然科學(xué)專業(yè)的學(xué)生最終轉(zhuǎn)而攻讀其他學(xué)科或沒(méi)有獲得學(xué)位。)雖然物理教學(xué)法已經(jīng)開(kāi)發(fā)出了一系列基于研究的實(shí)踐來(lái)幫助學(xué)生克服挑戰(zhàn)，但有些策略卻具有實(shí)質(zhì)性意義一流的實(shí)施成本。而且，并非所有人都適合每個(gè)學(xué)生。

研究人員斷言，這需要一種識(shí)別危險(xiǎn)學(xué)生的算法方法，特別是在物理領(lǐng)域。為此，他們以以前的工作為基礎(chǔ)，這些工作使用ACT分?jǐn)?shù)，大學(xué)GPA和物理課中收集的數(shù)據(jù)(例如功課成績(jī)和考試成績(jī))來(lái)預(yù)測(cè)學(xué)生在第一學(xué)期和第二學(xué)期將獲得A還是B 。

但是研究表明，即使接受大型語(yǔ)料庫(kù)的訓(xùn)練，人工智能在預(yù)測(cè)復(fù)雜結(jié)果方面也相對(duì)較差-并且存在偏差問(wèn)題。例如，詞嵌入是一種常見(jiàn)的算法訓(xùn)練技術(shù)，涉及將詞鏈接到向量，不可避免地會(huì)拾取(并且最糟糕的是放大)源文本和對(duì)話中包含的偏見(jiàn)。據(jù)報(bào)道，亞馬遜的內(nèi)部招聘工具(接受了十年期提交的簡(jiǎn)歷的培訓(xùn))被報(bào)廢了，因?yàn)樗憩F(xiàn)出對(duì)女性的偏見(jiàn)。

盡管如此，研究人員還是從東方兩家大型學(xué)術(shù)機(jī)構(gòu)的基于演算基礎(chǔ)的物理課程中抽取了樣本，以訓(xùn)練學(xué)生預(yù)測(cè)性能的AI算法。第一語(yǔ)料庫(kù)和第二語(yǔ)料庫(kù)包括在一所大學(xué)的物理科學(xué)和工程學(xué)學(xué)生，為大約21,000名本科生提供服務(wù)，樣本量分別為7,184和1,683名學(xué)生。三分之一來(lái)自主要是本科生和西班牙裔服務(wù)的大學(xué)，在美國(guó)西部約有26,000名學(xué)生

樣本在構(gòu)成和人口統(tǒng)計(jì)方面非常不同。第一個(gè)和第二個(gè)是在不同的時(shí)間范圍(2000-2018年和2016-2019年)收集的，其中大多數(shù)是白人學(xué)生(占80%)，第二個(gè)反映了2011年和2015學(xué)年的課程變化。相比之下，第三次為一年(2017年)，主要是西班牙裔(46%)和亞洲人(21%)，學(xué)生們既參加講座又參加主動(dòng)學(xué)習(xí)風(fēng)格的課程。

研究人員在樣本上訓(xùn)練了所謂的隨機(jī)森林，以預(yù)測(cè)學(xué)生的最終物理成績(jī)。在機(jī)器學(xué)習(xí)中，隨機(jī)森林是一種集成方法，可構(gòu)建大量決策樹(shù)并輸出單個(gè)樹(shù)的均值預(yù)測(cè)，在這種情況下，學(xué)生很可能會(huì)獲得A，B或C(ABC學(xué)生)或D， F或退出(W)(DFW學(xué)生)。

根據(jù)研究人員的說(shuō)法，在第一個(gè)樣本上訓(xùn)練的算法預(yù)測(cè)“ DFW學(xué)生”的準(zhǔn)確性僅為16%，這可能是因?yàn)橛?xùn)練集中DFW學(xué)生的比例很低(12%)。他們指出，在對(duì)