數(shù)學(xué)教育研究質(zhì)量效度分析
時(shí)間:2022-12-04 08:05:05
導(dǎo)語:數(shù)學(xué)教育研究質(zhì)量效度分析一文來源于網(wǎng)友上傳,不代表本站觀點(diǎn),若需要原創(chuàng)文章可咨詢客服老師,歡迎參考。
一、引言
教育研究要有意義,其前提是研究要有效、正確.人們把握數(shù)學(xué)教育規(guī)律,很大程度上是依據(jù)紛繁復(fù)雜的教育現(xiàn)象,“透過現(xiàn)象看本質(zhì)”,很大程度上帶有經(jīng)驗(yàn)的性質(zhì).若要把教育經(jīng)驗(yàn)提升為教育理論,還需要用科學(xué)研究方法的程序進(jìn)行去粗取精,去偽存真.實(shí)證研究的范式是“假設(shè)—檢驗(yàn)”,在假設(shè)某種屬性已然存在的基礎(chǔ)上,研究能在多大的程度上有效地體現(xiàn)和反映這種屬性成為研究中最不容忽視的一個(gè)問題,這個(gè)問題即研究的效度.可以被接受的效度賦予了研究存在或推廣的意義,使得研究可以被接受.通俗地說,效度就是一種測量在何種程度上測量了它本該測量的東西.研究都有效度,但高低程度可能存在不同,實(shí)證取向的數(shù)學(xué)教育研究理應(yīng)追求較高的效度,以保證揭示現(xiàn)象背后因果關(guān)系的準(zhǔn)確性、客觀性、可推廣性.本文將從誤差的角度(量)、相關(guān)的角度、內(nèi)容(質(zhì))的角度、屬性探討(質(zhì)、量結(jié)合)的角度分析數(shù)學(xué)教育研究的效度,深化對效度的理解,以便更加有效地做好數(shù)學(xué)教育定量實(shí)證研究.
二、從多種角度理解效度
(一)從誤差的角度.誤差是借助物理學(xué)的術(shù)語來理解效度.定量研究企圖通過對實(shí)驗(yàn)、測量所獲得數(shù)據(jù)的整理和分析,從量的角度了解還原事物的本來貌目.但實(shí)驗(yàn)、測量必然會產(chǎn)生誤差,有些誤差要盡可能避免,像系統(tǒng)誤差;有些誤差不能被避免,所以我們不得不冒險(xiǎn)接受,如隨機(jī)誤差.若將測量對象屬性的真實(shí)值記為w,測量值記為x,則誤差就是測量值和真實(shí)值之間的差值,即可建立誤差模型e=x-w,其中,e和x是隨機(jī)變量,e與w相互獨(dú)立.在假定屬性存在的前提下,e在進(jìn)行無限次測驗(yàn)后,對測量誤差取均值可將誤差相互抵消;而w對于某特定的研究個(gè)體來說是一個(gè)常數(shù).但實(shí)際中往往得不到對象屬性的真實(shí)值,我們只好對研究對象實(shí)施無數(shù)次“相同”的測驗(yàn)取平均值來逼近真實(shí)值,這樣,除去誤差之后的值均視為對象屬性的真實(shí)值.然而這個(gè)真實(shí)值還不全是我們需要的,還要根據(jù)研究目的進(jìn)一步分解.如,目標(biāo)是測量學(xué)生的計(jì)算能力,而現(xiàn)在測出來的是學(xué)生數(shù)學(xué)能力真實(shí)值,不僅包括計(jì)算能力,也包括空間想象能力、邏輯思維能力屬性值等等,我們要將與目標(biāo)無關(guān)的屬性測量值提取出來.即把對象屬性的真實(shí)值w進(jìn)一步分為與測量目標(biāo)有關(guān)的真實(shí)值———目標(biāo)真實(shí)值v和與測量目標(biāo)無關(guān)的真實(shí)值———非目標(biāo)真實(shí)值u,亦即w=v+u,因而e=x-v-u,且e與v、u相互獨(dú)立.故方差可以正交分解,得到:σe2=σx2-σv2-σu2(σi2表示i的方差).把與測量目標(biāo)有關(guān)的真實(shí)值的方差σv2與測量值的方差σx2之比定義為效度系數(shù),即V=σv2σx2=rxy2,其中rxy是xy相關(guān)系數(shù),表示所測量的心理特征引起的方差占總方差的比例.很顯然,此比例越大,隨機(jī)誤差和非目標(biāo)真實(shí)值的方差比例就會越低,研究的效度越高,反之,研究的效度就低.從這個(gè)角度可檢驗(yàn)研究工具(問卷或量表)對此次研究的有效程度.從誤差的角度,看實(shí)際目標(biāo)真實(shí)值的誤差方差在總誤差方差中所占的比例大小來判斷效度的高低,是效度最本真的思想.但這只是理論上的研究,無法達(dá)到可算、能算的目的.其一,我們無法進(jìn)行無限次的試驗(yàn);其二,研究有一個(gè)假設(shè)的前提我們難以論證———屬性的真實(shí)值實(shí)際存在.所以從不同角度研究效度的分類及算法很有必要.(二)從相關(guān)的角度.相關(guān),是把已有的權(quán)威研究當(dāng)參照,是一種“以退為進(jìn)”的方法.由于在實(shí)際測量和研究中,某個(gè)研究對象屬性的目標(biāo)真實(shí)值難以通過有限次的測量得到,或者用測量值逼近真實(shí)值的過程中總難以根除測量誤差,所以通過測量得到的通常不是理論上的真實(shí)值,更談不上理論的目標(biāo)真實(shí)值了,這即是說明不會存在百分之百行之有效的研究.既然得不到理論的真實(shí)值,不妨退而求其次.可如何退?退到哪呢?數(shù)學(xué)中的化歸思想告訴我們:當(dāng)僅從問題本身出發(fā)難以往前,不如往后退一退,看看它與別的已被解決的問題之間的關(guān)系.也就是說,要是能夠充分利用已有的研究,能夠充分找一個(gè)被普遍接受的、相對靠近目標(biāo)的變量,用這種能反映所測量屬性的變量當(dāng)成一個(gè)可參照的效度標(biāo)準(zhǔn),即效標(biāo),用測驗(yàn)數(shù)據(jù)與效標(biāo)數(shù)據(jù)之間的相關(guān)程度來衡量測量結(jié)果效度的高低(效標(biāo)效度)就可以更快捷地評判研究的效度.以與權(quán)威測驗(yàn)有同樣或近乎相同目標(biāo)為基本前提,以權(quán)威測驗(yàn)的可靠性、可推廣性和公信力作為基本保障,以與權(quán)威測驗(yàn)結(jié)果的相關(guān)系數(shù)作為效標(biāo)效度來評定一個(gè)測驗(yàn)結(jié)果的效度,這樣的想法在理論上合乎情理,在實(shí)踐上也是相對便于操作,具有可行性.從相關(guān)的角度看效度,就是充分信任已有的研究,選擇合適的校標(biāo),在與校標(biāo)顯著相關(guān)的情況下,用校標(biāo)的高效度支持現(xiàn)研究.通常情況下,效標(biāo)的選擇往往是一種與自身測驗(yàn)?zāi)繕?biāo)關(guān)聯(lián)性較大的權(quán)威測驗(yàn),如一些著名的智力測查量表、權(quán)威水平測試等.例如,考察一份自制數(shù)學(xué)高考模擬試卷對學(xué)生數(shù)學(xué)能力評定的效度,選擇的效標(biāo)可以是上一年的高考數(shù)學(xué)試卷,求出高考試卷分?jǐn)?shù)和模擬試卷得分的相關(guān)系數(shù)作為模擬試卷的效標(biāo)效度.從概念層面(C)到經(jīng)驗(yàn)層面(X,x),得到效標(biāo)分?jǐn)?shù)和實(shí)測分?jǐn)?shù)相關(guān)性的分析模型如圖1.C(考察的屬性特征)X(效標(biāo)工具)x(需考察效度的工具)C(考察的屬性特征)圖1效標(biāo)效度的模型明確方法后,進(jìn)一步就是解決“相關(guān)”的問題了.根據(jù)效標(biāo)分?jǐn)?shù)和測量分?jǐn)?shù)的不同類型,可選用不同的方法和統(tǒng)計(jì)量進(jìn)行相關(guān)計(jì)算.如果效標(biāo)分?jǐn)?shù)和測量分?jǐn)?shù)的變量均服從正態(tài)分布,從連續(xù)的效標(biāo)分?jǐn)?shù)(連續(xù)變量)到連續(xù)的測量分?jǐn)?shù)(連續(xù)變量),可采用積差相關(guān)的方法計(jì)算,把兩者間的協(xié)方差標(biāo)準(zhǔn)化得到相關(guān)系數(shù);將其中一種視為二分變量,計(jì)算連續(xù)變量與二分的定序或定類變量的相關(guān)性,即從連續(xù)的效標(biāo)分?jǐn)?shù)(測量分?jǐn)?shù))到二分的測量分?jǐn)?shù)(效標(biāo)分?jǐn)?shù)),則用二列相關(guān)的方法計(jì)算;若兩者均為定序變量,如采用特殊教學(xué)方法前后的成績排名,則可以使用等級相關(guān)的方法分析變量的相關(guān)程度等等.用相關(guān)法評估效度,借助與效標(biāo)的相關(guān),用一個(gè)0與1之間的數(shù),依據(jù)數(shù)值的大小刻畫研究的效度高低.但這種方法可操作性強(qiáng),但不禁會讓人追思這樣兩個(gè)根本性的問題:(1)校標(biāo)一定可靠嗎?(2)如何保證測驗(yàn)和校標(biāo)所測的是同一屬性?所以從這一角度也可以看出不會存在百分之百有效的研究.(三)從內(nèi)容的角度.相關(guān)的角度需要“站在巨人的肩膀上”,若是沒有較為成熟可靠或適合的效度標(biāo)準(zhǔn),則不能用效標(biāo)和現(xiàn)測數(shù)據(jù)的相關(guān)程度衡量研究效度.此時(shí),效度已經(jīng)無法從參照、關(guān)聯(lián)的角度入手考究,這就需要從研究內(nèi)容的角度加以考慮.研究首先要思考的是測驗(yàn)時(shí)使用的測量工具能在多大的程度上代表需要測量的研究對象的相關(guān)特征,尤其是教育研究,測量工具所測量的和研究人員需要測量的是否是一致的,在多大程度上包含了研究對象的所有相關(guān)特征,成為教育測量中最根本的問題.內(nèi)容效度的確定方法與效標(biāo)關(guān)聯(lián)效度不同,一般不能用數(shù)量化的指標(biāo)來反映測驗(yàn)內(nèi)容的有效性程度,而是依據(jù)研究者對研究屬性的理解程度作出判斷,根據(jù)理解和經(jīng)驗(yàn)編制好測量工具.請行業(yè)專家對測量工具進(jìn)行內(nèi)容效度評估,依據(jù)專家的評估意見進(jìn)行相應(yīng)的修改,取精華,去糟粕,直至獲得大部分專家的認(rèn)可.這種方法的出發(fā)點(diǎn)是個(gè)人及專家的經(jīng)驗(yàn),主要活動是信息的收集、整理以及純粹的邏輯判斷,依靠行業(yè)專家的權(quán)威和公信度來確保研究的效度,含有很濃的“經(jīng)驗(yàn)”的味道,且測試僅僅關(guān)注了內(nèi)容,忽視了千差萬別的被試在測驗(yàn)中的實(shí)際情況.(四)從屬性探討的角度.有行業(yè)專家的意見固然很好,但有時(shí)候獲取專家的意見并不是件容易的事情,且就算是專家,其觀點(diǎn)也會具有較強(qiáng)的主觀性.從研究“測什么”這一核心問題出發(fā),我們不妨將重心轉(zhuǎn)移到研究的屬性特征上來:研究的主題不會是空穴來風(fēng),每一個(gè)研究課題都基于一定的理論知識上,因而想要測量的屬性都具有一定的理論基礎(chǔ),從相關(guān)理論起步,編制試題后施測、評判、修改,也可獲得一些效度較高的研究工具,主要的思考流程如圖2.相關(guān)理論如是可以從測量的屬性的相關(guān)理論入手,據(jù)相關(guān)理論的介紹和闡釋,猜想屬性可能包含的因素,提出假定的組成結(jié)構(gòu),并依照假設(shè)結(jié)構(gòu)編制測驗(yàn)題.若有相關(guān)的成熟研究有已經(jīng)形成的結(jié)論,就需考察自制的測驗(yàn)題施測后能否得到和成熟研究相同的結(jié)論,結(jié)論相同時(shí),我們可以認(rèn)為自制的測量工具和成熟的測量工具在某種程度上有相同的質(zhì),具有可以接受的有效程度;結(jié)論不同時(shí),我們則需要對自制工具進(jìn)行進(jìn)一步的修訂,保留符合的測驗(yàn)題,刪除不符合的測驗(yàn)題,重新施測.若是沒有完善的研究得到的結(jié)論,則要看最后的測量結(jié)果是否符合相應(yīng)理論產(chǎn)生的理論結(jié)論,若驗(yàn)證了理論結(jié)論,則在一定的程度上說明了工具的有效性.反之,則需去偽存真,反復(fù)打磨修改.例如,待研究的問題是“教師期望”對“學(xué)生智力”的發(fā)展是否有影響,與此有關(guān)的理論有“皮革馬利翁”效應(yīng).根據(jù)理論,可提出假設(shè)(CD):教師的期望(C)越大,學(xué)生智力發(fā)展速度(D)越快.根據(jù)這一假設(shè)編制好試題(x)后即可進(jìn)行測驗(yàn),分析數(shù)據(jù)得到結(jié)論(x(CD)).若有相關(guān)成熟研究(X)得到結(jié)論(X(CD)),已證實(shí)假設(shè),則比較兩個(gè)結(jié)論即可,當(dāng)x(CD)和X(CD)結(jié)論一致:教師的期望越大,學(xué)生智力發(fā)展速度越快,則說明新制定的試題是有較高效度的新工具,若結(jié)論不一致,則需要修改試題,重新測驗(yàn).從概念層面(C、D)到經(jīng)驗(yàn)層面(X、x)的分析模型如圖3.CDX(CD)x(CD)CD圖3有成熟研究的分析模型如果沒有相關(guān)成熟的研究,也就是尚沒有可接受的X研究C、D之間的關(guān)系,但有不同的研究工具分別研究教師期望和智力發(fā)展,即有研究工具(X1)研究“教師期望”(C),也有研究工具(X2)研究“智力發(fā)展”(D),則就需要將這兩種工具綜合使用,驗(yàn)證了結(jié)論CD后回到圖3的分析模型再進(jìn)行分析,分析模型如圖4.CDX(CD)x(CD)CD圖4沒有成熟研究的分析模型XCXDX1X2換個(gè)說法,當(dāng)有多種不同的方法(X,x)測量相同的特征(如學(xué)生智力D)時(shí),要想新的工具(x)有較高的效度,新的工具應(yīng)該與其他方法所測結(jié)果高度一致.這種高度一致不僅表現(xiàn)在已經(jīng)被肯定和檢驗(yàn)的一面:獲得的結(jié)論相當(dāng)一致,還表現(xiàn)在未受到檢驗(yàn)的另一面:新的工具是否測量了其他特征,如能力的發(fā)展.從屬性探討的角度看效度,就是保留與屬性相關(guān)的與理論結(jié)論一致的有關(guān)試題,使剩下的試題更具屬性代表性,試題的選擇越典型,研究的效度也就越高.同時(shí)也可看出,我們無法用有限的試題窮盡所測屬性的所有方面,也就不可能存在百分之百有效的內(nèi)容效度.
三、教材尋根
用數(shù)據(jù)揭示、解釋本質(zhì)本身就存在很大的風(fēng)險(xiǎn),研究中的任一環(huán)節(jié)出現(xiàn)些許紕漏都可能使研究的效度大大降低,而可以接受的效度是任一研究發(fā)揮價(jià)值的前提.實(shí)證取向的數(shù)學(xué)教育研究,不僅要關(guān)注研究的結(jié)果,更要關(guān)注研究背后的原理,兼顧研究的多方面.概率統(tǒng)計(jì)處理數(shù)據(jù)的所有手段,如方差分析、相關(guān)系數(shù)、回歸分析等都有其背后的原理.關(guān)注原理,才能有效準(zhǔn)確地避免產(chǎn)生更大的誤差,提高研究的有效性和說服力,故從質(zhì)、量、質(zhì)量結(jié)合等多個(gè)角度了解效度有其重要價(jià)值.中學(xué)所學(xué)的概率統(tǒng)計(jì)的知識,雖沒有專題學(xué)習(xí)效度的相關(guān)內(nèi)容,也無需計(jì)算研究的效度,但對于教師而言,研究背后的機(jī)制不能不察,更進(jìn)一步,需察而統(tǒng)領(lǐng).在教材中,對效度的教學(xué)處理是細(xì)微之處見端倪,教材將提高研究效度的想法貫徹在概率統(tǒng)計(jì)教學(xué)的各個(gè)過程.例如教材中所提及的三種抽樣方法:簡單抽樣、系統(tǒng)抽樣、分層抽樣,這是三種最基本的抽樣方法,每一種方法都有自己的優(yōu)勢和不足,在不同的情境下選擇較合適的抽樣方法就是為了提高樣本的代表性,讓有限數(shù)量的部分盡可能代表總體.而提高抽取樣本的代表性這一基本想法,就是為了提高研究的效度.再如,在進(jìn)行研究的時(shí)候,有時(shí)候?yàn)榱伺宄兞恐g的因果關(guān)系,我們總是采用控制變量的方法.還有教材中提及的一些試驗(yàn)中的注意事項(xiàng),如,進(jìn)行多次不同組合的試驗(yàn)時(shí),試驗(yàn)次序盡量隨機(jī)化;試驗(yàn)操作盡可能科學(xué)規(guī)范等;這些注意事項(xiàng)都以減少試驗(yàn)中的試驗(yàn)誤差為目的,使觀測值更加接近真實(shí)值,提高研究效度.研究過程總是伴隨著隨機(jī)和偶然,有效避免誤差,精致概率統(tǒng)計(jì)的教學(xué),就必然要將提高自身素養(yǎng)作為每一個(gè)研究者和學(xué)習(xí)者的首要任務(wù).提高自身素養(yǎng),在某種程度而言,是達(dá)成高有效性研究的基石和保障,也是每一個(gè)研究者、學(xué)習(xí)者達(dá)到生活、學(xué)習(xí)、工作、研究高境界的必修功夫.
參考文獻(xiàn):
1.郭熙漢,何穗,趙東方.教學(xué)評價(jià)與測量[M].武漢:武漢大學(xué)出版社,2008.
2.楊小微.教育研究的原理與方法[M].上海:華東師范大學(xué)出版社,2002.
3.葉映華,鄭全全.效度概念新認(rèn)識[J].中國臨床心理學(xué)雜志,2007(3).
4.徐章韜,王新園.作為數(shù)學(xué)教育研究數(shù)據(jù)處理的相關(guān)系數(shù)[J].中小學(xué)數(shù)學(xué),2016(10).
5.趙琪鳳.構(gòu)想效度研究[M].北京:北京語言大學(xué)出版社,2016.
作者:唐佳麗 徐章韜 單位:1.佛山市南海區(qū)石門實(shí)驗(yàn)學(xué)校 2.華中師范大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)學(xué)院