Statistik 1. Cek data, validitas, reliabilitas, dan asumsi

 

Evidence for validity and reliability of a research-based assessment instrument on measurement uncertainty

(Sumber : Klik Disini)

1.     Tujuan Penelitian

Penelitian ini bertujuan untuk menguji validitas dan reliabilitas instrumen asesmen berbasis penelitian (RBAI) yang dinamakan SPRUCE (Survey of Physics Reasoning on Uncertainty Concepts in Experiments). SPRUCE dirancang untuk mengukur tingkat pemahaman mahasiswa terhadap konsep dan praktik ketidakpastian pengukuran dalam eksperimen fisika laboratorium tingkat sarjana.

 

2.     Metode Penelitian

Peneliti menggunakan pendekatan Classical Test Theory (CTT) untuk mengevaluasi validitas dan reliabilitas instrumen SPRUCE. Data dikumpulkan dari 36 mata kuliah di 22 institusi selama tiga semester (Fall 2022–Fall 2023) dengan total 2.596 respon mahasiswa dan 36 respon ahli (instructor/peneliti).
Analisis mencakup:

·       Analisis validitas isi, muka, dan eksternal

·       Pengujian reliabilitas (melalui uji stabilitas, split-half reliability, Cronbach’s alpha)

·       Analisis diskriminasi dan tingkat kesulitan item
Instrumen menggunakan sistem “couplet scoring”, yaitu setiap butir soal dipasangkan dengan assessment objective (AO) yang diukur, sehingga menghasilkan 31 item-AO couplets dari 19 soal.

 

 

3.     Hasil

Hasil analisis menunjukkan bahwa SPRUCE memiliki tingkat validitas dan reliabilitas yang tinggi. Nilai Cronbach’s alpha sebesar 0,83 dan split-halves reliability 0,81 menunjukkan konsistensi internal yang baik. Uji test–retest stability antara dua semester menunjukkan korelasi tinggi (r = 0,98–0,99), menandakan hasil yang stabil antar periode.
Dari sisi diskriminasi, Ferguson’s delta = 0,947 menunjukkan kemampuan instrumen untuk membedakan tingkat kemampuan mahasiswa dengan baik. Rata-rata skor keseluruhan adalah 50,9%, dengan distribusi normal dan rentang yang luas, menandakan tingkat kesulitan yang sesuai dengan populasi target (mahasiswa fisika tingkat awal).
Beberapa item dengan diskriminasi rendah tetap dipertahankan karena mengukur konsep yang penting untuk pembelajaran, seperti propagation of uncertainty dan significant figures. Secara umum, hasil menunjukkan bahwa SPRUCE adalah alat asesmen yang valid, reliabel, dan layak digunakan untuk mengevaluasi pemahaman mahasiswa tentang ketidakpastian pengukuran.

 

4.     Kesimpulan

Penelitian ini berhasil membuktikan bahwa SPRUCE adalah instrumen asesmen yang valid dan reliabel untuk digunakan di laboratorium fisika tingkat sarjana dalam mengukur pemahaman tentang ketidakpastian pengukuran. Pendekatan couplet scoring terbukti efektif dalam memperkaya analisis berbasis CTT. Temuan ini memberikan dasar kuat bagi penelitian lanjutan yang akan menggunakan Item Response Theory (IRT) dan studi perbandingan pre-post instruksional.

5.     Kelebihan Penelitian

·       Pendekatan metodologis kuat: Mengombinasikan Classical Test Theory dengan sistem couplet scoring yang inovatif.

·       Populasi besar dan beragam: Data dari 22 institusi meningkatkan validitas eksternal.

·       Analisis komprehensif: Menyajikan uji validitas, reliabilitas, diskriminasi, dan kesulitan secara mendalam.

·       Kontribusi praktis: Memberikan alat evaluasi berbasis penelitian yang siap digunakan dalam konteks pendidikan fisika laboratorium.

·       Transparansi data dan pengembangan instrumen: Melibatkan ahli dan pengguna akhir (instruktur) selama proses desain.

 

6.     Keterbatasan Penelitian

·       Belum menggunakan analisis IRT (Item Response Theory) yang lebih sensitif terhadap karakteristik butir.

·       Beberapa item memiliki diskriminasi rendah, terutama pada konsep yang sulit seperti propagasi ketidakpastian.

·       Belum dilakukan analisis gain pre–post test untuk melihat peningkatan belajar mahasiswa.

·       Validasi lintas budaya belum dilakukan, sehingga penerapan di luar konteks universitas AS masih terbatas.

 

7.     Novelty

Pada penelitian-penelitan sebelunya telah banyak dilakukan penelitian sejenis seperti : penelitian dengan judul “Validation of a coupled, multiple response assessment for upper-division thermal physics” (Rainey et al., 2022) dimana penelitian ini membahas tentang pengembangan & validasi instrumen coupled multiple-response untuk topik termal (upper-division). Temuan: format coupled multiple response dapat divalidasi secara statistik (IRT/CTT), efektif untuk topik tertentu di tingkat lanjut.. Penelitian lain yang berjudul “Survey of physics reasoning on uncertainty concepts in experiments: An assessment of measurement uncertainty for introductory physics labs” (Vignal et al., 2023) yang membahas tentang pengenalan SPRUCE. laporan pengembangan awal (item, AOs, face/content validity, student interviews mapping reasoning elements). Temuan: item dikembangkan dan dipetakan ke reasoning elements; bukti face/content validity awal disajikan.. Kemudian ada juga penelitian “Beyond normalized gain: Improved comparison of physics educational outcomes” (Christman et al., 2024) yang berfokus pada penerapan pedagogi kritis Paulo Freire untuk mengintegrasikan SDGs dalam pendidikan keperawatan. Menekankan pentingnya kesadaran kritis, dialog, dan transformasi sosial melalui pendidikan yang membebaskan dari struktur hierarkis. Sehingga dibutuhkan penelitian yang mampu menutup kekurangan tersebut, seperti penelitian yang dilakukan oleh (Geschwind et al., 2024). Novelty pada penelitian (Geschwind et al., 2024) terlatak pada artikel ini adalah memadukan butir soal dengan assessment objectives secara spesifik, memungkinkan analisis yang lebih detail dan reliabel dibanding instrumen sejenis seperti PMQ, PLIC, dan CDPA. Selain itu, penelitian ini merupakan validasi pertama yang memanfaatkan pendekatan CTT terhadap instrumen multikonsep dalam domain ketidakpastian pengukuran, menjadikan SPRUCE instrumen baru yang mengisi celah antara asesmen konseptual dan keterampilan eksperimental di laboratorium fisika.

 

8.     Daftar Referensi

Christman, E., Miller, P., & Stewart, J. (2024). Beyond normalized gain: Improved comparison of physics educational outcomes. Physical Review Physics Education Research, 20(1). https://doi.org/10.1103/PhysRevPhysEducRes.20.010123

Geschwind, G., Vignal, M., Caballero, M. D., & Lewandowski, H. J. (2024). Evidence for validity and reliability of a research-based assessment instrument on measurement uncertainty. Physical Review Physics Education Research, 20(2). https://doi.org/10.1103/PhysRevPhysEducRes.20.020125

Rainey, K. D., Vignal, M., & Wilcox, B. R. (2022). Validation of a coupled, multiple response assessment for upper-division thermal physics. Physical Review Physics Education Research, 18(2). https://doi.org/10.1103/PhysRevPhysEducRes.18.020116

Vignal, M., Geschwind, G., Pollard, B., Henderson, R., Caballero, M. D., & Lewandowski, H. J. (2023). Survey of physics reasoning on uncertainty concepts in experiments: An assessment of measurement uncertainty for introductory physics labs. Physical Review Physics Education Research, 19(2). https://doi.org/10.1103/PhysRevPhysEducRes.19.020139