Friday, May 22, 2009

ITEM BIAS DALAM KERTAS UJIAN – SATU TINJAUAN AWAL.

ITEM BIAS DALAM KERTAS UJIAN – SATU TINJAUAN AWAL.

Oleh
Hj. Bhasah bin Hj. Abu Bakar
Jamal@ Nordin bin Yunus
Ikhsan Othman.
Universiti Pendidikan Sultan Idris, Tanjung Malim.

ABSTRAK

Penyelidikan tentang item bias untuk melihat perbezaan pencapaian dalam sesuatu peperiksaan antara murid/pelajar lelaki dan perempuan kurang mendapat perhatian kepada penyelidik di rantau ini.. Kajian rengkas ini akan cuba memerhatikan perbezaan pencapaian berkenaan pada beberapa peringkat perkembangan kognitif dalam berbagai aras kemahiran item (ingatan, kefahaman dan aras pemikiran tinggi). Kaedah pengukuran perbezaan kemahiran adalah berdasarkan kepada Differential Item Functioning (DIF) bagi item tertentu pada aras kebolehan tertentu antara murid/pelajar lelaki dan perempuan. Kajian ini cuba mengaplikasi prinsip Item Response Theory (IRT) dalam menentukan item bias yang diskor menggunakan kaedah Classical Test Theory (CTT). Ahli psikometrik mendefinisikan kewujudan item bias sekiranya dua kumpulan yang mempunyai kebolehan yang sama tetapi satu kumpulan mendapat jawapan betul pada satu-satu item tertentu, manakala kumpulan kedua tidak mendapat jawapan betul pada item yang sama, maka item berkenaan dianggap sebagai bias. Kajian yang pernah dilakukan di negara maju menunjukkan pelajar lelaki lebih berkecondongan kepada item yang abstrak manakala pelajar perempuan lebih berkecondongan kepada item yang konkrit. Setakat manakah kebenaran dapatan berkenaan adalah menjadi matlamat utama kajian tinjauan ini dilakukan.

PENGENALAN

Sejak kebelakangan ini banyak pihak telah menyuarakan keperhatinan mereka tentang pencapaian dan komposisi pelajar lelaki dan perempuan di institut pengajian tinggi (IPT). Bilangan dan pencapaian pelajar perempuan jauh melebihi daripada bilangan dan pencapaian pelajar lelaki. Fenomena ini telah menimbulkan rasa terkejut dikalangan orang ramai dan cendiakawan tentang pencapaian dan bilangan pelajar lelaki yang berkurangan di sekolah dan di IPT serta mempersoalkan samaada pencapaian pelajar lelaki kini telah benar-benar menurun berbanding dengan pencapaian pelajar perempuan. Menurut satu panel kajian Universiti Kebangasaan Malaysia mendapati pelajar wanita memang lebih cemerlang kerana mereka mempunyai strategi pembelajaran yang lebih baik, bilangan guru wanita yang lebih ramai dan kecenderungan pelajar memahami pengajaran yang diajar oleh guru yang sama jantina (Berita Harian, 21.9.2001).

Pertambahan bilangan dan penurunan peratusan murid/pelajar lelaki dan perempuan dapat dilihat seperti dalam Jadual 1. Jadual ini juga mempamerkan bilangan dan peratusan guru lelaki dan perempuan yang mengajar di sekolah rendah dan menengah dari Tahun 1998 hingga ke Tahun 2000. Didapati kadar kenaikan pelajar lelaki adalah berbeza dengan kadar kenaikan pelajar perempuan. Tahun 1999 melihat kadar kenaikan pelajar lelaki sebanyak 0.92% di sekolah rendah dan 3.54% di sekolah menengah. Manakala kenaikan pelajar perempuan tidaklah begitu ketara sekali, namun demikian kenaikan pelajar perempuan adalah tinggi yang melibatkan perbezaan 11,981 (1,410,086 - 1,398,105) di sekolah rendah dan 34,923 (992,713 - 957,790)di sekolah menengah. Peratusan guru lelaki mengalami kenaikan negatif dari Tahun 1999 ke Tahun 2000 bagi sekolah rendah dan sekolah menengah pada Tahun 2000 sahaja. Guru perempuan menikmati kenaikan positif dari Tahun 1998 ke Tahun 2000 bagi sekolah menengah. Ini melambangkan kenaikan yang tinggi bagi kaum perempuan dari segi murid, pelajar dan guru.


Dalam ujian pemilihan ke IPT di Amerika Syarikat didapati, purata skor pelajar lelaki adalah lebih tinggi sedikit daripada skor pelajar perempuan pada bahagian verbal Preliminary Scholastic Aptitude Test (PSAT) dan Scholastic Aptitude Test (SAT), lantaran itu lebih ramai pelajar lelaki menerima biasiswa daripad pelajar perempuan (Linn & Gronlund, 1995). Keadaan yang sama ini wujud tetapi gaya yang berlainan sedikit di Malaysia dimana lebih ramai pelajar perempuan ditawarkan memasuki IPT berbanding dengan pelajar lelaki. Keadaan ini dapat diperhatikan dalam Jadual 2 dimana bilangan pelajar perempuan melebihi pelajar lelaki dari segi kemasukan, enrolmen dan yang terpenting sekali ialah dari segi kelulusan. Keadaan ini wujud bukan sahaja dari segi bilangan tetapi dari segi peratusannya juga adalah lebih tinggi pada pelajar perempuan dari pelajar lelaki.


Dalam satu kajian lain yang dibuat oleh Fennema, Carpenter dan Jacobs (1998) selama tiga tahun berturut-turut mendapati wujudnya ketekalan perbezaan dalam strategi menyelesaikan masalah diantara murid lelaki dan perempuan. Murid perempuan berkecondongan menggunakan strategi yang lebih konkrit seperti menggunakan model dan membilang manakala murid lelaki pula berkecondongan menggunakan strategi yang lebih abstrak yang mencerminkan kefahaman konsep mereka. Dalam satu kajian lain juga dalam bidang matematik, strategi menyelesaikan masalah didapati berbeza antara murid lelaki dan perempuan bermula dari umur 6 ke 8 tahun dimana murid perempuan lebih menggunakan strategi memerhati (membilang) manakala murid lelaki lebih menggunakan strategi mental (Carr dan Jessup).

KONSEP ASAS.

Bias boleh dibahagikan kepada dua jenis. Jenis pertama ialah vernacular bias (keadaan dimana sesuatu ujian dianggap tidak adil) dan kedua ialah statistical bias - berkait dengan ciri-ciri psikometrik sesuatu ujian. Pendekatan yang lebih empirikal dalam menentukan item bias boleh dibuat dengan mengkaji kesukaran item. Kaedah ini dilakukan dengan memperingkatkan item berdasarkan kesukaran item merentasi jantina. Item yang dianggap lebih sukar bagi sesuatu jantina adalah dianggap bias. Definisi ini dianggap tidak memuaskan kerana andaian yang dibuat ialah kemahiran khas atau pengetahuan yang di tapped oleh sesuatu item adalah sama merentasi jantina. Oleh itu perbezaan dalam pemeringkatan kesukaran item menunjukkan kewujudan bias

Di Amerika Syarikat bias jantina dalam ujian adalah sesuatu yang menjadi perhatian ramai dalam sebarang ujian. Oleh itu penerbit ujian akan lebih berhati-hati tentang wujudnya bias jantina dalam sebarang ujian yang dibina tetapi kesannya ke atas pencapaian pelajar lelaki atau perempuan masih lagi kurang jelas. Menurut satu kajian yang dibuat oleh Moss dan Brown (1979) ke atas rujukan lelaki dan perempuan dalam pembacaan paragraf tidak menunjukkan kesan ke atas pencapaian calon.

Konsep bias boleh wujud dari aspek pertalian diantara ujian dengan kriterion atau sebagai item individu. Dari segi item pula, kewujudan bias boleh dinilai oleh pengadil (yang dapat mengenalpasti item bias melalui cerapan) atau melalui penelitian ke atas ciri-ciri psikometriknya (Cunningham, 1986) Kaedah yang paling ringkas dan mudah dilakukan untuk menentukan bias ialah dengan membuat item analisis ke atas setiap item. Menggunakan pengalaman dan kepakaran, ahli psikometrik boleh menentukan sama ada sesuatu item itu bias atau tidak. Banyak kajian mendapati (Cunningham, 1986) pelajar perempuan lebih superior daripada pelajar lelaki dalam kebolehan verbal yang mula dapat diperhatikan pada kanak-kanak berumur 10 atau 11 tahun ke atas. Manakala pelajar lelaki pula lebih superior daripada pelajar perempuan dalam kemahiran kuantitatif dan kebolehan visual spatial bermula dari mulanya peringkat remaja (adolescence). Dikatakan perbezaan ini disebabkan oleh faktor budaya. Ramai penyelidik mempercayai perbezaan yang begitu ketara dalam kebolehan spatial boleh menyebabkan perbezaan dalam kebolehan kuantitatif.

Menurut Hambleton, Swaminathan dan Rogers (1991) untuk mengatakan sesuatu item itu bias, kita haruslah mempunyai bukti empirikal bagi menyatakan dengan cekap bahawa sesuatu item itu bias. Oleh itu, untuk membezakan antara bukti empirikal daripada rumusan, istilah Differential Item Fuctioning (DIF) daripada istilah bias digunakan bagi menerangkan bukti empirikal yang didapati dalam kajian bias. DIF dikatakan wujud apabila calon yang mempunyai kebolehan yang sama tetapi dari kumpulan yang berlainan (lelaki dan perempuan) mempunyai kebarangkalian yang berbeza dalam menjawab betul bagi sesuatu item (Mazor Kanjee & Clauser; 1995)

Educational Testing Service (ETS) pernah menggunakan dua kaedah untuk untuk menaksir kewujudan DIF dalam kertas ujian yang dibinanya. Kaedah pertama ialah pendekatan standard (Dorans & Kulick, 1986) yang merupakan satu prosedur fleksi untuk menghuraikan DIF dan kaedah keduanya ialah Mental-Haenszel (Holland & Thayer, 1988) - satu kaedah statistik yang berkuasa untuk mengenalpasti item yang ada DIF. Kedua-dua kaedah ini menggunakan model Item Response Theory (IRT). Menurut Dorans dan Holland (1993, p 36) perbezaan prestasi yang wujud di antara dua kumpulan yang intact di panggil impact. Impact wujud dalam mana-mana ujian, kerana pada asasnya, individu adalah berbeza dari aspek kebolehan yang terbentuk yang diukur oleh sesuatu instrumen seperti PMR/SPM/STPM. Perbezaan dalam prestasi ini dinamakan impact dalam bidang pengukuran. Keadaan ini berbeza dengan DIF yang wujud kepada kefungsian item setelah kumpulan bekenaan dipadankan kepada kebolehan di mana sesuatu item itu diukur.

OBJEKTIF KAJIAN.

Kajian ini merupakan satu kajian awal untuk meninjau perbezaan pencapaian siswa dan siswi Universiti Pendidikan Sultan Idris (UPSI) dari segi pencapaian pengajian mereka dalam beberapa kemahiran kognitif. Oleh itu adalah menjadi hasrat penyelidik untuk menentukan sama ada item yang dibina itu lebih berkecondongan kepada mana-mana jantina (lelaki atau perempuan) yang boleh memberi lebih peluang kepada jantina berkenaan lebih berjaya daripada jantina yang lain.

METODOLOGI.

Partisipan kajian ini terdiri daripada siswa/i UPSI semester 4 dan 5 yang mengambil kursus PA2033 (Pengujian, Pengukuran dan Penilaian Pendidikan). Seramai 508 orang pelajar yang telah mengambil ujian pertengahan semester 2001/2002 telah dijadikan sampel untuk dianalisis pencapaian mereka. Sampel kajian ini mengandungi 280 orang siswa (55.11 %) dan 228 orang siswi (44.88 %).

Instrumen kajian
Peperiksaan pertengahan semester untuk kursus Pengujian, Pengukuran dan Penilaian Pendidikan, Kod PA2033 telah dijadikan instrumen untuk kajian ini. Instrumen ini telah dibina oleh pensyarah dalam bidang berkenaan berdasarkan teknik-teknik pembinaan ujian yang standard. Sebanyak 20 item dalam domain kognitif dari aras pengetahuan, kefahaman dan kemahiran berfikir aras tinggi telah dibina untuk tujuan peperiksaan berkenaan. Draf terakhir kertas peperiksaan ini telah disemak oleh mereka yang pakar dalam bidang pengukuran pendidikan.

DAPATAN KAJIAN.

Huraian dapatan kajian telah dibahagikan kepada tiga bahagian. Bahagian pertama melihat pencapaian siswa/i bagi setiap item dalam instrumen berkenaan. Bahagian kedua memperlihatkan pencapaian setiap item bagi skor kumpulan tinggi (skor pada 3rd kuartil) dan skor kumpulan rendah (skor pada 1st kuartil). Bahagian ketiga pula cuba melihat perbezaan pencapaian siswa/i bagi pencapaian tinggi, sederhana dan rendah. Pencapaian tertinggi 27%, pertengahan 27% dan terendah 27% telah dijadikan asas penunjuk pencapaian. Di samping itu lima aras pencapaian telah digunakan dalam kajian ini: Aras pencapaian berkenaan telah diklaskan kepada skor berikut: 6, 8, 10, 12 dan 14 dan digunakan sebagai penunjuk kepada kontinum pencapaian keseluruhan partisipan.

Bahagian Pertama
Jadual 3 menunjukkan kekerapan menjawab betul dan salah bagi partisipan ke atas setiap item. Hampir kesemua item tidak menunjukkan perbezaan yang signifikan antara siswa dan siswi kecuali bagi Item No.2 dan Item No.8. Item No.2 dan Item No. 8 adalah item untuk menguji aras kemahiran kefahaman calon.

Jadual 3 : Pemerhatian Impact: Pencapaian Mengikut Item Lelaki dan Perempuan Bagi Setiap Item.


Bahagian Kedua.
Jadual 4 dan Jadual 5 menunjukkan kekerapan jawapan betul dan salah bagi partisipan yang berpencapaian tinggi dan rendah, masing-masing pada skor kuartil ketiga dan kuartil pertama. Bagi kumpulan partisipan yang berpencapaian tinggi (Kuartil ketiga), Item No. 2 dan Item No. 4 menunjukkan perbezaan yang signifikan antara siswa dan siswi dalam pencapaian masing-masing. Item No. 2 menguji kefahaman dan Item No, 4 pula menguji pada aras pengetahuan/ingatan fakta. Bagi kumpulan partisipan yang berpencapaian rendah (Kuartil pertama), Item No.1, No. 17 dan Item No.18 menunjukkan perbezaan yang signifikan antara pencapaian siswa dan siswi. Item No. 17 dan No.18 menguji pelajar pada kemahiran berfikir aras tinggi.

Jadual 4 : Item Kajian Kebolehan Tinggi: DIF - Pencapaian Mengikut Item Lelaki dan Perempuan Bagi Setiap Item

Jadual 5 : Item Kajian Kebolehan Rendah: DIF - Pencapaian Mengikut Item Lelaki dan Perempuan Bagi Setiap Item

Bahagian Ketiga
Jadual 6 menunjukkan pencapaian partisipan pada aras pencapaian 27% tertinggi, 27% pertengahan dan 27% terendah. Ujian-t yang dibuat pada setiap aras berkenaan menunjukkan signifikan pada nilai p = 0.4, p = 0.148 dan p = 0.291 yang melebihi nilai p = 0.05. Ini menunjukkan tidak terdapat perbezaan yang signifikan untuk partisipan yang mengambil kursus ini pada setiap aras kebolehan. Secara deskriptif juga perbezaan ini jelas menunjukkan tiada perbezaan yang ketara berdasarkan min di antara siswa dan siswi (tinggi: siswa min = 12.80, siswi min = 13.00; sederhana, siswa min= 9.45, siswi min=9.28 dan rendah; siswa min=6.59,siswi min=6.39).





PERBINCANGAN DAN KESIMPULAN.

Kajian ini merupakan satu kajian awalan atau boleh juga dikatakan sebagai kajian rintis ke arah mencari dan mengenalpasti kaedah penentuan item bias dalam sesuatu ujian dari aspek jantina sahaja. Setelah disemak menggunakan kaedah tradisional atau klasikal didapati pada umumnya, kecuali pada lima item dari berbagai peringkat kemahiran dan kumpulan, bias tidak wujud dalam kertas Pengujian, Pengukuran dan Penilaian Pendidikan diperingkat IPT. Sama ada keadaan ini menjadi norma bagi kursus lain adalah menjadi satu kajian tambahan yang perlu dibuat untuk mengukuhkan lagi hujjah di atas. Tetapi persoalannya masih wujud tentang kelebihan pencapaian siswi ke atas pencapaian siswa di IPT. Satu kajian lanjut adalah dicadangkan ke atas populasi pelajar sekolah menengah dan rendah yang menjadi feeders kepada IPT. Ujian yang lebih menguntungkan perempuan boleh merupakan satu daripada indikator penyebab berlakunya ramai siswi di IPT. Namun demikian kelebihan bilangan perempuan di peringkat sekolah menengah juga boleh merupakan satu faktor lain yang berkait rapat dengan kelebihan ramai siswi di IPT. Kajian ini juga mendapati, aras kemahiran dan kesukaran tidak menjadi fungsi bias bagi mana-mana jantina.

Kaedah terbaik untuk mengenalpasti sama ada sesuatu item itu mempnyai DIF dalam kertas ujian adalah menggunakan IRT yang mana ianya lebih adil kerana penentuan pencapaian calon adalah ditentukan dengan kebolehannya. Unit pengukuran kebolehan, kesukaran dan deskriminasi item adalah pada skala yang sama. Tambahan pula buat pada masa ini, terdapat beberapa perisian IRT telah dibina untuk mencari DIF dalam satu-satu kertas ujian. Namun demikian, pengkaji cuba mencari bias berkenaan dengan menggunakan Classical Test Theory (CTT) berteraskan konsep kebolehan yang bergantung kepada nilai-p yang boleh ditambah untuk menjadi penunjuk kepada pencapaian sesuatu kumpulan calon. Insya'Allah, penyelidik akan berusaha untuk mengtransformasikan kepada IRT untuk mencari DIF dalam ujian yang dibina kini dan membandingkan kelebihan IRT dengan CTT dalam menentukan DIF.

Kajian ini mungkin dibuat pada peringkat yang lewat (peringkat pengajian tinggi) dimana hasilnya adalah rintitan daripada perkara yang telah berlaku sebelumnya iaitu dari peringkat sekolah menengah lagi. Namun demikian, kita ingin juga memastikan agar perkara seperti ini (DIF) tidak berlaku di pusat-pusat pengajian tinggi.

Cadangan

1. Kajian ini harus dibuat secara menyeluruh ke atas semua bidang untuk memastikan tidak terdapat bias dalam ujian di peringkat tinggi yang boleh menimbulkan rasa curiga terhadap satu-satu jantina. Kajian ini hendaklah dianggap sebagai perintis jalan kepada kajian yang selanjutnya tentang kewujudan item bias dalam ujian-ujian yang diadakan diperingkat nasional.

2. Apa yang berlaku di IPT adalah hasil daripada pemilihan yang dibuat daripada peperiksaan di peringkat nasional seperti SPM atau STPM. Kajian seumpama ini akan memastikan tidak wujudnya item bias yang boleh memberi kelebihan kepada mana-mana jantina, lebih-lebih lagi dalam keadaan sekarang yang mana ramai tenaga pengajar di sekolah rendah atau menengah adalah dari satu jantina sahaja, terutamanya bagi mereka yang menyediakan peperiksaan di peringkat nasional.

3. Metodologi penyelidikan DIF juga harus diberikan perhatian agar dapat menggunakan teori moden yang lebih bergantung dengan penyelidikan tentang pencapaian yang menekankan kepada kebolehan seseorang individu.

4. Badan-badan peperiksaan kebangsaan seharusnya menjalankan kajian bias dalam setiap kertas ujian yang ditadbirkan agar dapat memberi kepercayaan kepada orang ramai bahawa item/ujian yang dibina itu adalah bebas dari sebarang bias dan tidak memberi kelebihan kepada mana-mana jantina, agama, ras, budaya dan sebagainya.

No comments:

Post a Comment