Analisis Kualitatif Soal Tes

Analisis secara kualitatif dilakukan dengan melakukan penelaahan terhadap setiap butir soal dari aspek materi, konstruksi dan bahasa. Aspek materi yang ditelaah berkaitan dengan substansi keilmuan yang ditanyakan dalam butir tes serta tingkat kemampuan yang sesuai dengan tes. Analisis konstruksi dimaksudkan untuk melihat hal-hal yang berkaitan dengan kaidah penulisan tes. Analisis bahasa dimaksudkan untuk menelaah tes berkaitan dengan penggunaan bahasa Indonesia yang baik dan benar menurut Ejaan Yang Disempurnakan (EYD). 

Telaah secara kualitatif dilakukan oleh tiga orang yang memiliki kompetensi sesuai dengan aspek materi konstruksi dan bahasa. Setiap penelaah melakukan analisis terhadap setiap butir soal berdasarkan kriteria yang telah ditetapkan sebelumnya dengan menuliskan huruf “Y” jika butir sesuai dengan kriteria dan huruf “T” jika butir tidak sesuai dengan kriteria yang telah ditetapkan.

Hasil telaah kemudian dirangkum untuk selanjutnya ditentukan kualitas butir secara teoretis dengan menggunakan kriteria sebagai berikut: 

a. Butir tes yang baik yaitu butir yang memenuhi semua kriteria yang telah ditentukan.

b. Butir tes yang kurang baik yaitu butir yang hanya memenuhi sebanyak-banyaknya 3 kriteria aspek konstruksi serta 1 kriteria aspek materi dan bahasa.

c. Butir tes yang tidak baik yaitu butir yang tidak memenuhi semua kriteria yang telah ditetapkan pada aspek materi 1 dan 3, atau lebih dari 3 untuk aspek konstruksi serta lebih dari 1 kriteria pada aspek bahasa.

Dari rangkuman hasil telaah kualitatif selanjutnya dapat ditentukan butir mana yang sudah atau belum memenuhi kriteria pada aspek materi, konstruksi dan bahasa. Dengan demikian dapat diambil kesimpulan tentang butir yang baik dan tidak baik.
Berikut contoh list analisis kualitatif:

A. Materi  
    1. Tes sesuai indikator  
    2. Pilihan jawab homogen dan logis  
    3. Hanya ada satu kunci jawaban yang tepat  
B. Konstruksi  
    4. Pokok tes dirumuskun secara singkat dan jelas  
    5. Rumusan pokok tes dan pilihan jawaban  
    7. Pokok tes tidak memberi petunjuk ke kunci jawaban  
    8. Pokok tes bebas dari pernyataan yang bersifat negatif ganda  
    9. Gambar/grafik/table diagram dan sejenisnya jelas berfungsi  
    10.Panjang rumusan jawaban relatif  
    11.Pilihan jawaban tidak menggunakan pernyataan "semua jawaban di atas salah" atau       "semua jawaban di atas benar".  
    12.Pilihan jawaban yang berbentuk angka atau waktu disusun berdasarkan urutan besar       kecilnya angka atau kronologis  
   13.Butir tes tidak tergantung pada jawaban sebelumnya
   
C. Bahasa  
 14.tes menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia  
 15.tes menggunakan bahasa yang komunikatif  
 16.tes tidak menggunakan bahasa yang berlaku setempat  
 17.pilihan jawaban tidak mengulang kata/kelompok kata yang sama yang bukan merupakan satu kesatuan