Abstrak Tesis: Karakteristi Butir Soal UN Bahasa Indonesia SMA Prodi IPA TP 2005/2006 di Prop SULUT

DJUNAIDI LABABA: Karakteristik Butir Soal Ujian Nasional Bahasa Indonesia SMA Program Studi IPA Tahun Pelajaran 2005/2006 di Propinsi Sulawesi Utara. Tesis. Yogyakarta: Program Pascasarjana, Universitas Negeri Yogyakarta, 2007.

Penelitian ini bertujuan untuk mengungkapkan karakteristik butir soal Ujian Nasional Bahasa Indonesia SMA Program Studi IPA tahun pelajaran 2005/2006 serta untuk membuat pemetaan berkaitan dengan kualitas pendidikan antara kabupaten/kota di Propinsi Sulawesi Utara.

Objek penelitian ini adalah Paket Tes 01 dan 03 Ujian Nasional Bahasa Indonesia SMA program studi IPA tahun pelajaran 2005/2006. Sumber data utama adalah 1.234 lembar jawaban siswa pada Paket 01 dan 2.842 lembar jawaban Paket 03. Data dianalisis dengan menggunakan pendekatan kualitatif dan kuantitatif. Pendekatan kualitatif dilakukan dengan menganalisis aspek materi, konstruksi dan bahasa. Pendekatan kuantitatif dilakukan dengan Teori Tes Klasik dan Teori Respon Butir 1 parameter (Rasch Model).

Hasil analisis kualitatif menunjukkan bahwa setiap butir yang terdapat pada Paket Tes 01 dan 03 berkualitas baik. Pada Paket 01 lima butir soal dan pada Paket 03 satu butir soal tidak memenuhi kriteria pada aspek konstruksi. Hasil analisis dengan Teori Tes Klasik menunjukkan bahwa kedua Paket Tes terkategori tidak baik. Sebanyak 20 butir (40%) pada Paket 01 dan 17 butir (34%) pada Paket 03 masuk kategori baik dari sisi tingkat kesukaran. Jumlah butir dengan daya beda yang baik untuk Paket 01 dan 03 berturut-turut sebanyak 16 dan 17 butir (32% dan 34%). Keefektifan distraktor untuk Paket 01 dan 03 berfungsi pada sebanyak 28 dan 35 butir (56% dan 70%). Hasil analisis berdasarkan teori respon butir menunjukkan sebanyak 40 butir (80%) Paket 01 dan 37 butir (74%) Paket Tes03 cocok dengan model. Sebanyak 30 butir (60%) Paket 01 dan 35 butir (70%) pada Paket 03 memiliki tingkat kesukaran sedang. Dengan demikian, berdasarkan teori respon butir 1 parameter Paket 01 masuk kategori cukup baik dan Paket 03 masuk kategori baik. Hasil pemetaan pendidikan berdasarkan Paket 01 menunjukkan bahwa daerah dengan kualitas pendidikan tertinggi adalah Kabupaten Minahasa Utara, diikuti Kabupaten Minahasa Selatan, Kabupaten Talaud, dan Kota Tomohon. Untuk Paket 03, daerah dengan kualitas pendidikan tertinggi adalah kota Manado. Selanjutnya diikuti oleh Kabupaten Minahasa, Kabupaten Bolaangmongondow, Kabupaten Sangihe dan Kota Bitung.


ABSTRACT

DJUNAIDI LABABA: The Characteristics of National Assessment Test Items of Bahasa Indonesia for Senior High School Science Program 2005/2006 in North Sulawesi Province. Thesis. Yogyakarta: Graduate School, State University of Yogyakarta, 2007.


This research was aimed to reveal the characteristics of National Examination test items of Bahasa Indonesia for Senior High School in 2005/2006 and to map the educational quality among the regencies/cities in North Sulawesi Province.

The subject of this research was Test Packages 01 and 03 of National Examination of Bahasa Indonesia for Senior High School in 2005/2006. The data source was 1,234 answer sheets of Package 01 and 2,842 answer sheets of Package 03. The data were analyzed using the qualitative and quantitative approaches. The qualitative approach was used for analyzing the material, construction, and language aspects. The quantitative approach was used applying the Classical Test Theory and one parameter Item Response Theory (Rasch Model).

The result of the analysis shows that all of the items in Packages 01 and 03 are good. Five items in Package 01 and one item in Package 03 do not fulfill the criteria of the construction aspects. The result using the Classical Test Theory shows that both of the packages are not good. There are 20 items (40%) in Package 01 and 17 items (34%) in Package 03 categorized good viewed from the indices of item difficulty. The number of items with good discrimination power for Packages 01 and 03 is 16 and 17 items (32% and 34%). The distractor effectiveness of Packages 01 and 03 functions at 28 and 35 items (56% and 70%). The result of the analysis using the Item Response Theory shows that 40 items (80%) in Package 01 and 37 items (74%) in Package 03 fit with the model. There are 30 items (60%) in Package 01 and 35 items (70%) in Package 03 having a medium difficulty level. Thereby, according to one parameter Item Response Theory, Package 01 is categorized quite good and Package 03 is categorized good. The result of the mapping out of the educational quality according to Package 01 shows that the region with the highest quality of education is North Minahasa Regency followed by South Minahasa Regency, Talaud Regency and Tomohon City. For Package 03, the highest educational quality region is Manado City, followed by Minahasa Regency, Bolaangmongondow Regency, Sangihe Regency, and Bitung City.

Untuk mendapatkan Naskah Thesis ini secara utuh silahkan hubungi saya di : evaluasipendidikan@yahoo.co.id dengan memberikan alasan akan digunakan untuk keperluan apa. Insya Allah kala digunakan untuk kebaikan, naskah tersebut akan dikirimkan lewat e-mail saudara.

Read More..

Evaluasi Program: Sebuah Pengantar

a. Pengertian evaluasi

Menurut Suharsimi Arikunto (2004 : 1) evaluasi adalah kegiatan untuk mengumpulkan informasi tentang bekerjanya sesuatu, yang selanjutnya informasi tersebut digunakan untuk menentukan alternatif yang tepat dalam mengambil keputusan. Fungsi utama evaluasi dalam hal ini adalah menyediakan informasi-informasi yang berguna bagi pihak decision maker untuk menentukan kebijakan yang akan diambil berdasarkan evaluasi yang telah dilakukan.
Menurut Worthen dan Sanders (1979 : 1) evaluasi adalah mencari sesuatu yang berharga (worth). Sesuatu yang berharga tersebut dapat berupa informasi tentang suatu program, produksi serta alternatif prosedur tertentu. Karenanya evaluasi bukan merupakan hal baru dalam kehidupan manusia sebab hal tersebut senantiasa mengiringi kehidupan seseorang. Seorang manusia yang telah mengerjakan suatu hal, pasti akan menilai apakah yang dilakukannya tersebut telah sesuai dengan keinginannya semula.

Menurut stufflebeam dalam worthen dan sanders (1979 : 129) evaluasi adalah : process of delineating, obtaining and providing useful information for judging decision alternatives. Dalam evaluasi ada beberapa unsur yang terdapat dalam evaluasi yaitu : adanya sebuah proses (process) perolehan (obtaining), penggambaran (delineating), penyediaan (providing) informasi yang berguna (useful information) dan alternatif keputusan (decision alternatives).
Dari pengertian-pengertian tentang evaluasi yang telah dikemukakan beberapa orang diatas, kita dapat menarik benang merah tentang evaluasi yakni evaluasi merupakan sebuah proses yang dilakukan oleh seseorang untuk melihat sejauh mana keberhasilan sebuah program. Keberhasilan program itu sendiri dapat dilihat dari dampak atau hasil yang dicapai oleh program tersebut.
Karenanya, dalam keberhasilan ada dua konsep yang terdapat didalamnya yaitu efektifitas dan efisiensi. Efektifitas merupakan perbandingan antara output dan inoutnya sedangkan efisiensi adalah taraf pendayagunaan input untuk menghasilkan output lewat suatu proses (Sudharsono 1994 : 2)

Dalam evaluasi terdapat perbedaan yang mendasar dengan penelitian meskipun secara prinsip, antara kedua kegiatan ini memiliki metode yang sama. Perbedaan tersebut terletak pada tujuan pelaksanaannya. Jika penelitian bertujuan untuk membuktikan sesuatu (prove) maka evaluasi bertujuan untuk mengembangkan (improve).

Terkadang, penelitian dan evaluasi juga digabung menjadi satu frase, penelitian evaluasi. Sebagaimana disampaikan oleh Sudharsono (1994 : 3) penelitian evaluasi mengandung makna pengumpulan informasi tentang hasil yang telah dicapai oleh sebuah program yang dilaksanakan secara sistematik dengan menggunakan metodologi ilmiah sehingga darinya dapat dihasilkan data yang akurat dan obyektif.

b. Tujuan evaluasi program

Setiap kegiatan yang dilaksanakan mempunyai tujuan tertentu. demikian juga dengan evaluasi. Menurut Suharsimi Arikunto (2004 : 13) ada dua tujuan evaluasi yaitu tujuan umum dan tujuan khusus. Tujuan umum diarahkan kepada program secara keseluruhan sedangkan tujuan khusus lebih difokuskan pada masing-masing komponen.

Implementasi program harus senantiasa di evaluasi untuk melihat sejauh mana program tersebut telah berhasil mencapai maksud pelaksanaan program yang telah ditetapkan sebelumnya. Tanpa adanya evaluasi, program-program yang berjalan tidak akan dapat dilihat efektifitasnya. Dengan demikian, kebijakan-kebijakan baru sehubungan dengan program itu tidak akan didukung oleh data. Karenanya, evaluasi program bertujuan untuk menyediakan data dan informasi serta rekomendasi bagi pengambil kebijakan (decision maker) untuk memutuskan apakah akan melanjutkan, memperbaiki atau menghentikan sebuah program.

c. Hakekat Evaluasi Program

Menurut John L Herman dalam Tayibnapis (1989 : 6) program adalah segala sesuatu yang anda lakukan dengan harapan akan mendatangkan hasil atau manfaat. Dari pengertian ini dapat ditarik benang merah bahwa semua perbuatan manusia yang darinya diharapkan akan memperoleh hasil dan manfaat dapat disebut program.

Menurut Suharsimi Arikunto (2004 : 2) program dapat dipahami dalam dua pengertian yaitu secara umum dan khusus. Secara umum, program dapat diartikan dengan rencana atau rancangan kegiatan yang akan dilakukan oleh seseorang di kemudian hari. Sedangkan pengertian khusus dari program biasanya jika dikaitkan dengan evaluasi yang bermakna suatu unit atau kesatuan kegiatan yang merupakan ralisasi atau implementasi dari suatu kebijakan, berlangsung dalam proses berkesinambungan dan terjadi dalam satu organisasi yang melibatkan sekelompok orang.
Menilik pengertian secara khusus ini, maka sebuah program adalah rangkaian kegiatan yang dilaksanakan secara berkesinambungan secara waktu pelaksanaannya biasanya panjang. Selain itu, sebuah program juga tidak hanya terdiri dari satu kegiatan melainkan rangkaian kegiatan yang membentuk satu sistem yang saling terkait satu dengan lainnya dengan melibatkan lebih dari satu orang untuk melaksanakannya.

Menurut Isaac dan Michael (1984 : 6) sebuah program harus diakhiri dengan evaluasi. Hal ini dikarenakan kita akan melihat apakah program tersebut berhasil menjalankan fungsi sebagaimana yang telah ditetapkan sebelumnya. Menurut mereka, ada tiga tahap rangkaian evaluasi program yaitu : (1) menyatakan pertanyaan serta menspesifikasikan informasi yang hendak diperoleh, (2) mencari data yang relevan dengan penelitian dan (3) menyediakan informasi yang dibutuhkan pihak pengambil keputusan untuk melanjutkan, memperbaiki atau menghentikan program tersebut.

Berdasarkan pengertian diatas, maka evaluasi program sebagaimana dimaknai oleh Kirkpatrick dapat dimaknai sebagai sebuah proses untuk mengetahui apakah sebuah program dapat direalisasikan atau tidak dengan cara mengetahui efektifitas masing-masing komponennya melalui rangkain informasi yang diperoleh evaluator (Kirkpatrick 1996 : 3). Tetapi, pengambil keputusan itu sendiri bukanlah evaluator melainkan pihak lain yang lebih berwenang. Evaluator hanya menyediakan informasi-informasi yang dibutuhkan oleh pengambil kebijakan (decision maker)

d. Model-model evaluasi

Ada banyak model yang bisa digunakan dalam melakukan evaluasi program khususnya program pendidikan. Meskipun terdapat beberapa perbedaan antara model-model tersebut, tetapi secara umum model-model tersebut memiliki persamaan yaitu mengumpulkan data atau informasi obyek yang dievaluasi sebagai bahan pertimbangan bagi pengambil kebijakan. (Suharsimi Arikunto dan Cecep Safruddin Abdul Jabbar : 2004). Menurut Stephen Isaac dan Willian B. Michael ( 1984 : 7) model-model evaluasi dapat dikelompokan menjadi enam yaitu :

1. Goal Oriented Evaluation

Dalam model ini, seorang evaluator secara terus menerus melakukan pantauan terhadap tujuan yang telah ditetapkan. Penilaian yang terus-menerus ini menilai kemajuan-kemajuan yang dicapai peserta program serta efektifitas temuan-temuan yang dicapai oleh sebuah program. Salah satu model yang bisa mewakili model ini adalah discrepancy model yang dikembangkan oleh Provus. Model ini melihat lebih jauh tentang adanya kesenjangan (Discrepancy) yang ada dalam setiap komponen yakni apa yang seharusnya dan apa yang secara riil telah dicapai.

2. Decision Oriented Evaluation

Dalam model ini, evaluasi harus dapat memberikan landasan berupa informasi-informasi yang akurat dan obyektif bagi pengambil kebijakan untuk memutuskan sesuatu yang berhubungan dengan program. Evaluasi CIPP yang dikembangkan oleh stufflebeam merupakan salah satu contoh model evaluasi ini. Model CIPP merupakan salah satu model yang paling sering dipakai oleh evaluator. Model ini terdiri dari 4 komponen evaluasi sesuai dengan nama model itu sendiri yang merupakan singkatan dari Context, Input, Process dan Product.
Evaluasi konteks (context evaluation) merupakan dasar dari evaluasi yang bertujuan menyediakan alasan-alasan (rationale) dalam penentuan tujuan (Baline R. Worthern & James R Sanders : 1979) Karenanya upaya yang dilakukan evaluator dalam evaluasi konteks ini adalah memberikan gambaran dan rincian terhadap lingkungan, kebutuhan serta tujuan (goal).
Evaluasi input (input evaluation) merupakan evaluasi yang bertujuan menyediakan informasi untuk menentukan bagaimana menggunakan sumberdaya yang tersedia dalam mencapai tujuan program.  Evaluasi proses (process evaluation) diarahkan pada sejauh mana kegiatan yang direncanakan tersebut sudah dilaksanakan. Ketika sebuah program telah disetujui dan dimulai, maka dibutuhkanlah evaluasi proses dalam menyediakan umpan balik (feedback) bagi orang yang bertanggungjawab dalam melaksanakan program tersebut
Evaluasi Produk (product evaluation) merupakan bagian terakhir dari model CIPP. Evaluasi ini bertujuan mengukur dan menginterpretasikan capaian-capaian program. Evaluasi produk menunjukkan perubahan-perubahan yang terjadi pada input. Dalam proses ini, evaluasi produk menyediakan informasi apakah program itu akan dilanjutkan, dimodifikasi kembali atau bahkan akan dihentikan

3. Transactional Evaluation

Dalam model ini, evaluasi berusaha melukiskan proses sebuah program dan pandangan tentang nilai dari orang-orang yang terlibat dalam program tersebut.
4. Evaluation Research
Sebagaimana disebutkan diatas, penelitian evaluasi memfokuskan kegiatannya pada penjelasan dampak-dampak pendidikan serta mencari solusi-solusi terkait dengan strategi instruksional.

5. Goal Free Evaluation

Model yang dikembangkan oleh Michael Scriven ini yakni Goal Free Evaluation Model justru tidak memperhatikan apa yang menjadi tujuan program sebagaimana model goal oriented evaluation. Yang harus diperhatikan justru adalah bagaimana proses pelaksanaan program, dengan jalan mengidentifikasi kejadian-kejadian yang terjadi selama pelaksanaannya, baik hal-hal yang positif maupun hal-hal yang negatif.

6. Adversary Evaluation

Model ini didasarkan pada prosedur yang digunakan oleh lembaga hukum. Dalam prakteknya, model adversary terdiri atas empat tahapan yaitu :
1. Mengungkapkan rentangan isu yang luas dengan cara melakukan survey berbagai kelompok yang terlibat dalam satu program untuk menentukan kepercayaan itu sebagai isu yang relevan.
2. Mengurangi jumlah isu yang dapat diukur.
3. Membentuk dua tim evaluasi yang berlawanan dan memberikan kepada mereka kesempatan untuk berargumen.
4. Melakukan sebuah dengar pendapat yang formal. Tim evaluasi ini kemudian mengemukakan argument-argumen dan bukti sebelum mengambil keputusan.

Read More..

Pengukuran, Penilaian dan Evaluasi Pendidikan

a. Pengukuran

Pengukuran dapat diartikan dengan kegiatan untuk mengukur sesuatu. Pada hakekatnya, kegiatan ini adalah membandingkan sesuatu dengan atau sesuatu yang lain (Anas Sudijono, 1996: 3) Jika kita mengukur suhu badan seseorang dengan termometer, atau mengukur jarak kota A dengan kota B, maka sesungguhnya yang sedang dilakukan adalah mengkuantifikasi keadaan seseorang atau tempat kedalam angka. Karenanya, dapat dipahami bahwa pengukuran itu bersifat kuantitatif

Maksud dilaksanakan pengukuran sebagaimana dikemukakan Anas Sudijono (1996: 4) ada tiga macam yaitu : (1) pengukuran yang dilakukan bukan untuk menguji sesuatu seperti orang mengukur jarak dua buah kota, (2) pengukuran untuk menguji sesuatu seperti menguji daya tahan lampu pijar serta (3) pengukuran yang dilakukan untuk menilai. Pengukuran ini dilakukan dengan jalan menguji hal yang ingin dinilai seperti kemajuan belajar dan lain sebagainya.


Dalam dunia pendidikan, yang dimaksud pengukuran sebagaimana disampaikan Cangelosi (1995: 21) adalah proses pengumpulan data melalui pengamatan empiris. Proses pengumpulan ini dilakukan untuk menaksir apa yang telah diperoleh siswa setelah mengikuti pelajaran selama waktu tertentu. Proses ini dapat dilakukan dengan mengamati kinerja mereka, mendengarkan apa yang mereka katakan serta mengumpulkan informasi yang sesuai dengan tujuan melalui apa yang telah dilakukan siswa.
Menurut Mardapi (2004: 14) pengukuran pada dasarnya adalah kegiatan penentuan angka terhadap suatu obyek secara sistematis. Karakteristik yang terdapat dalam obyek yang diukur ditransfer menjadi bentuk angka sehingga lebih mudah untuk dinilai. aspek-aspek yang terdapat dalam diri manusia seperti kognitif, afektif dan psikomotor dirubah menjadi angka. Karenanya, kesalahan dalam mengangkakan aspek-aspek ini harus sekecil mungkin. Kesalahan yang mungkin muncul dalam melakukan pengukuran khususnya dibidang ilmu-ilmu sosial dapat berasal dari alat ukur, cara mengukur dan obyek yang diukur.

Pengukuran dalam bidang pendidikan erat kaitannya dengan tes. Hal ini dikarenakan salah satu cara yang sering dipakai untuk mengukur hasil yang telah dicapai siswa adalah dengan tes. Selain dengan tes, terkadang juga dipergunakan nontes. Jika tes dapat memberikan informasi tentang karakteristik kognitif dan psikomotor, maka nontes dapat memberikan informasi tentang karakteristik afektif obyek.

b. Penilaian

Penilaian merupakan bagian penting dan tak terpisahkan dalam sistem pendidikan saat ini. Peningkatan kualitas pendidikan dapat dilihat dari nilai-nilai yang diperoleh siswa. Tentu saja untuk itu diperlukan sistem penilaian yang baik dan tidak bias. Sistem penilaian yang baik akan mampu memberikan gambaran tentang kualitas pembelajaran sehingga pada gilirannya akan mampu membantu guru merencanakan strategi pembelajaran. Bagi siswa sendiri, sistem penilaian yang baik akan mampu memberikan motivasi untuk selalu meningkatkan kemampuannya.

Dalam sistem evaluasi hasil belajar, penilaian merupakan langkah lanjutan setelah dilakukan pengukuran. informasi yang diperoleh dari hasil pengukuran selanjutnya dideskripsikan dan ditafsirkan. Karenanya, menurut Djemari Mardapi (1999: 8) penilaian adalah kegiatan menafsirkan atau mendeskripsikan hasil pengukuran. Menurut Cangelosi (1995: 21) penilaian adalah keputusan tentang nilai. Oleh karena itu, langkah selanjutnya setelah melaksanakan pengukuran adalah penilaian. Penilaian dilakukan setelah siswa menjawab soal-soal yang terdapat pada tes. Hasil jawaban siswa tersebut ditafsirkan dalam bentuk nilai.

Menurut Djemari Mardapi (2004: 18) ada dua acuan yang dapat dipergunakan dalam melakukan penilaian yaitu acuan norma dan acuan kriteria. Dalam melakukan penilaian dibidang pendidikan, kedua acuan ini dapat dipergunakan. Acuan norma berasumsi bahwa kemampuan seseorang berbeda serta dapat digambarkan menurut kurva distribusi normal. Sedangkan acuan kriteria berasumsi bahwa apapun bisa dipelajari semua orang namun waktunya bisa berbeda.

Penggunaan acuan norma dilakukan untuk menyeleksi dan mengetahui dimana posisi seseorang terhadap kelompoknya. Misalnya jika seseorang mengikuti tes tertentu, maka hasil tes akan memberikan gambaran dimana posisinya jika dibandingkan dengan orang lain yang mengikuti tes tersebut. Adapun acuan kriteria dipergunakan untuk menentukan kelulusan seseorang dengan membandingkan hasil yang dicapai dengan kriteria yang telah ditetapkan terlebih dahulu. Acuan ini biasanya digunakan untuk menentukan kelulusan seseorang. Seseorang yang dikatakan telah lulus berarti bisa melakukan apa yang terdapat dalam kriteria yang telah ditetapkan dan sebaliknya. Acuan kriteria, ini biasanya dipergunakan untuk ujian-ujian praktek.
Dengan adanya acuan norma atau kriteria, hasil yang sama yang didapat dari pengukuran ataupun penilaian akan dapat diinterpretasikan berbeda sesuai dengan acuan yang digunakan. Misalnya, kecepatan kendaraan 40 km/jam akan memiliki interpretasi yang berbeda apabila kendaraan tersebut adalah sepeda dan mobil.

c. Evaluasi

Pengukuran, penilaian dan evaluasi merupakan kegiatan yang bersifat hierarki. Artinya ketiga kegiatan tersebut dalam kaitannya dengan proses belajar mengajar tidak dapat dipisahkan satu sama lain dan dalam pelaksanaannya harus dilaksanakan secara berurutan.

Evaluasi Menurut Suharsimi Arikunto (2004: 1) adalah kegiatan untuk mengumpulkan informasi tentang bekerjanya sesuatu, yang selanjutnya informasi tersebut digunakan untuk menentukan alternatif yang tepat dalam mengambil keputusan. Dalam bidang pendidikan, evaluasi sebagaimana dikatakan Gronlund (1990: 5) merupakan proses yang sistematis tentang mengumpulkan, menganalisis dan menafsirkan informasi untuk menentukan sejauhmana tujuan pembelajaran telah dicapai oleh siswa. Menurut Djemari Mardapi (2004: 19) evaluasi adalah proses mengumpulkan informasi untuk mengetahui pencapaian belajar kelas atau kelompok.

Dari pendapat di atas, ada beberapa hal yang menjadi ciri khas dari evaluasi yaitu: (1) sebagai kegiatan yang sistematis, pelaksanaan evaluasi haruslah dilakukan secara berkesinambungan. Sebuah program pembelajaran seharusnya dievaluasi disetiap akhir program tersebut, (2) dalam pelaksanaan evaluasi dibutuhkan data dan informasi yang akurat untuk menunjang keputusan yang akan diambil. Asumsi-asumsi ataupun prasangka. bukan merupakan landasan untuk mengambil keputusan dalam evaluasi, dan (3) kegiatan evaluasi dalam pendidikan tidak pernah terlepas dari tujuan-tujuan pembelajaran yang telah ditetapkan sebelumnya. Karena itulah pendekatan goal oriented merupakan pendekatan yang paling sesuai untuk evaluasi pembelajaran.

Read More..