Untuk menulis butir soal HOTS, penulis soal dituntut untuk dapat menentukan perilaku yang hendak diukur dan merumuskan materi yang akan dijadikan dasar pertanyaan (stimulus) dalam konteks tertentu sesuai dengan perilaku yang diharapkan. Selain itu uraian materi yang akan ditanyakan (yang menuntut penalaran tinggi) tidak selalu tersedia di dalam buku pelajaran. Oleh karena itu dalam penulisan soal HOTS, dibutuhkan penguasaan materi ajar, keterampilan dalam menulis soal (kontruksi soal), dan kreativitas guru dalam memilih stimulus soal sesuai dengan situasi dan kondisi daerah di sekitar satuan pendidikan.Berikut dipaparkan langkah-langkah penyusunan soal-soal HOTS.
- Menganalisis KD yang dapat dibuat soal-soal HOTS
Terlebih dahulu guru-guru memilih KD yang dapat dibuatkan soal-soal HOTS.Tidak semua KD dapat dibuatkan model-model soal HOTS.Guru-guru secara mandiri atau melalui forum MGMP dapat melakukan analisis terhadap KD yang dapat dibuatkan soal-soal HOTS.
- Menyusun kisi-kisi soal
Kisi-kisi penulisan soal-soal HOTS bertujuan untuk membantu para guru dalam menulis butir soal HOTS. Secara umum, kisi-kisi tersebut diperlukan untuk memandu guru dalam: (a) memilih KD yang dapat dibuat soal-soal HOTS, (b) memilih materi pokok yang terkait dengan KD yang akan diuji, (c) merumuskan indikator soal, dan (d) menentukan level kognitif.
- Memilih stimulus yang menarik dan kontekstual
Stimulus yang digunakan hendaknya menarik, artinya mendorong peserta didik untuk membaca stimulus. Stimulus yang menarik umumnya baru, belum pernah dibaca oleh peserta didik. Sedangkan stimulus kontekstual berarti stimulus yang sesuai dengan kenyataan dalam kehidupan sehari-hari, menarik, mendorong peserta didik untuk membaca.Dalam konteks Ujian Sekolah, guru dapat memilih stimulus dari lingkungan sekolah atau daerah setempat.
- Menulis butir pertanyaan sesuai dengan kisi-kisi soal
Butir-butir pertanyaan ditulis sesuai dengan kaidah penulisan butir soal HOTS.Kaidah penulisan butir soal HOTS, agak berbeda dengan kaidah penulisan butir soal pada umumnya. Perbedaannya terletak pada aspek materi, sedangkan pada aspek konstruksi dan bahasa relatif sama. Setiap butir soal ditulis pada kartu soal, sesuai format terlampir.
- Membuat pedoman penskoran (rubrik) atau kunci jawaban
Setiap butir soal HOTS yang ditulis hendaknya dilengkapi dengan pedoman penskoran atau kunci jawaban.Pedoman penskoran dibuat untuk bentuk soal uraian.Sedangkan kunci jawaban dibuat untuk bentuk soal pilihan ganda, pilihan ganda kompleks (benar/salah, ya/tidak), dan isian singkat.