Problem-based research

Suatu ketika, sekitar tahun 2015, seorang kolega dosen (yang beberapa tahun kemudian menjadi kepala jurusan) ditanya oleh istrinya: Yang, apa sih yang kamu lakukan ketika menjalani S3? Sang suami berpikir sebentar, kemudian menjawab. Sederhananya begini: Saat S3 aku membuat-buat masalah sendiri, kemudian berusaha memecahkannya sendiri. Ketika aku bisa memecahkan masalah tersebut, aku mendapat gelar S3.

Jawaban sang istri mengejutkan: Nek gawe masalah dewe, terus diselesekno dewe, aku yo iso. Lapo adoh-adoh sekolah S3. Nek ngono iku ae yo gak perlu PhD.

Terinspirasi oleh dialog suami-istri tersebut, saya mencari ide penelitian berdasarkan masalah nyata. Bukan masalah yang dibuat-buat. Apakah itu "problem-based research"? Berdasarkan referensi [1], kriterianya adalah sebagai berikut:  

1. Masalahnya adalah masalah "umum", bukan berdasarkan opini personal. Artinya, banyak orang menganggap "masalah" tersebut adalah benar-benar masalah, bukan hanya peneliti saja.

2. Bukan berdasarkan perbandingan dua data(set) saja. Artinya, tidak membandingkan (atau mencari) bahwa di dua data tersebut ada permasalahan, tapi permasalahannya benar-benar "general", ada di dataset yang lain. Dari kriteria ini, sebaiknya riset memakai setidaknya tiga dataset. Atau, jika hanya dua dataset (minimum), ditunjukkan bahwa permasalahan ada juga di dataset yang lain meski tidak dievaluasi (berdasarkan referensi).   Contoh lainnya adalah membandingkan data sebelum dan sesudah "treatment". Ini juga hanya pembuktian metode, bukan sebuah riset berbasis masalah.  

3. Riset berbasis masalah juga bukan karena ada korelasi antara A dan B. Lagi, apa masalahnya? Jika memang ada masalah, misalnya di A, dan solusinya ada di B, bisa jadi ini akan menyelesaikan masalah. Tapi jika ingin mengetahui korelasi A dan B, misalnya tingkat penghasilan dan konsumsi belanja, ini bukan masalah, dan hanya mencari-cari masalah saja.

4. Tujuan riset berbasis masalah bukan "Ya" dan "Tidak", tapi menyelesaikan masalah. Misal penelitian untuk menyelesaikan masalah XXX. Tujuan penelitian bukan untuk membuktikan metode AAA bisa menyelesaikan masalah XXX, tapi untuk mengetahui mengapa dan bagaimana metode (AAA) yang diusulkan bisa menyelesaikan XXX. Bedanya, jika ternyata metode AAA belum bisa menyelesaikan masalah XXX, peneliti akan mencari metode lain yang bisa menyelesaikan XXX. Intinya, cara pandang agar sebuah masalah selesai bukan hanya metode penelitian saja.

Kalau digambarkan, contohnya adalah sebagai berikut:

Diawali dengan masalah, kemudian diselesaikan dengan proposal yang diusulkan (proposed solution). Kriteria keberhasilannya dapat diukur dengan practical benefit. Misalnya, jika metode yang diusulkan bisa mereduksi waktu proses. Misalnya lagi, metode menanak nasi yang hanya butuh 5 menit dibandingkan dengan metode sekarang yang membutuhkan 40 menit. Di sini, practical benefit dari metode yang diusulkan terlihat jelas dapat menyelesaikan masalah (lama waktu menanak nasi).

Referensi:  

[1] T. J. Ellis and Y. Levy, “Framework of problem-based research: A guide for novice researchers on the development of a research-worthy problem,” Informing Sci., vol. 11, pp. 17–33, 2008, doi: 10.28945/3288.

Perbedaan luaran institusi pendidikan dan institusi riset

Empat bulan ini saya menjalani profesi baru, menjadi asisten profesor di sebuah universitas. Sebelumnya saya bekerja di institusi riset. Meski perubahan profesi ini terlihat smooth, ada hal dasar yang membedakan antar keduanya.

Persamaan luaran institusi riset dan pendidikan terletak pada publikasi. Dua-duanya menilai publikasi sebagai luaran. Namun ada perbedaan mendasar antar keduanya, yakni pada sisi authorship. Sebagai periset, menjadi penulis utama adalah tolok ukur keberhasilan periset yang bersangkutan. Hal ini berbeda dengan profesi dosen di institusi pendidikan.

Di institusi pendidikan, tolok ukur utama keberhasilan adalah ketika bisa mendidik mahasiswa untuk menjadi penulis pertama  dalam sebuah publikasi, entah itu conference paper atau pun jurnal. Seperti dalam tulisan saya sebelumnya, menjadi penulis pertama artinya menjadi kontributor utama. Disini lah letak keberhasilan itu, mendidik mahasiswa untuk berkontribusi dalam sains dan riset. Bukan menjadikan dirinya sebagai penulis pertama. 
 

Bagaimana seharusnya menilai kinerja periset dan dosen?

Karena tolok ukur keberhasilan yang diusulkan di atas tadi berdasarkan keberhasilan menjadikan mahasiswa sebagai penulis utama, maka setidaknya ada dua kriteria untuk menilai periset dosen. Kriteria pertama dengan banyaknya (kuantitas), kriteria kedua dengan seberapa baik kualitas paper atau journal yang diterbitkan. Untuk kriteria pertama cukup jelas, misalnya berapa jurnal publikasi per tahun. Untuk kriteria ada beberapa metrik/standard yang bisa dipakai. Cara pertama, yang saya usulkan, adalah dengan memakai metrik Google Scholar, yakni kualitas publikasi dinilai dari masuk tidaknya jurnal atau conference (keduanya dipukul rata) tersebut dalam Google Top 20. Misalnya bidang saya, acoustic and sound, ada pada list berikut. Cara ini cukup efisien dan fair, tidak peduli entah dia jurnal atau conference paper. Cara kedua yakni dengan menggunakan quartile Scopus, yakni publikasi (hanya jurnal) harus masuk antara Q4 sampai Q1. Semakin tinggi nilai Q-nya, semakin tinggi bobot kualitasnya. Namun ada kelemahan dalam cara kedua ini, yakni bagaimana menilai conference paper? Padahal conference paper dewasa ini keterbaruannya lebih tinggi daripada jurnal karena frekuensi penyelenggarannya tahunan.


Masalah selanjutnya adalah dalam penilaian kinerja periset atau dosen. Karena perbedaan authorship luaran diatas, maka penilaiannya harus dibedakan pula. Tidak seharusnya dosen dinilai dari sisi penulis pertama; sebaliknya hal tersebut berlaku pada periset. Dosen hendaknya dinilai dari kualitas dan kuantitas publikasi yang dihasilkan, yang besar kemungkinan berbanding lurus dengan jumlah mahasiswa yang diluluskannya.

Perangkat AI yang saya gunakan untuk riset (pengodean)

Beberapa perangkat berikut saya gunakan secara masif satu tahun terakhir ini untuk riset, yakni untuk pengodean (coding). Urutan perangkat AI di bawah ini saya susun berdasarkan prioritas, mana yang paling penting saya urutkan paling atas.

1. Cody.dev

Saya menggunakan cody.dev versi berbayar (USD 9/bulan). Perangkat ini sangat efektif untuk mencari bug, code completion, dan chat tentang kode-kode kita. Fitur utamanya, Cody bisa membaca codebase kita (sampai 15 file) dan menggunakan LLM, paling ampuh Claude 3 Opus, untuk menjelaskan, menyarankan, dan mengedit code secara otomatis. Selain versi VS Code-nya, saya juga menggunakan versi web-chat van search-nya di sourcegraph.com.

2. Github copilot

Perangkat ini adalah perangkat AI pertama yang saya gunakan dan sangat fungsional (meski kalah dari Cody). Saya menggunakan code completion dan chatnya (kadang-kadang). Perangkat ini secara intensif saya gunakan sebelum menggunakan Cody dengan bantuan email kampus untuk registrasi.

3. Cursor.sh

Cursor adalah fork dari vscode yang dikhususkan untuk AI. Fitur utamanya adalah copilot++ yang lebih handal dari Github Copilot dan juga bisa membaca codebase seperti Cody namun lebih pintar (lebih solutif dibanding Cody). Kelemahannya adalah biaya yang lebih mahal dan kuota terbatas LLM Claude 3 Opus (10 limit perhari untuk versi berbayarnya, 20 USD/bulan). Saya menggunakan versi gratisnya. Tips: untuk membuat alias "code" ke "cursor" untuk terminal Cursor, ikuti arahan di issue ini.

4. Deepseek Coder

DeepSeek Coder adalah LLM khusus untuk pengodean gratis dan opensource. Saya menggunakan versi webnya. DeepSeek Coder, jika tanpa codebase (hanya satu kasus saja), akan menghasilkan hasil terbaik sepengalaman saya (mengalahkan Claude Opus).

5. Ollama

Ollama adalah platform untuk menggunakan LLM secara offline. Perangkat ini sangat bermanfaat ketika tidak bisa koneksi internet. Kelemahannya, butuh spek komputer yang tinggi (RAM ideal minimal 16GB dan CPU/GPU modern).

Kehadiran LLM (large language model) spt GPT-4 membuat riset menjadi berbeda. Sebelum adanya LLM (large-language model, seperti ChatGPT, Claude Opus, dll), saya membagi waktu kerja saya menjadi 2, riset dan menulis (proses/hasil riset). Masing-masing porsinya 50:50. Setelah adanya LLM, porsinya berubah, menjadi sekitar 65:35. Lebih banyak risetnya ketimbang menulisnya. Kenapa? Karena masalah yang dulu banyak ditemui ketika riset bisa diselesaikan dengan bantuan  LLM (kebanyakan masalah algoritma, koding, percepatan waktu komputasi). Hasilnya, riset saya lebih produktif tapi tulisannya saya (pertahun) lebih sedikit. Semoga tahun depan bisa lebih banyak porsi untuk menulis kembali.

Update 2025:

Berikut perangakat AI yang saya gunakans saat ini: Github Copilot (dengan model Claude Sonnet 4.5), AmpCode (reinkarnasi cody.dev), dan AntiGravity. 

Research Plan 2023

Seperti biasa, bulan April adalah tahun barunya jepang (Fiscal year、年度). Satu tahun (akademik, fiskal, kerja, dll. kecuali pajak) dihitung per 1 April dan berakhir 31 Maret. Jadi kalau bisa, pas hidup di Jepang, lahir tanggal 1 April, meninggal tanggal 31 Maret. Kenapa begitu? Kalau lahir 20 April, anda tidak bisa mengikuti sekolah (SD, SMP, SMA) tahun itu juga kalau belum umurnya. Misalnya umur minimal SD adalah 6 tahun per 1 April. Kalau lahir 20 April berarti nunggu tahun depannya. Begitu juga beasiswa, kerja, dll, hampir semua dimulai per 1 April.

Singkat saja, berikut adalah rencana penelitian saya satu tahun mendatang. Tahun ini saya akan fokus mengembangkan sistem multilingual speech emotion recognition (SER) dengan riset tambahan tentang anomaly detection (vibration and sound) dan melanjutkan riset sebelumnya tentang text-independent speech emotion recognition. Semoga semua luaran tahun ini bisa tercapai, alih-alih bisa melebihi luaran yang diharapkan.