Outline: Persepsi pendengaran manusia dan pemodelannya

Berikut adalah outline catatan kuliah "Human Perceptual Systems and its Models" yang diajarkan oleh Prof. Unoki di JAIST pada tahun 2018. Agar tidak menguap begitu saja, catatan-catatan tersebut saya cantumkan di sini. Kuliah ini sangat berguna bagi mereka yang ingin mempelajari bagaimana sistem pendengaran manusia bekerja (auditory system) serta model komputasinya.

1. Pengantar persepsi manusia dan pemodelannya
2. Pengolahan sinyal auditori
3. Representasi suara dan pemrosesannya
4. Analisa sinyal suara dan teknik sintesis
5. Fisiologi dari peripheral auditori dan pemodelannya
6. Ketidaklinearan sistem pendengaran
7. Atensi, hubungannya dengan cocktail party problem dan deeplearning
8. Ketidaksinkronan mata dan telinga: Efek McGurk

Opsional:  

1. Ibnu Haytham: Sang Pendiri Psikofisika 

 Satu hal yang paling menarik dari kuliah tersebut adalah bagaimana membuat model yang meniru (imitate) bagaimana sistem pendengaran manusia bekerja. Meski tidak semua dapat dimodelkan dengan eksak, dan tidak semua model yang meniru cara kerja manusia lebih baik dari model lain (misal, deep learning), model dengan hasil terbaiklah yang dipakai. Dan biasanya model terbaik tersebut merupakan kompromi antara peniruan cara kerja manusia dan, misalnya, deep learning.

Catatan kuliah ini juga disimpan di Github pada alamat berikut: https://github.com/bagustris/perseptual.

Pengantar Persepsi Manusia dan Pemodelannya [1]

Ini adalah catatan kuliah yang saya transkrip saat kuliah berlangsung untuk mata kuliah "Persepsi Manusia dan Pemodelannya", pertemuan pertama.

Persepsi: organisasi, identifikasi dan interpretasi informasi sensori untuk merepresentasikan dan memahami lingkungan.

Semua persepsi melibatkan sinyal dari sistem saraf (nerveous) yang dihasilkan dari stimulasi fisis dari organ pengindera.

Lima indera manusia:
- penglihatan
- pendengaran
- sentuhan
- perasa/pengecap
- penciuman

Kelima indera tersebut diindera oleh mata, telinga, kulit, lidah dan hidung.

1. Penglihatan
Mata merupakan indera penglihatan yang memiliki struktur kompleks terdiri atas lensa transparen yang memfokuskan cahaya pada retina. Retina sendiri terdiri atas dua organ penting, cell-rods dan cones. Cell-rods tidak sensitif terhadap warna namun sensitif terhadap cahaya daripada cones. Cones sensitif terhadap warna dan terletak pada bagian retina yang disebut fovea, dimana cahaya difokuskan oleh lensa. Manusia memiliki tiga cone (Red, green, blue) sedangkan anjing hanya memiliki dua saja (green dan blue), sehingga anjing tidak bisa membedakan warna hijau, kuning atau merah.

Penampang retina: rod, cones dan lapisan saraf (kiri-kanan)

Ibnu Haytham: sang pendiri psikofisika?

Psychophysics, bisa diterjemahkan sebagai psikofisika, adalah ilmu yang mempelajari tentang hubungan stimulus dan sensasi. Contoh disiplin ilmu psikofisika ini adalah auditory scene analysis, metode yang diusulkan untuk memahami bagaimana sistem pendengaran manusia mampu fokus pada target suara padahal banyak sumber bising disekitarnya (bubble noise). Bruce (1996) menyatakan definisi psikofisika: the analysis of perceptual processes by studying the effect on a subject's experience or behaviour of systematically varying the properties of a stimulus along one or more physical dimensions. Khaleefa (1999) menjelaskan lebih detail perbedaan psikofisika dengan psikologi: The area into which psychologists study the link between variation in physical dimension and psychological dimension is called psychophysics, and the methodology used to describe this link is termed experimental psychology.

Cover "Element of Psychophysics", sumber: Internet Archieve

Ketika kita belajar suatu disiplin ilmu, ada baiknya siapakah peletak dasar ilmu tersebut. Bagaimana dengan psychophysics? Adalah Gustav Theodor Fechner, ilmuwan Jerman yang hidup pada 19 April 1801 hingga 18 November 1887. Dia disebut-sebut sebagai pendiri psikofisika dan psikologi eksperimental. Oya, psikofisika selalu digandengkan dengan psikologi eksperimental karena eksperimen untuk mendapatkan data psikofisika adalah eksperimen psikologi. Benarkah Gustav Fechner adalah pendiri psikofisika?