Mencoba Kaldi di Ubuntu 18.04, cuda9.0

Ini adalah catatan saya saat mencoba Kaldi (speech recognition toolkit) pada Ubuntu 18.04. Spesifikasi PC yang saya gunakan adalah CPU i9-7900X dan GPU GTX 1060. Hasil percobaan ini membuahkan satu paper yang saya submit pada ASJ spring meeting 2019.

Instalasi

Instalasi kaldi adalah proses pertama, dan bisa jadi, tersulit. Jika anda "SUCCESS" menginstall Kaldi, proses selanjutnya akan mudah. Jika tidak, akan terhenti. Berikut adalah dasar alur kerja setelah meng-clone Kaldi.

Pertama clone Kaldi ke direktori PC kita.

Pengolahan sinyal auditori [2]

Ini adalah catatan kuliah yang saya transkrip ketika kuliah berlangsung: I656 - Human Perceptual Systems and its Models, pertemuan kedua.

Sistem auditori merupakan sistem pendengaran manusia.
Video tentang sistem auditori berikut memvisualisasikan tulisan di bawah ini:

Telinga manusia terbagi menjadi 3:
1. telinga bagian luar
2. telinga bagian tengah
3. telinga bagian dalam

Gambar berikut menjelaskan bagian-bagian telinga tersebut yang akan dijelaskan lebih detil di bawahnya.

Warna-warna noise (bising)

Bising, atau lebih familiarnya noise atau derau, memiliki banyak warna. Ya warna. Ada bising putih, bising pink, bising coklat, tiga itu yang paling terkenal. Warna bising lainnya adalah, bising merah, bising biru dan bising abu-abu. Tentunya kita jarang mendengar warna bising tersebut bukan? Pasti. Kita lebih familiar dengan white noise, pink noise, brown(ian) noise, red noise, blue noise dan grey noise. Maka, akan lebih mudah mendefinisikan dengan istilah aslinya dalam bahasa inggris daripada menterjemahkannya dalam bahasa Indonesia.

Berikut adalah pengertian warna-warna noise dan contoh suara dari warna noise tersebut.

1. White noise
Suatu noise (bising) dikatakan white noise jika power spectrumnya independen/konstan terhadap frekuensinya. Analoginya, cahaya putih mengandung semua frekuensi secara flat/merata (secara riil tidak flat sempurna, tapi secara matematik flat). Jika total power dari suatu noise dapat dihitung dengan persamaan, $$\bar{P} =\int_{f_i}^{f_u}df~N_0(f), $$ Jadi pada kasus white noise, maka power sinyalnya menjadi: $$ \bar{P}=N_0(f_u - f_i)=N_0 (BW),  $$ dimana BW adalah lebar pita noise pada spectrum yang konstan.




Plot power spectrum white noise (sumber:[3])

Untuk mendengarkan (dan mendownload) white noise, klik gambar di bawah ini (jika memakai headset, kecilkan volumenya dulu).

HRIR, HRTF, dan BRIR

Artikel ini berkaitan dengan bidang ilmu akustik, subbidang spatial sound. HRIR, head related impulse response, merupakan impulse response kedua telinga ketika mendengarkan `sesuatu`. Jadi sebenarnya, apa yang kita dengarkan adalah `sesuatu` yang telah bercampur dengan `lingkungan`. Lingkungan ini bisa berupa ruangan. Idealnya, apa yang kita dengarkan tidak dipengaruhi oleh lingkungan. Untuk mencapai kondisi ideal inilah dilakukan pengukuran pada ruangan anechoic, ruang kedap suara, dimana apa yang kita dengarkan adalah sumber bunyi murni pada posisi tertentu. HRIR ini diukur pada kondisi tersebut, ruang kedap, sehingga respon yang diterima oleh telinga murni hanya pengaruh bentuk kepala dan posisi telinga kita serta posisi sumber suara.

Jika HRIR merupakan respon telinga karena pengaruh bentuk kepala dalam domain waktu, maka HRTF adalah Fourrier transform dari HRIR. Jadi HRTF merupakan HRIR dalam domain frekuensi.  HRTF dan HRIR ini paling banyak dipakai untuk mensimulasikan suara atau disebut auralisasi pada suatu desain ruangan untuk mendapatkan persepsi pendengaran di ruangan tersebut.

Pengukuran HRTF

HRTF diukur di ruang kedap suara dengan menggunakan head and torso simulator (HATS). Jadi hasil pengukuran sangat bergantung pada jenis HATS yang digunakan. Berbeda HATS (atau memakai manikin, atau manusia asli), maka hasilnya juga berbeda. Namun hasil pada HATS yang mewakili bentuk kebanyakan manusia bisa dipakai untuk men-generalisir hasil pengukuran.

Pada telinga HATS dipasang mikrofon kecil di dalam lubang telinga. Sumber suara dibangkitkan, umumya dipakai sinyal sine sweep atau MLS (maximum length sequences) dan direkam hasil impulsnya dengan mic di dalam HATS tadi. Geometri pengukuran membentuk geometri sehingga posisi sumber didefinisikan oleh tiga parameter (elevation, azimuth, jarak). Contoh suara pada (0,30,1) berarti pada sudut elevasi 0 derajat (tepat di depan, elevasi = sudut antara sumbu horizontal telinga dengan ketinggian sumber suara)) pada azimuth 30 derajat dari depan (depan kanan) dan pada jarak 1 m. Jarak biasanya tidak disebutkan karena pengukuran HRTF biasanya pada satu jarak/jari-jari yang sama.

Gambar berikut adalah konfigurasi posisi azimuth dan elevasi pada pengukuran HRTF sedangkan gambar bawahnya adalah contoh posisi sumber suara pada (30, 0).

Azimuth dan elevasi pada pengukuran HRTF (Sumber gambar: iidal-lab, IT Chiba)

Contoh posisi sumber suara pada (30, 0)

Public Lecture on Hearing Technology

On Thursday and Friday, 26-27 November 2015, we held public lecture on Hearing Technology. The first day, Prof. Jenkins from Colorado University shares about technology that helping world to better hearing. The following presentation is Prof. Jenkins' slide. While on the second day, Prof. Barajas, the president of International Association of Physician in Audiology (IAPA) teach us about the brain and electrical response in our auditory system. Enjoy it.

Computation at VibrasticLab

The following slide I made for smr2761: Workshop on Computational Science Infrastructure and Applications for Academic Development, or simply as HPC workshop (high performance computing) in Trieste, 28 September ~ 9 October 2015. At the first day, we are required to introduce our selves, explain the current computing facilities, the future plan for development and our expectation from the workshop. This is my slide from VibrasticLab. 
 

Welcome to Week #1!

Extracting Sound From Multiple Sources in Anechoic Room

Ini adalah revisi dari poster saya sebelumnya. What I learned? Apa yang saya perbaiki?

• Judul harus menarik dan spesifik, tidak lebih dari 10 kata
• Tambahkan ABSTRAK
• Hindari Jargon (kata-kata spesifik) dan akronim
• Keep it Simple!
• Tunjukkan the BIG idea, the big deal!
• Tunjukkan apa yang menarik dan kenapa
• Next Step, apa?
• Font minimal 28, idealnya 36 
• Perhatikan flow (kiri ke kanan) dan balance layout 
• Keywords! orang menemukan poster/paper kita dengan bantuan keyword (termasuk anda ketika menemukan tulisan ini)

 Have a good poster and snapshot!

Modeling Acoustic Mixture in Semi Anechoic Room

How-to: Measure Impulse Response with Aliki

Aliki is software to measure room impulse response. It's free and open source. On a dynamic system, impulse response is its output(response) when presented with a brief input signal (impulse). For room acoustic, impulse response can be used to measure acoustic characteristics like reverberation time, early decay time, later decay time and speech intelligibility.

How to measure room impulse response? Here is how, with a software called Aliki (free and open source).

Impulse response of semi-anechoic room in VibrasticLab

Installation

In Ubuntu, it is easy to install Aliki using apt-get:

sudo apt-get install aliki

It will install Aliki (gui) and its dependencies.

Step-by-step :

PhotoAcoustic Imaging and its Application

Photoacoustic imaging is a method combines the advantages of optical imaging (high contrast) and ultrasonic imaging (high spatial resolution). This results in various new applications in the field of biology, medicine, industry and material science.

Principle

To generate photoacoustic signals short laser pulses (in the range of nanoseconds) are used. The electromagnetic energy (laser) is absorbed in the sample. Due to the thermoelastic expansion in the region of absorption – the so called photoacoustic effect – a broadband ultrasonic signal is launched. The photoacoustic signal is recorded at different positions at the surface of the sample by a special transducer. Taking such a set of data it is possible to calculate either slices of the objects or the whole volume using reconstruction algorithms such as Time Reversal, Back Projection, or other methods. In Fig. 1 a scheme of the principle of photoacoustic tomography can be seen. 

Fig 1. PhotoAcoustic Effect