Wednesday, October 07, 2015

Membangun komputer cluster di VirtualBox dengan Rocks kit, Part 2: Testing

Setelah berhasil membangun dan menginstall kluster komputer di VirtualBox, saatnya untuk mengetes kluster tersebut dengan komputasi parallel. Goal yang ingin kita tuju adalah membagi job komputasi (berupa command/script) pada masing-masing node yang sudah kita tambahkan pada master node agar komputar tersebut lebih cepat.

Pertama kita tambahkan user agar bisa login ke kluster dengan perintah useradd (login as root in master),
useradd bagus1
useradd bagus2
passwd bagus1
passwd bagus2
rocks sync users
Perintah-perintah diatas akan menambahkan user (bagus2 dan bagus2), mengeset masing-masing password untuk user dan mensinkronkan user dari master ke nodes.

Sinkroniasi user antar compute nodes

Menambahkan JOB scheduler ke kluster :
  1. Login sebagai user biasa pada Master Node
  2. Buat bash script berikut,
  3. Simpan file sebagai test.sh
  4. #!/bin/bash
    #
    #$ -cwd
    #$ -j y
    #$ -S /bin/bash
    #
    #date
    /usr/bin/openssl speed 
    date
    
  5. Submit job ke kluster dengan perintah qsub
  6. qsub test.sh
    
  7. Cek status job dengan qstat
  8. qstat
    qstat -f
    
  9. Hapus job dengan perintah qdel
  10. qdel
    
  11. Cek job yang sedang antri tersedia dengan qconf
  12. qconf
    
  13. Enable/disable job dengan qmod -d dan qmod -e + argumen (output dari perintah qconf)
  14. qmod -d XXX
    qmod -e XXX
    
    Dimana XXX adalah output dari qconf

Untuk melihat ada/tidaknya error, silahkan cek output dari job, yakni file test.sh.o1 dst. Bisa juga dicek dengan qstat, bila menunjukkan bahwa job running (disimbolkan dengan "r") maka proses eksekusi pada kluster berjalan. Namun bila hanya terjadi qw (queue and waiting) bisa aja ada error pada program dan/atau script-nya. Berikut screenshot eksekusi job pada kluster komputer di VirtualBox.
Output Job yang sedang running di kluster komputer
Proses yang sedang running (r) dan queue (qw)
Related Posts Plugin for WordPress, Blogger...