Web scraper Python yang mengeruk data dari SIAK-NG untuk mendapatkan deskripsi tentang kode organisasi yang ada di Universitas Indonesia (UI).
Dikembangkan menggunakan Selenium dengan bantuan Katalon Recorder.
Deskripsi kode organisasi dibangun dalam format JSON dengan bentuk seperti berikut.
"xx.xx.xx.xx": {
"faculty": "Fakultas",
"study_program": "Program Studi",
"educational_program": "Program Pendidikan"
}
-
Pastikan Anda sudah menginstal
selenium
untuk Python besertaChromeDriver
ataugeckodriver
(untuk driver lainnya, silakan konfigurasi sendiri). -
Atur environment variable
UI_USERNAME
danUI_PASSWORD
sesuai dengan nama pengguna dan kata sandi akun UI Anda, atau ubahusername
danpassword
yang ada di dalamkodoru.py
. -
Jalankan perintah berikut di terminal atau command prompt.
$ python kodoru.py
Jika ingin menggunakan Firefox, gunakan perintah berikut.
$ python kodoru.py firefox
- Tunggu hingga selesai dan hasil akan muncul berupa tiga berkas berikut.
kodoru_id.json
: Kode organisasi dalam bahasa Indonesia.kodoru_en.json
: Kode organisasi dalam bahasa Inggris.kodoru.json
: Gabungan kedua berkas di atas.
Jika Anda hanya tertarik pada data hasilnya, silakan lihat direktori
dump
.