I was applying to a job as a UX Researcher back in January this year. The technical test was to do research to improve a province government app. Unfortunately I didn’t get the job. Also didn’t get any feedback regarding my application or the result of the test. So, here is the report. It’s better I’m making it see the light rather than leaving it dry on my cloud right?

(Also this post is in Indonesian, to make it align with the government thing)

Detail Proyek

Mulai Proyek	Selasa, 11 Januari 2022
Researcher	Arman Muhamad
Dipersiapkan untuk	[recruiter]

Latar Belakang

JAKI adalah super aplikasi warga Jakarta yang mengintegrasikan berbagai layanan publik dan informasi resmi dari Pemprov DKI Jakarta untuk memenuhi kebutuhan seluruh warga. Salah satu layanan unggulan di JAKI adalah fitur pengaduan masyarakat (JakLapor). Cukup dengan ambil foto, pilih kategori, dan ceritakan detail permasalahan, laporan kamu akan segera ditindaklanjuti oleh petugas.

Research Question

1. Apa permasalahan/kebutuhan yang dihadapi pengguna JAKI dalam menggunakan fitur JakLapor?
2. Bagaimana kita dapat mengembangkan fitur JakLapor menjadi lebih baik atas dasar permasalahan/kebutuhan yang dihadapi pengguna JAKI?

Metode 

Heuristic Evaluation

Desired Impact

Mendapatkan insight dan rekomendasi untuk pengembangan JakLapor menjadi lebih baik, baik untuk sisi tampilan, ataupun alur.

Timeline

11-14 Januari 2022

• Research planning: 11 Januari
• Conducting research: 12 Januari
• Synthesis: 12-13 Januari
• Reporting: 12-14 Januari

Prosedur

• Prosedur riset menggunakan heuristic evaluation untuk mendapatkan overall review atas fitur JakLapor di aplikasi JAKI. 
• Penggunaan heuristic evaluation sebagai metode atas pertimbangan riset yang dapat dilakukan independen (tanpa responden) dan timeline yang terbatas.
• Versi aplikasi yang digunakan adalah 1.2.40, diuji di platform Android menggunakan Samsung A50 (Android 11).

Hasil

Heuristic Evaluation

Karena dalam proyek ini dikerjakan satu evaluator saja, saya memutuskan untuk menggunakan skala 1-4. Ratings dalam heuristic evaluation ialah:

0 = I don’t agree that this is a usability problem at all

1 = Cosmetic problem only: need not be fixed unless extra time is available on project

2 = Minor usability problem: fixing this should be given low priority

3 = Major usability problem: important to fix, so should be given high priority

4 = Usability catastrophe: imperative to fix this before product can be released

Heuristic	Is the heuristic violated? How? [Severity]
1. Visibility of system status The design should always keep users informed about what is going on, through appropriate feedback within a reasonable amount of time.	– Saat mengakses fitur JakLapor (atau fitur lainnya yang membutuhkan profile) langsung diarahkan halaman sign-in tidak ada informasi tambahan yang menjelaskan untuk sign-in terlebih dahulu. [2] (di luar JakLapor) – Tidak ada informasi JakRespons yang berhasil untuk ditandai (disimpan). [2]
2. Match between system and the real world The design should speak the users’ language. Use words, phrases, and concepts familiar to the user, rather than internal jargon. Follow real-world conventions, making information appear in a natural and logical order.	N/A
3. User control and freedom Users often perform actions by mistake. They need a clearly marked “emergency exit” to leave the unwanted action without having to go through an extended process.	– Tidak ada konfirmasi/batalkan komentar di kolom diskusi laporan. [3] – Tidak ada hapus komentar (milik diri sendiri) di kolom diskusi laporan. [3]
4. Consistency and standards Users should not have to wonder whether different words, situations, or actions mean the same thing. Follow platform and industry conventions.	– Tidak ada icon JakLapor di pilihan fungsi-fungsi (fitur) aplikasi. [3] – Fitur LaporVideo tidak tergabung di JakLapor. [2] – Fitur LaporVideo tidak terintegrasi dalam aplikasi dan harus menggunakan email. [2]
5. Error prevention Good error messages are important, but the best designs carefully prevent problems from occurring in the first place. Either eliminate error-prone conditions, or check for them and present users with a confirmation option before they commit to the action.	N/A
6. Recognition rather than recall Minimize the user’s memory load by making elements, actions, and options visible. The user should not have to remember information from one part of the interface to another. Information required to use the design (e.g. field labels or menu items) should be visible or easily retrievable when needed.	N/A
7. Flexibility and efficiency of use Shortcuts — hidden from novice users — may speed up the interaction for the expert user such that the design can cater to both inexperienced and experienced users. Allow users to tailor frequent actions.	(di luar JakLapor) – Tidak dapat mengatur icon (fitur) yang tampil di halaman depan. [2] – Tidak dapat mengatur section yang tampil di halaman depan (Jakarta Tanggap Covid-19, Layanan Pemprov DKI Jakarta, dsbg.). [2]
8. Aesthetic and minimalist design Interfaces should not contain information which is irrelevant or rarely needed. Every extra unit of information in an interface competes with the relevant units of information and diminishes their relative visibility.	– Laporan memiliki sangat banyak kategori, yatu sejumlah 116 tanpa grouping. [4] – Section kolom laporan yang wajib diisi terpisah. [1] – Kolom laporan yang wajib diisi menggunakan tanda ‘*’ tetapi tidak ada penjelasannya. [2] – Konsistensi button utama: menggunakan warna biru (JakLapor) dan gradasi biru-teal (sign-in/sign-up). [1]
9. Help users recognize, diagnose, and recover from errors Error messages should be expressed in plain language (no error codes), precisely indicate the problem, and constructively suggest a solution.	Tidak ada pembeda masalah koneksi dari device atau server JAKI. [3]
10. Help and documentation It’s best if the system doesn’t need any additional explanation. However, it may be necessary to provide documentation to help users understand how to complete their tasks.	Pelajari lebih jauh tentang privasi laporan tidak langsung mengarah ke halaman bantuan yang membahas masalah tersebut. [3]

Non-usability

Selain yang sudah di-cover dalam heuristic evaluation, ada insight lainnya yang didapatkan seperti:

• Response time backend saat mengakses layanan di JAKI terutama yang berkaitan dengan list cukup lama. (e.g. JakRespons dan pilihan sorting-nya) 
• Komentar di diskusi laporan kurang sehat, ada beberapa pengguna yang melontarkan komentar dengan nada negatif hingga cenderung mengancam. (meski ada pilihan laporkan komentar)

Insight dan Rekomendasi

Heuristic Evaluation

#	Insight [severity]	Rekomendasi
1	Saat mengakses fitur JakLapor (atau fitur lainnya yang membutuhkan profile) langsung diarahkan halaman sign-in tidak ada informasi tambahan yang menjelaskan untuk sign-in terlebih dahulu. [2]	Tampilkan message yang menunjukan fitur tersebut mengharuskan pengguna untuk sign-in.
2	(di luar JakLapor) Tidak ada informasi JakRespons yang berhasil untuk ditandai (disimpan). [2]	Tampilkan message yang menunjukan laporan sudah disimpan (selain icon yang berubah warnanya).
3	Tidak ada konfirmasi/batalkan komentar di kolom diskusi laporan. [3]	Jika tidak ada konfirmasi/batalkan saat memberikan komentar, sediakan fungsi hapus komentar.
4	Tidak ada hapus komentar (milik diri sendiri) di kolom diskusi laporan. [3]	Jika tidak ada konfirmasi/batalkan saat memberikan komentar, sediakan fungsi hapus komentar.
5	Tidak ada icon JakLapor di pilihan fungsi-fungsi (fitur) aplikasi. [3]	Sediakan JakLapor di section fungsi-fungsi (fitur aplikasi).
6	Fitur LaporVideo tidak tergabung di JakLapor. [2]	Gabungkan fitur LaporVideo ke dalam JakLapor.
7	Fitur LaporVideo tidak terintegrasi dalam aplikasi dan harus menggunakan email. [2]	Gabungkan fitur LaporVideo ke dalam JakLapor.
8	(di luar JakLapor) Tidak dapat mengatur icon (fitur) yang tampil di halaman depan. [2]	Dipersonalisasi sesuai dengan kebiasaan pengguna atau pengguna dapat mengeditnya secara manual.
9	(di luar JakLapor) Tidak dapat mengatur section yang tampil di halaman depan (Jakarta Tanggap Covid-19, Layanan Pemprov DKI Jakarta, dsbg.). [2]	Dipersonalisasi sesuai dengan kebiasaan pengguna atau pengguna dapat menyembunyikan / menampilkan secara manual.
10	Laporan memiliki sangat banyak kategori, yatu sejumlah 116 tanpa grouping. [4]	Grouping kategori sehingga lebih ringkas dan mudah dicari (tanpa menggunakan search bar).
11	Section kolom laporan yang wajib diisi terpisah. [1]	Gabungkan kedua section agar tidak memberikan kesan bahwa bagian-bagian tersebut memiliki kegunaan berbeda.
12	Kolom laporan yang wajib diisi menggunakan tanda ‘*’ tetapi tidak ada penjelasannya. [2]	Hilangkan tanda ‘*’ untuk kolom wajib dan tambahkan ‘(opsional)’ pada kolom yang tidak wajib diisi.
13	Konsistensi button utama: menggunakan warna biru (JakLapor) dan gradasi biru-teal (sign-in/sign-up). [1]	Gunakan salah satu desain button untuk menjaga konsistensi.
14	Tidak ada pembeda masalah koneksi dari device atau server JAKI. [3]	Berikan pesan berbeda jika masalah ada di device pengguna yang tidak menghidupkan koneksi internet (WiFi/data).
15	Pelajari lebih jauh tentang privasi laporan tidak langsung mengarah ke halaman bantuan yang membahas masalah tersebut. [3]	Arahkan pengguna ke halaman yang dimaksud sehingga pengguna tidak perlu mencari lagi menggunakan keyword atau secara manual.

Non-usability

#	Insight	Rekomendasi
1	Response time backend.	Optimasi di backend, seperti pada query, algoritme pada API, atau mengganti/mengoptimasi web server.
2	Komentar di diskusi laporan.	Jaki secara aktif mengecek diskusi laporan, baik secara manual, menggunakan sistem cerdas atau menggunakan AI.

Research Lanjutan

Selanjutnya dapat dilakukan user research sebagai research lanjutan, dengan:

• Kualitatif: in-depth interview atau usability testing
• Kuantitatif: survey

Metode yang digunakan bergantung pada user base JAKI terutama yang menggunakan JakLapor dan skala prioritas dari Jakarta Smart City (JSC):

• Misal populasi pengguna tidak sesuai dengan sampel dan margin of error yang diinginkan, jadi research dalam bentuk survey tidak dapat dilakukan.
• Jika ingin mengetahui apa yang diinginkan pengguna, research lanjutan dapat  menggunakan metode in-depth interview.
• Atau dapat melakukan usability testing agar dapat mengobservasi langsung bagaimana pengguna menggunakan JakLapor.

---

Yang Dapat Ditingkatkan

Berdasarkan sesi presentasi yang sudah dilakukan. Berikut hal-hal yang dang dapat dilakukan agar hasil research dan laporannya lebih baik:

• Gunakan screenshot/ilustrasi untuk menggambarkan issues dan rekomendasinya.
• Menambah evaluator agar menjadi minimal 3 orang.