Pengantar
Halaman ini memberikan ringkasan konseptual singkat tentang metode atribusi fitur yang tersedia dengan Vertex AI. Untuk diskusi teknis yang mendalam, lihat Laporan Resmi AI Explanations.
Nilai penting fitur global (atribusi fitur model) menunjukkan seberapa besar dampak setiap fitur terhadap model. Nilai diberikan dalam bentuk persentase untuk setiap fitur: makin tinggi persentasenya, makin besar dampak fitur tersebut terhadap pelatihan model. Guna melihat pentingnya fitur global untuk model Anda, periksa metrik evaluasi.
Atribusi fitur lokal untuk model deret waktu menunjukkan kontribusi setiap fitur dalam data terhadap hasil prediksi. Selanjutnya, Anda dapat menggunakan informasi ini untuk memverifikasi bahwa model berperilaku seperti yang diharapkan, mengenali bias dalam model, dan mendapatkan ide terkait cara meningkatkan kualitas model dan data pelatihan Anda. Saat meminta prediksi, Anda mendapatkan nilai prediksi yang sesuai untuk model Anda. Saat meminta penjelasan, Anda akan mendapatkan prediksi beserta informasi atribusi fitur.
Pertimbangkan contoh berikut: Jaringan neural dalam dilatih untuk memprediksi durasi bersepeda, berdasarkan data cuaca dan data berbagi kendaraan sebelumnya. Jika hanya meminta prediksi dari model ini, Anda akan mendapatkan prediksi durasi bersepeda dalam menit. Jika meminta penjelasan, Anda akan mendapatkan prediksi durasi perjalanan sepeda, beserta skor atribusi untuk setiap fitur dalam permintaan penjelasan. Skor atribusi menunjukkan seberapa besar fitur tersebut memengaruhi perubahan nilai prediksi, yang relatif terhadap nilai dasar pengukuran yang Anda tentukan. Pilih dasar pengukuran yang bermakna yang sesuai untuk model Anda, - dalam hal ini, durasi median bersepeda.
Anda dapat memetakan skor atribusi fitur untuk melihat fitur mana yang paling berkontribusi terhadap prediksi yang dihasilkan:
Anda dapat membuat dan membuat kueri atribusi fitur lokal saat melakukan tugas prediksi online atau tugas prediksi batch.
Kelebihan
Dengan memeriksa instance tertentu, dan juga menggabungkan atribusi fitur di seluruh set data pelatihan, Anda dapat memperoleh insight lebih dalam tentang cara kerja model. Pertimbangkan kelebihan berikut:
Proses debug model: Atribusi fitur dapat membantu mendeteksi masalah dalam data yang biasanya terlewatkan oleh teknik evaluasi model standar.
Mengoptimalkan model: Anda dapat mengidentifikasi dan menghapus fitur yang kurang penting, sehingga dapat menghasilkan model yang lebih efisien.
Batasan konseptual
Pertimbangkan batasan atribusi fitur berikut:
Atribusi fitur, termasuk nilai penting fitur lokal untuk AutoML, bersifat khusus untuk masing-masing prediksi. Memeriksa atribusi fitur untuk masing-masing prediksi dapat memberikan insight yang baik, tetapi insight tersebut mungkin tidak dapat digeneralisasi ke seluruh class untuk instance individu tersebut, atau seluruh model.
Untuk mendapatkan insight yang lebih umum untuk model AutoML, lihat nilai penting fitur model. Guna mendapatkan insight yang lebih umum untuk model lain, gabungkan atribusi pada subset pada set data Anda, atau seluruh set data.
Setiap atribusi hanya menunjukkan seberapa besar fitur tersebut memengaruhi prediksi untuk contoh tertentu. Atribusi tunggal mungkin tidak mencerminkan perilaku model secara keseluruhan. Untuk memahami perkiraan perilaku model di seluruh set data, gabungkan atribusi di seluruh set data.
Meskipun dapat membantu proses debug model, atribusi fitur tidak selalu menunjukkan dengan jelas apakah masalah muncul dari model atau dari data yang digunakan untuk melatih model. Gunakan penilaian terbaik Anda, dan diagnosis masalah data umum untuk mempersempit ruang potensi penyebab.
Atribusi sepenuhnya bergantung pada model dan data yang digunakan untuk melatih model tersebut. Fungsi ini hanya dapat mengungkapkan pola yang ditemukan oleh model dalam data, dan tidak dapat mendeteksi hubungan mendasar dalam data. Ada atau tidaknya atribusi yang kuat ke fitur tertentu tidak berarti ada atau tidak ada hubungan antara fitur tersebut dan target. Atribusi hanya menunjukkan bahwa model sedang menggunakan fitur tersebut ataupun tidak, dalam prediksinya.
Atribusi saja tidak dapat mengetahui apakah model Anda adil, tidak bias, atau memiliki kualitas baik. Evaluasi data pelatihan dan metrik evaluasi selain atribusi dengan cermat.
Untuk mengetahui informasi selengkapnya tentang batasan, lihat Laporan Resmi AI Explanantions.
Meningkatkan atribusi fitur
Faktor-faktor berikut memiliki dampak terbesar terhadap atribusi fitur:
- Metode atribusi memperkirakan nilai Shapley. Anda dapat meningkatkan presisi perkiraan dengan meningkatkan jumlah jalur untuk metode Shapley yang diambil sampelnya. Akibatnya, atribusi dapat berubah secara drastis.
- Atribusi hanya menyatakan seberapa besar fitur tersebut memengaruhi perubahan nilai prediksi, relatif terhadap nilai dasar pengukuran. Pastikan untuk memilih dasar pengukuran yang bermakna, yang relevan dengan pertanyaan yang Anda ajukan tentang model. Nilai atribusi dan penafsirannya dapat berubah secara signifikan saat Anda beralih dasar pengukuran.
Algoritma
Vertex AI menyediakan atribusi fitur menggunakan Shapley Values, sebuah algoritma teori game kooperatif yang menetapkan kredit ke setiap pemain dalam game untuk hasil tertentu. Berlaku untuk model machine learning, hal ini berarti setiap fitur model diperlakukan sebagai "pemain" dalam game dan kredit diberikan secara proporsional dengan hasil prediksi tertentu. Untuk model data terstruktur, Vertex AI menggunakan perkiraan pengambilan sampel dari Nilai Shapley persis yang disebut Sampled Shapley.
Untuk informasi mendalam tentang cara kerja metode Sampled Shapley, baca makalah yang berjudul Bounding the Estimation Error of Sampling-based Shapley Value Approximation.
Langkah selanjutnya
Referensi berikut memberikan materi edukasi yang bermanfaat lainnya: