Penerapan Sosial AI serta Hukum dan Etika

CRISP-DM terdiri dari 6 tahap: business understanding, data understanding, data preparation, modeling, evaluation, dan deployment. Tahap paling awal adalah business understanding, yaitu menentukan masalah bisnis yang harus dipecahkan dan kriteria yang bisa disebut berhasil. Memeriksa kualitas dan distribusi data adalah data understanding, penanganan missing value dan pembuatan fitur adalah data preparation, dan implementasi ke sistem bisnis adalah deployment. Perlu diingat pula bahwa keenam tahap ini tidak hanya mengalir satu arah, tetapi digambarkan sebagai siklus yang berulang dengan kembali ke tahap sebelumnya.

PoC adalah proof of concept, yaitu tahap membuat versi kecil dan mencobanya sebelum berinvestasi pada pengembangan penuh, untuk memastikan apakah akurasi yang dibutuhkan bisa dicapai dengan data tersebut, dan jika tercapai, apakah bisnisnya bisa berjalan. Karena tujuannya bukan membuat produk jadi, jika tidak ditentukan lebih dulu syarat untuk melanjutkan dan syarat untuk berhenti sebelum memulai, percobaan yang tidak membuahkan hasil bisa terus berulang. Memantau dan melatih ulang setelah dipasang di produksi adalah MLOps, memberi label jawaban adalah anotasi, dan merancang ulang alur kerja bisnis itu sendiri adalah BPR; semuanya menunjuk tahap yang berbeda dari PoC.

Anotasi adalah pekerjaan memberikan label jawaban atau informasi wilayah secara manual pada data mentah, dan tidak terpisahkan dari supervised learning. Jika standar pemberian label bervariasi antar pekerja, batas atas performa model akan ditentukan di sana, sehingga penyusunan pedoman kerja dan pemeriksaan kualitas menjadi kunci. Kumpulan teks yang dikumpulkan dan ditata disebut korpus, sedangkan pembagian data ke pelatihan dan validasi, serta penanganan missing value dan outlier, adalah pekerjaan lain dalam persiapan data; keduanya bukan tindakan pemberian label itu sendiri.

Data leakage adalah fenomena ketika informasi yang seharusnya tidak tersedia pada saat prediksi tercampur ke dalam data pelatihan, sehingga akurasi saat validasi tampak jauh lebih tinggi daripada kemampuan sebenarnya. Contohnya adalah memasukkan tanggal penerimaan prosedur pembatalan ke dalam prediksi churn, menghitung rata-rata atau standar deviasi untuk pra-pemrosesan dari keseluruhan data termasuk data validasi, atau membagi data time series secara acak tanpa memperhatikan waktu. Terlalu menyesuaikan diri dengan data pelatihan adalah overfitting, yang penyebabnya bukan 'menggunakan informasi yang seharusnya tidak boleh dipakai', melainkan 'terlalu menyesuaikan diri'. Kebutuhan data yang melonjak karena dimensi bertambah adalah kutukan dimensi, dan keduanya memiliki penyebab yang berbeda dari leakage.

MLOps adalah gagasan yang tidak berhenti setelah model dipasang, melainkan terus memantau distribusi data input, kecenderungan prediksi, hingga metrik bisnis, lalu jika terjadi penyimpangan, memperbarui data pelatihan untuk membuat ulang model dan memasangnya kembali, dan menjalankan siklus ini sebagai mekanisme yang berkelanjutan. Karena kecenderungan input pun berubah seiring perubahan dunia dan akurasi perlahan menurun, satu kali pemeriksaan saja tidak cukup. Menyewa sumber daya komputasi adalah pemanfaatan cloud, dan mengumpulkan serta mereproduksi lingkungan eksekusi adalah peran Docker; keduanya adalah alat yang mendukung MLOps, tetapi bukan definisi MLOps itu sendiri.

BPR adalah business process reengineering, yaitu upaya merancang ulang alur kerja itu sendiri dengan kembali ke tujuan bisnis, bukan sekadar memperbaiki sebagian prosedur yang sudah ada. Jika AI hanya dipasang di atas prosedur yang tetap dipertahankan, yang terjadi hanyalah bertambahnya proses manusia menyalin ulang output AI tanpa memberi efek, dan keberhasilan penerapan AI seringkali ditentukan bukan oleh akurasi, melainkan oleh hal ini. Mendengarkan kebutuhan adalah pemahaman kebutuhan pemangku kepentingan, dan menata data agar bisa dipelajari adalah persiapan data; keduanya bukan perancangan ulang proses bisnis itu sendiri.

Waterfall adalah cara pengembangan yang memastikan tahapan secara berurutan mulai dari definisi kebutuhan dan diasumsikan tidak akan kembali ke tahap sebelumnya. Namun pengembangan AI memiliki sifat bahwa akurasi yang bisa dicapai baru diketahui setelah benar-benar dilatih, sehingga hasil akhir dan persyaratan tidak bisa ditetapkan terlebih dahulu. Oleh karena itu, tahap eksplorasi dan PoC dijalankan dengan pengulangan singkat mengikuti bentuk agile, lalu setelah akurasi bisa diperkirakan, tahap pengembangan utama baru ditetapkan; kombinasi keduanya inilah yang biasa diambil. Sifat ini juga langsung memengaruhi rancangan kontrak, yaitu apakah pengembangan yang dititipkan menggunakan kontrak pemborongan (ukeoi) atau kontrak kuasi-delegasi (junishitaku).

Docker adalah teknologi yang mengumpulkan lingkungan eksekusi, termasuk aplikasi dan library-nya, sebagai sebuah container. Karena container yang sama bisa dijalankan baik di mesin pengembangan maupun di produksi, masalah 'kok di lingkungan saya jalan' akibat perbedaan versi dapat berkurang. Menyimpan proses dan hasil eksekusi beserta penjelasannya sebagai satu dokumen adalah Jupyter Notebook, membuat model bisa dipanggil lewat HTTP adalah Web API, dan menyewa sumber daya komputasi hanya selama dibutuhkan adalah pemanfaatan cloud; semuanya menunjuk alat lain yang dipakai dalam pengembangan AI.

Korpus menunjuk pada data teks dalam jumlah besar yang dikumpulkan dan ditata untuk keperluan pemrosesan bahasa alami. Tergantung penggunaannya, informasi jenis kata atau struktur sintaksis terkadang juga disertakan. Kumpulan data yang dipublikasikan secara umum untuk riset dan pengembangan disebut open dataset, yang mencakup gambar dan audio, tidak terbatas pada teks. Representasi vektor kata adalah hasil dari pembelajaran, bukan kumpulan data, dan analisis morfologi adalah metode pemrosesan kalimat; keduanya berbeda dari definisi korpus. Perlu diingat pula bahwa korpus memiliki lisensi dan ketentuan penggunaan, sehingga boleh tidaknya penggunaan komersial atau distribusi ulang perlu diperiksa satu per satu.

Open innovation adalah gagasan yang tidak menutup diri pada riset dan pengembangan internal perusahaan saja, melainkan secara aktif menyerap teknologi, pengetahuan, dan talenta dari luar untuk menciptakan nilai. Silabus menjajarkan kerja sama akademik-industri (sangaku renkei) dan kerja sama dengan perusahaan atau industri lain pada bagian materi yang sama, dan sarananya bisa berupa riset bersama dengan lembaga riset seperti universitas, atau kolaborasi dengan pihak yang memiliki data atau jalur distribusi yang tidak dimiliki perusahaan sendiri. Mempublikasikan hasil karya secara gratis adalah gagasan open source, yang arahnya justru berlawanan dengan menyerap sumber daya dari luar. Struktur lintas divisi internal maupun pemanfaatan dataset publik sama-sama tidak menunjuk pada kerja sama dengan pihak luar perusahaan itu sendiri.

Informasi anonim (tokumei kako joho) adalah informasi yang diolah sedemikian rupa sehingga individu tertentu tidak dapat diidentifikasi, dan informasi pribadi aslinya tidak dapat dipulihkan kembali. Karena telah diolah sejauh ini, informasi ini dapat diberikan ke pihak ketiga tanpa persetujuan orang yang bersangkutan asalkan mengikuti prosedur yang ditentukan. Sebaliknya, informasi semu-nama (kamei kako joho) adalah informasi yang diolah hanya sampai tingkat individu tertentu tidak dapat diidentifikasi selama tidak dicocokkan dengan informasi lain; upaya pengolahannya lebih ringan, seperti menghapus nama, sehingga nilai analisisnya tetap terjaga, tetapi sebagai gantinya pada prinsipnya tidak boleh diberikan ke pihak ketiga, dan diasumsikan digunakan untuk analisis internal perusahaan. Semakin ringan pengolahannya, semakin tidak bisa dikeluarkan ke luar; memahami hal ini memudahkan untuk tidak tertukar.

Kode identifikasi individu mencakup data karakteristik fisik seperti data sidik jari, data pengenalan wajah, dan kode hasil konversi urutan basa DNA, serta nomor yang diberikan kepada individu seperti nomor My Number, nomor paspor, dan nomor SIM. Semua ini diperlakukan sebagai informasi pribadi hanya dengan data itu sendiri, sehingga pemahaman bahwa 'jika tidak ada nama maka bukan informasi pribadi' adalah keliru. Apakah suatu data termasuk informasi pribadi juga bukan ditentukan oleh ada tidaknya persetujuan pada saat pengambilan, dan bukan pula baru menjadi informasi pribadi setelah dibuat menjadi basis data. Perlu dicatat, data yang telah disusun secara sistematis dan bisa dicari disebut data pribadi (kojin data), yang dikenai kewajiban tambahan.

GDPR adalah General Data Protection Regulation milik Uni Eropa (EU), yaitu peraturan EU yang berbeda dari undang-undang perlindungan informasi pribadi Jepang. Ciri khasnya adalah adanya penerapan ekstrateritorial: jika suatu pelaku usaha menawarkan barang atau jasa kepada orang yang berada di dalam wilayah EU, atau memantau perilaku orang di dalam wilayah EU, GDPR bisa berlaku meskipun pelaku usaha tersebut mengembangkan di dalam negeri Jepang. Oleh karena itu, objek penerapannya tidak bisa ditentukan hanya dari ada tidaknya basis di EU. Perlu diingat pula bahwa GDPR bukan perluasan dari hukum Jepang, dan bukan pedoman yang tidak memiliki daya ikat.

Pasal 30-4 Undang-Undang Hak Cipta Jepang menetapkan bahwa karya cipta dapat digunakan sejauh yang dianggap perlu, apabila bukan bertujuan untuk menikmati sendiri atau membuat orang lain menikmati pikiran atau perasaan yang dinyatakan dalam karya cipta tersebut. 'Menikmati' di sini berarti memperoleh kepuasan intelektual atau emosional dengan mengapresiasi pikiran atau perasaan yang dinyatakan dalam karya cipta, dan tindakan membaca data untuk keperluan machine learning dianggap tidak termasuk hal ini. Ayat kedua pasal ini secara eksplisit menyebutkan analisis informasi (johokaiseki), dan pembuatan data pelatihan serta proses pelatihan itu sendiri diposisikan di sini. Dipublikasikan gratis, bukan bertujuan komersial, dan jumlah yang digunakan sedikit, semuanya bukan syarat yang ditetapkan dalam pasal ini.

Pasal 30-4 memiliki klausa pengecualian (proviso) yang menyatakan bahwa ketentuan ini tidak berlaku apabila, dengan mempertimbangkan jenis dan kegunaan karya cipta tersebut serta cara penggunaannya, hal itu dianggap secara tidak wajar merugikan kepentingan pemegang hak cipta. Oleh karena itu, tidak bisa dikatakan bahwa 'penggunaan apa pun bebas asalkan untuk pelatihan AI'. Misalnya, jika basis data yang dijual khusus untuk analisis informasi digandakan tanpa dibeli lalu dipakai untuk pelatihan, hal ini dianggap merugikan pasar basis data tersebut dan bisa terkena klausa pengecualian. Selain itu, meskipun tahap input berupa pelatihan itu sah, jika hasil generasinya mirip dengan karya cipta yang sudah ada, pelanggaran hak cipta bisa muncul secara terpisah pada tahap output berupa generasi atau penggunaannya. Input dan output dinilai secara terpisah. Ada tidaknya pembelian berbayar bukan kriteria yang menentukan berlakunya pasal ini.

Hak cipta adalah sistem yang melindungi ekspresi kreatif manusia, sehingga sesuatu yang hanya dihasilkan secara otomatis oleh AI tidak menjadi karya cipta. Di sisi lain, jika manusia terlibat sejauh dapat dikatakan telah memberikan ciri khas esensial pada ekspresi tersebut, ada peluang diakui sebagai karya cipta. Kuncinya adalah kontribusi kreatif (soosakuteki kiyo), yang dinilai secara kasus per kasus berdasarkan hal-hal seperti kekonkretan instruksi dan percobaan berulang, serta tingkat pemilihan dan penyuntingan hasil generasi. Oleh karena itu, pemahaman bahwa 'selalu tidak menjadi karya cipta' maupun 'orang yang memberi instruksi selalu memperoleh hak' sama-sama keliru. Perlu dicatat pula, terpisah dari Undang-Undang Hak Cipta, terkadang syarat penggunaan layanan yang dipakai menentukan perlakuan atas hasil generasi, sehingga kedua hal ini perlu diperiksa.

Invensi karyawan (shokumu hatsumei) adalah invensi yang dibuat oleh karyawan sebagai tugas pekerjaannya. Hak untuk memperoleh paten pada prinsipnya timbul pada karyawan sebagai penemu, tetapi jika ditetapkan lebih dulu dalam peraturan kerja dan sejenisnya, hak tersebut dapat dijadikan milik pemberi kerja sejak saat timbulnya. Dalam hal itu, karyawan memiliki hak untuk memperoleh uang atau keuntungan ekonomi wajar lainnya, sehingga ini bukan sistem yang mengambil hak tanpa kompensasi. Selain itu, hak juga tidak selalu menjadi milik pemberi kerja, dan tidak benar pula bahwa tidak ada ruang untuk menjadikannya milik pemberi kerja; perlakuannya berubah tergantung ada tidaknya ketetapan tersebut, dan inilah poin pentingnya.

Tiga syarat rahasia dagang adalah dikelola sebagai rahasia (manajemen kerahasiaan), merupakan informasi teknis atau bisnis yang berguna untuk kegiatan usaha (kegunaan), dan tidak diketahui secara umum (tidak diketahui publik); perlindungan baru berlaku jika ketiganya terpenuhi sekaligus. Kebaruan dan langkah inventif adalah syarat untuk memperoleh paten, bukan syarat rahasia dagang. Berbeda dengan paten yang memperoleh hak eksklusif dengan cara mempublikasikan isinya, rahasia dagang adalah sistem yang melindungi dengan cara tidak mempublikasikan, sehingga informasi yang tidak ingin dipublikasikan seperti bobot model yang sudah dilatih atau teknik pra-pemrosesan dilindungi lewat jalur ini.

Data dengan penyediaan terbatas adalah informasi yang disediakan kepada pihak tertentu secara usaha, terkumpul dalam jumlah cukup besar melalui metode elektromagnetik, dan dikelola. Kategori ini dibuat untuk melindungi transaksi jual-beli atau berbagi data, dan memiliki arti karena dapat dilindungi meskipun tidak memenuhi ketiga syarat rahasia dagang sekaligus. Hal ini karena, jika disediakan kepada beberapa pihak, syarat tidak diketahui publik belum tentu terpenuhi secara ketat. Informasi yang disimpan sendiri di dalam perusahaan tanpa disediakan ke luar dilindungi lewat jalur rahasia dagang, dan kategori ini juga tidak terkait dengan ada tidaknya pengajuan atau pendaftaran paten.

Kontrak pemborongan (ukeoi keiyaku) adalah kontrak yang menjanjikan penyelesaian pekerjaan; jika tidak selesai, imbalan tidak dapat diminta, dan pihak yang mengerjakan bertanggung jawab atas hasil kerja yang tidak sesuai kontrak. Kontrak kuasi-delegasi (junishitaku keiyaku) adalah kontrak yang mendelegasikan pengurusan suatu urusan, dan yang dijanjikan bukan penyelesaian, melainkan melaksanakan tugas dengan kewajiban perhatian pengelola yang baik (kewajiban zorgvuldig/duty of care). Karena akurasi yang bisa dicapai pada pengembangan AI baru diketahui setelah dicoba dilatih, pembagian yang umum diambil adalah menggunakan kontrak kuasi-delegasi untuk tahap eksplorasi dan PoC, lalu kontrak pemborongan untuk tahap implementasi setelah spesifikasi ditetapkan. Pedoman Kontrak Pemanfaatan AI dan Data dari Kementerian Ekonomi, Perdagangan dan Industri Jepang (METI) juga menunjukkan pola kontrak yang dibagi per tahap seperti ini.

Hard law adalah peraturan yang ditetapkan negara dan pelanggarannya dikenai daya paksa, seperti undang-undang perlindungan informasi pribadi dan undang-undang hak cipta. Soft law adalah aturan yang tidak memiliki daya ikat hukum, seperti pedoman, norma mandiri industri, atau kode etik perusahaan. Karena soft law bukan undang-undang, pembedaan antara peraturan bersanksi dan tanpa sanksi tidak berlaku di sini. Ini juga bukan pembedaan domestik-internasional maupun baru-lama. Pada bidang yang perubahan teknologinya cepat, pendekatan yang diambil adalah menunjukkan arah lewat soft law terlebih dahulu, lalu hanya bagian yang perlu dijadikan undang-undang; kebijakan AI Jepang pada dasarnya berpusat pada soft law.

Risk-based approach adalah gagasan yang mengubah kekuatan regulasi atau penanganan sesuai besarnya risiko yang ditimbulkan oleh penggunaan AI. Teknologi pengenalan wajah yang sama pun dampaknya terhadap manusia sangat berbeda antara membuka kunci layar perangkat dan pemantauan terus-menerus di ruang publik. Jika regulasi ketat diterapkan seragam tanpa memandang penggunaan, penggunaan dengan bahaya kecil pun ikut terhenti; jika dilonggarkan seragam, penggunaan dengan bahaya besar dibiarkan. Oleh karena itu, kewajiban ketat dialokasikan untuk penggunaan berdampak besar, dan perlakuan ringan untuk yang berdampak kecil. Dari sisi pelaku usaha pun, gagasan yang sama dipakai dengan mengelompokkan proyek AI internal berdasarkan tingkat risiko, dan hanya yang berisiko tinggi yang dikirim ke pemeriksaan ketat.

Privacy by design adalah gagasan yang tidak menambahkan tindakan setelah masalah terjadi, melainkan memasukkan perlindungan privasi sejak tahap perencanaan dan desain. Keputusan seperti mendesain agar tidak mengumpulkan data, menghapusnya dalam periode yang diperlukan, atau memprosesnya dalam bentuk yang tidak dapat diidentifikasi, semakin mahal biayanya jika dimasukkan belakangan. Pengungkapan tujuan penggunaan dan pembatasan hak akses adalah upaya yang benar dengan sendirinya, tetapi tidak menyentuh sudut pandang 'kapan dimasukkan', sehingga bukan penjelasan yang tepat untuk gagasan ini. Konsep pasangannya adalah security by design, yang memasukkan tindakan keamanan sejak tahap desain.

Fitur yang bekerja sebagai pengganti atribut sensitif disebut variabel pengganti (proxy variable). Kode pos berkorelasi kuat dengan ras atau pendapatan lewat wilayah tempat tinggal, dan riwayat sekolah atau kegiatan ekstrakurikuler kadang berkorelasi dengan jenis kelamin. Selama fitur semacam ini masih tersisa, meski kolom jenis kelamin atau ras dihapus dari input, model tetap bisa mempelajari diskriminasi yang sama secara tidak langsung. Oleh karena itu, pemeriksaan keadilan dilakukan bukan dengan menghapus item input, melainkan dengan mengukur perbedaan output per kelompok atribut. Selain itu, definisi keadilan sendiri ada beberapa, seperti menyamakan tingkat kelulusan antar atribut atau menyamakan tingkat kesalahan, dan umumnya tidak mungkin memenuhi semuanya sekaligus, sehingga perlu dipilih dan dijelaskan definisi mana yang diambil sesuai penggunaannya.

Adversarial Attack adalah serangan yang menambahkan perubahan kecil yang hampir tidak terlihat oleh mata manusia pada input, sehingga membuat model yang sedang beroperasi mengeluarkan keputusan yang salah. Yang disasar adalah tahap inferensi, dan model itu sendiri tidak diubah. Mencampurkan rekayasa ke data pelatihan sehingga mendistorsi hasil pelatihan adalah data poisoning, yang menyasar tahap pelatihan. Mengumpulkan output lewat banyak permintaan untuk mereproduksi model setara adalah pencurian model (model extraction), dan mengubah parameter atau berkas distribusi model adalah model poisoning; masing-masing berbeda dalam waktu dan sasaran yang dituju. Pertahanan terhadap semua ini dilakukan dengan gagasan security by design yang memasukkan keamanan sejak tahap desain.

Pencurian model (model extraction) adalah serangan yang memberikan input dalam jumlah besar ke model target, mengumpulkan outputnya, lalu mereproduksi model yang bekerja setara di tangan penyerang. Yang dicuri adalah model itu sendiri, dan serangan ini bisa terjadi hanya dengan menyediakan API publik. Sebaliknya, pencurian data (data extraction) adalah serangan yang mengambil informasi yang terkandung dalam data pelatihan dari pengamatan output, dan yang dicuri adalah data. Mencampurkan rekayasa ke data pelatihan adalah data poisoning, dan mengubah parameter atau berkas distribusi model adalah model poisoning; yang pertama menyasar tahap pelatihan, yang kedua menyasar tahap pelatihan atau distribusi. Memahami apa yang dicuri dan kapan waktunya disasar memudahkan untuk tidak tertukar.

Filter bubble adalah fenomena ketika algoritma rekomendasi menyeleksi informasi sesuai preferensi pengguna, sehingga orang tersebut seolah terbungkus gelembung dan hanya melihat informasi yang sesuai seleranya sendiri; penyebabnya ada pada optimasi algoritma. Pengguna sendiri tidak menyadari bahwa dirinya sedang diseleksi. Fenomena orang dengan opini sama saling mengirim dan menyetujui berulang-ulang dalam ruang tertutup, sehingga meyakini opini tersebut sebagai satu-satunya yang benar, disebut echo chamber, dan penyebabnya adalah sifat manusia yang cenderung berkumpul dengan yang serupa. Video atau audio palsu yang diterima sebagai asli adalah deepfake dan fake news, dan dasar keputusan yang tidak bisa ditelusuri adalah masalah black box; keduanya adalah topik bagian materi yang berbeda.

Deepfake menunjuk pada teknologi dan hasil generasinya yang menggunakan deep learning untuk membuat video atau audio seolah-olah orang yang benar-benar ada mengucapkan hal yang tidak pernah diucapkan, atau melakukan hal yang tidak pernah dilakukan. Intinya terletak pada menyamar sebagai orang yang benar-benar ada, sehingga tujuannya berbeda dari menghasilkan wajah orang yang tidak ada. Deepfake digunakan untuk pencemaran nama baik, penipuan, dan campur tangan pemilu, serta sangat meningkatkan daya persuasi fake news. Sebagai penanggulangan, selain penelitian teknologi deteksi, sedang dikembangkan pendekatan menyisipkan informasi asal-usul (provenance) sejak tahap pengambilan gambar atau generasi, agar perubahan bisa diverifikasi kemudian. Peringkasan teks dan visualisasi dasar keputusan sama-sama bukan tentang penyalahgunaan.

Asal-usul data (provenance) adalah catatan mengenai data mana yang diperoleh dari mana, dan diolah bagaimana untuk dipakai dalam pelatihan. Jika catatan ini tidak ada, ketika terjadi masalah pada output, tidak bisa ditelusuri sampai ke data penyebabnya, sehingga perbaikan maupun penjelasan tidak dapat dilakukan. Transparansi tidak hanya berarti membuka bagian dalam model, tetapi juga mencakup menunjukkan untuk apa AI digunakan, dibuat dengan data seperti apa, dan di mana batasannya, sesuai dengan pihak yang dituju. Pengurangan sumber daya komputasi, percepatan inferensi, dan penambahan jumlah data, semuanya bukan tujuan dari pencatatan asal-usul. Perlu diingat pula traceability, yaitu kemampuan menelusuri data mana melalui model mana menghasilkan keputusan mana.

Ethics assessment adalah prosedur yang mengidentifikasi dan menilai dampak atau risiko yang mungkin terjadi pada tahap perencanaan AI, dan tingkat ketatnya pemeriksaan diubah sesuai hasil penilaian tersebut. Mengawasi kecenderungan output dan keluhan setelah operasional dimulai adalah monitoring, memastikan kesesuaian dengan kebijakan dari posisi independen adalah audit terhadap AI, dan merangkum kebijakan perusahaan sendiri dalam dokumen untuk ditunjukkan ke luar adalah AI policy; semuanya adalah elemen berbeda yang menyusun AI governance. Selain ini, ada pula mempertahankan keterlibatan manusia pada titik-titik penting keputusan, reproduktibilitas yang memungkinkan model dibuat ulang kemudian, dan traceability yang memungkinkan jalur keputusan ditelusuri.