Apakah tanggungjawab Pembangun yang menggunakan AI Generatif?

Apakah tanggungjawab Pembangun yang menggunakan AI Generatif?

Jawapan ringkas: Pembangun yang menggunakan AI generatif bertanggungjawab ke atas keseluruhan sistem, bukan sahaja output model. Apabila AI mempengaruhi keputusan, kod, privasi atau kepercayaan pengguna, mereka mesti memilih aplikasi yang selamat, mengesahkan keputusan, melindungi data, mengurangkan bahaya dan memastikan orang ramai boleh menyemak, membatalkan dan membetulkan kesilapan.

Kesimpulan utama:

Pengesahan : Anggap output yang digilap sebagai tidak dipercayai sehingga sumber, ujian atau semakan manusia mengesahkannya.

Perlindungan data : Minimumkan data gesaan, alih keluar pengecam dan selamatkan log, kawalan akses dan vendor.

Keadilan : Uji merentasi demografi dan konteks untuk mengesan stereotaip dan corak kegagalan yang tidak sekata.

Ketelusan : Labelkan penggunaan AI dengan jelas, terangkan hadnya dan tawarkan semakan atau rayuan manusia.

Akauntabiliti : Tetapkan pemilik yang jelas untuk penggunaan, insiden, pemantauan dan pengembalian sebelum pelancaran.

Apakah tanggungjawab Pembangun yang menggunakan AI Generatif? Infografik

Artikel yang mungkin anda ingin baca selepas ini:

🔗 Alat AI terbaik untuk pembangun perisian: Pembantu pengekodan berkuasa AI terbaik
Bandingkan pembantu pengekodan AI terbaik untuk aliran kerja pembangunan yang lebih pantas dan bersih.

🔗 10 alat AI terbaik untuk pembangun bagi meningkatkan produktiviti
Senarai kedudukan alatan AI pembangun untuk pengekodan dan kelajuan yang lebih pintar.

🔗 Mengapa AI boleh memudaratkan masyarakat dan kepercayaan
Menerangkan bahaya dunia sebenar: berat sebelah, privasi, pekerjaan dan risiko maklumat salah.

🔗 Adakah AI telah bertindak terlalu jauh dalam keputusan berisiko tinggi?
Mentakrifkan bila AI melintasi batas: pengawasan, deepfake, pujukan, tanpa persetujuan.

Mengapa tanggungjawab Pembangun yang menggunakan AI Generatif lebih penting daripada yang difikirkan orang ramai

Banyak pepijat perisian yang menjengkelkan. Butang rosak. Halaman dimuatkan dengan perlahan. Sesuatu ranap dan semua orang mengeluh.

Masalah AI generatif boleh berbeza. Ia boleh jadi halus.

Model boleh kedengaran yakin tetapi salah. Profil NIST GenAI Ia boleh menghasilkan semula bias tanpa tanda amaran yang jelas. Profil NIST GenAI Ia boleh mendedahkan data sensitif jika digunakan secara cuai. 10 Teratas OWASP untuk Aplikasi LLM Lapan soalan ICO untuk AI generatif Ia boleh menghasilkan kod yang berfungsi - sehingga ia gagal dalam pengeluaran dengan cara yang sangat memalukan. 10 Teratas OWASP untuk Aplikasi LLM Ibarat mengupah pelatih yang sangat bersemangat yang tidak pernah tidur dan dari semasa ke semasa mereka-reka fakta dengan keyakinan yang menakjubkan.

Itulah sebabnya tanggungjawab Pembangun yang menggunakan AI Generatif adalah lebih besar daripada pelaksanaan mudah. ​​Pembangun bukan lagi hanya membina sistem logik. Mereka membina sistem kebarangkalian dengan tepi kabur, output yang tidak dapat diramalkan dan akibat sosial yang sebenar. NIST AI RMF

Ini bermakna tanggungjawab merangkumi:

Anda tahu bagaimana hasilnya - apabila sesuatu alat terasa ajaib, orang ramai berhenti mempersoalkannya. Pembangun tidak boleh bersikap santai begitu.

Apakah yang menjadikan versi tanggungjawab Pembangun yang menggunakan AI Generatif sebagai versi yang baik? 🛠️

Versi tanggungjawab yang baik bukanlah berprestasi. Ia bukan sekadar menambah penafian di bahagian bawah dan menggelarnya sebagai etika. Ia muncul dalam pilihan reka bentuk, tabiat pengujian dan tingkah laku produk.

Beginilah rupa versi tanggungjawab Pembangun yang menggunakan AI Generatif :

Jika itu kedengaran seperti banyak, ya... memang begitu. Tetapi itulah masalahnya apabila anda bekerja dengan teknologi yang boleh mempengaruhi keputusan, kepercayaan dan tingkah laku pada skala besar. Prinsip AI OECD

Jadual Perbandingan - tanggungjawab teras Pembangun menggunakan AI Generatif sepintas lalu 📋

Kawasan tanggungjawab Siapa yang terjejas Amalan pembangun harian Mengapa ia penting
Ketepatan dan pengesahan pengguna, pasukan, pelanggan Semak output, tambah lapisan pengesahan, uji kes pinggir AI boleh menjadi fasih dan masih sangat salah - yang merupakan gabungan kasar Profil NIST GenAI
Perlindungan privasi pengguna, pelanggan, kakitangan dalaman Kurangkan penggunaan data sensitif, gesaan gosok, log kawalan Sebaik sahaja data peribadi bocor, ubat gigi akan keluar dari tiub 😬 Lapan soalan ICO untuk AI generatif OWASP 10 Teratas untuk Aplikasi LLM
Kecenderungan dan keadilan kumpulan yang kurang diwakili, semua pengguna benar-benar Audit output, uji pelbagai input, sesuaikan perlindungan Kemudaratan tidak selalunya kuat - kadangkala ia sistematik dan senyap Profil GenAI NIST tentang AI dan perlindungan data
Keselamatan sistem syarikat, pengguna Hadkan akses model, pertahankan daripada suntikan segera, tindakan berisiko sandbox Satu eksploitasi yang bijak boleh merosakkan kepercayaan dengan pantas OWASP 10 Teratas untuk Aplikasi LLM NCSC mengenai AI dan keselamatan siber
Ketelusan pengguna akhir, pengawal selia, pasukan sokongan Labelkan tingkah laku AI dengan jelas, terangkan had, dokumentasikan penggunaan Orang ramai berhak tahu bila mesin itu membantu Prinsip AI OECD mengenai penandaan dan pelabelan kandungan yang dijana AI
Akauntabiliti pemilik produk, undang-undang, pasukan pembangun Tentukan pemilikan, pengendalian insiden, laluan eskalasi "AI berjaya" bukanlah jawapan orang dewasa Prinsip AI OECD
Kebolehpercayaan semua orang yang menyentuh produk Pantau kegagalan, tetapkan ambang keyakinan, cipta logik sandaran Model hanyut, gagal dengan cara yang tidak dijangka, dan dari semasa ke semasa mempunyai episod kecil yang dramatik Garis panduan AI selamat NIST AI RMF
Kesejahteraan pengguna pengguna yang terdedah terutamanya Elakkan reka bentuk manipulatif, hadkan output yang berbahaya, semak kes penggunaan berisiko tinggi Hanya kerana sesuatu boleh dijana tidak bermakna ia harus dijana Prinsip AI OECD NIST AI RMF

Jadual yang sedikit tidak sekata, sudah tentu, tetapi itu sesuai dengan topiknya. Tanggungjawab sebenar juga tidak sekata.

Tanggungjawab bermula sebelum gesaan pertama - memilih kes penggunaan yang betul 🎯

Salah satu tanggungjawab terbesar yang dipikul oleh pembangun ialah memutuskan sama ada AI generatif harus digunakan sama sekali . NIST AI RMF

Itu kedengaran jelas, tetapi ia selalu dilangkau. Pasukan melihat model, teruja, dan mula memaksanya ke dalam aliran kerja yang akan dikendalikan dengan lebih baik oleh peraturan, carian atau logik perisian biasa. Bukan semua masalah memerlukan model bahasa. Sesetengah masalah memerlukan pangkalan data dan petang yang tenang.

Sebelum membina, pemaju harus bertanya:

  • Adakah tugasan itu terbuka atau deterministik?

  • Bolehkah output yang salah menyebabkan kemudaratan?

  • Adakah pengguna memerlukan kreativiti, ramalan, ringkasan, automasi - atau sekadar kelajuan?

  • Adakah orang ramai akan terlalu mempercayai output? Profil NIST GenAI

  • Bolehkah manusia menyemak semula keputusan secara realistik? Prinsip AI OECD

  • Apa yang berlaku apabila model itu salah? Prinsip AI OECD

Seorang pemaju yang bertanggungjawab bukan sahaja bertanya, “Bolehkah kami membina ini?” Mereka bertanya, “Patutkah ini dibina dengan cara ini?” NIST AI RMF

Soalan itu dengan sendirinya menghalang banyak karut yang berkilat.

Ketepatan adalah tanggungjawab, bukan ciri bonus ✅

Biar jelas - salah satu perangkap terbesar dalam AI generatif adalah salah menganggap kefasihan sebagai kebenaran. Model sering menghasilkan jawapan yang kedengaran halus, tersusun dan sangat meyakinkan. Sungguh indah, sehingga kandungannya tidak masuk akal dan dibalut dengan keyakinan. Profil NIST GenAI

Jadi tanggungjawab Pembangun yang menggunakan AI Generatif termasuk membina untuk pengesahan.

Itu bermaksud:

Ini sangat penting dalam bidang seperti:

  • penjagaan kesihatan

  • kewangan

  • aliran kerja undang-undang

  • pendidikan

  • sokongan pelanggan

  • automasi perusahaan

  • penjanaan kod

Kod yang dijana, sebagai contoh, boleh kelihatan kemas sambil menyembunyikan kecacatan keselamatan atau kesilapan logik. Pembangun yang menyalinnya secara membuta tuli tidak cekap - mereka hanya menyumber luar risiko dalam format yang lebih cantik. 10 Teratas OWASP untuk Aplikasi LLM NCSC mengenai AI dan keselamatan siber

Model ini boleh membantu. Pembangun masih memiliki hasilnya. Prinsip AI OECD

Privasi dan pengawasan data tidak boleh dirundingkan 🔐

Di sinilah keadaan menjadi serius dengan cepat. Sistem AI generatif sering bergantung pada gesaan, log, tetingkap konteks, lapisan memori, analitik dan infrastruktur pihak ketiga. Ini mewujudkan banyak peluang untuk data sensitif bocor, berterusan atau digunakan semula dengan cara yang tidak pernah dijangka oleh pengguna. Lapan soalan ICO untuk AI generatif OWASP 10 Teratas untuk Aplikasi LLM

Pemaju mempunyai tanggungjawab untuk melindungi:

  • maklumat peribadi

  • rekod kewangan

  • butiran perubatan

  • data dalaman syarikat

  • rahsia perdagangan

  • token pengesahan

  • komunikasi pelanggan

Amalan yang bertanggungjawab termasuk:

Ini adalah salah satu aspek di mana "kita terlupa untuk memikirkannya" bukanlah satu kesilapan kecil. Ia adalah kegagalan yang menghancurkan kepercayaan.

Dan kepercayaan, setelah retak, merebak seperti kaca yang jatuh. Mungkin bukan metafora yang paling kemas, tetapi anda faham.

Bias, keadilan dan perwakilan - tanggungjawab yang lebih senyap ⚖️

Bias dalam AI generatif jarang sekali merupakan penjahat kartun. Ia biasanya lebih licin daripada itu. Model mungkin menghasilkan huraian kerja yang stereotaip, keputusan penyederhanaan yang tidak sekata, cadangan yang berat sebelah atau andaian yang sempit dari segi budaya tanpa mencetuskan penggera yang jelas. Profil NIST GenAI

Itulah sebabnya tanggungjawab Pembangun yang menggunakan AI Generatif merangkumi kerja keadilan aktif.

Pemaju harus:

Sesebuah sistem boleh kelihatan berfungsi dengan baik secara keseluruhan sambil sentiasa memberikan perkhidmatan yang lebih teruk kepada sesetengah pengguna berbanding yang lain. Itu tidak boleh diterima hanya kerana prestasi purata kelihatan bagus pada papan pemuka. Panduan ICO mengenai AI dan perlindungan data Profil NIST GenAI

Dan ya, keadilan lebih sukar daripada senarai semak yang kemas. Ia mempunyai pertimbangan di dalamnya. Konteks. Pertukaran. Ukuran ketidakselesaan juga. Tetapi itu tidak menghapuskan tanggungjawab - ia mengesahkannya. Panduan ICO mengenai AI dan perlindungan data

Keselamatan kini sebahagiannya reka bentuk segera, sebahagian lagi disiplin kejuruteraan 🧱

Keselamatan AI generatif adalah makhluk yang tersendiri. Keselamatan aplikasi tradisional masih penting, sudah tentu, tetapi sistem AI menambah permukaan serangan yang luar biasa: suntikan gesaan, manipulasi gesaan tidak langsung, penggunaan alat yang tidak selamat, pengekstrakan data melalui konteks dan penyalahgunaan model melalui aliran kerja automatik. 10 Teratas OWASP untuk Aplikasi LLM NCSC mengenai AI dan keselamatan siber

Pembangun bertanggungjawab untuk menjamin keselamatan sistem sepenuhnya, bukan hanya antara muka. Garis panduan AI selamat NCSC

Tanggungjawab utama di sini termasuk:

Satu kebenaran yang tidak menyenangkan ialah pengguna - dan penyerang - pasti akan mencuba perkara yang tidak dijangka oleh pembangun. Ada yang kerana ingin tahu, ada yang kerana niat jahat, ada yang kerana mereka mengklik perkara yang salah pada pukul 2 pagi. Ia berlaku.

Keselamatan untuk AI generatif kurang seperti membina tembok dan lebih seperti menguruskan penjaga pintu yang sangat banyak bercakap yang kadangkala terpedaya dengan ungkapan.

Ketelusan dan persetujuan pengguna lebih penting daripada UX yang mencolok-colok 🗣️

Apabila pengguna berinteraksi dengan AI, mereka harus mengetahuinya. Kod Amalan Prinsip AI OECD

Bukan samar-samar. Tidak tersembunyi dalam istilah. Jelas sekali.

Sebahagian teras tanggungjawab Pembangun yang menggunakan AI Generatif adalah memastikan pengguna memahami:

Ketelusan bukan tentang menakutkan pengguna. Ia adalah tentang menghormati mereka.

Ketelusan yang baik mungkin termasuk:

Banyak pasukan produk bimbang kejujuran akan menjadikan ciri tersebut terasa kurang ajaib. Mungkin. Tetapi kepastian palsu adalah lebih teruk. Antara muka yang lancar yang menyembunyikan risiko pada dasarnya adalah kekeliruan yang digilap.

Pembangun kekal bertanggungjawab - walaupun model "yang menentukan" 👀

Bahagian ini sangat penting. Tanggungjawab tidak boleh dialihkan kepada vendor model, kad model, templat gesaan atau suasana pembelajaran mesin yang misteri. Prinsip AI OECD NIST AI RMF

Pembangun masih bertanggungjawab. Prinsip AI OECD

Ini bermakna seseorang dalam pasukan harus memiliki:

Harus ada jawapan yang jelas untuk soalan seperti:

Tanpa rasa tanggungjawab, ia menjadi kabus. Semua orang menganggap orang lain yang mengendalikannya... tetapi tiada siapa yang melakukannya.

Corak itu sebenarnya lebih tua daripada AI. AI hanya menjadikannya lebih berbahaya.

Pembangun yang bertanggungjawab membina untuk pembetulan, bukan kesempurnaan 🔄

Inilah kelainan kecil dalam semua ini: pembangunan AI yang bertanggungjawab bukanlah tentang berpura-pura bahawa sistem itu akan sempurna. Ia adalah tentang menganggap ia akan gagal dalam beberapa cara dan mereka bentuk berdasarkan realiti itu. NIST AI RMF

Ini bermakna membina produk yang:

Inilah rupa kematangan. Bukan demo yang cemerlang. Bukan salinan pemasaran yang tidak menentu. Sistem sebenar, dengan penghadang, log, akauntabiliti dan kerendahan hati yang cukup untuk mengakui bahawa mesin itu bukanlah ahli sihir. Garis panduan AI selamat NCSC Prinsip AI OECD

Kerana ia bukan. Ia adalah alat. Ya, alat yang berkuasa. Tetapi tetap alat.

Refleksi penutup tentang tanggungjawab Pembangun menggunakan AI Generatif 🌍

Jadi, apakah tanggungjawab Pembangun yang menggunakan AI Generatif ?

Ia adalah untuk membina dengan berhati-hati. Untuk mempersoalkan di mana sistem membantu dan di mana ia membahayakan. Untuk melindungi privasi. Untuk menguji bias. Untuk mengesahkan output. Untuk menjamin aliran kerja. Untuk bersikap telus dengan pengguna. Untuk memastikan manusia mempunyai kawalan yang bermakna. Untuk kekal bertanggungjawab apabila berlaku masalah. NIST AI RMF Prinsip AI OECD

Itu mungkin kedengaran berat - dan memang begitu. Tetapi ia juga yang membezakan pembangunan yang bernas daripada automasi yang melulu.

Pembangun terbaik yang menggunakan AI generatif bukanlah mereka yang menjadikan model tersebut melakukan paling banyak helah. Mereka adalah mereka yang memahami akibat daripada helah tersebut, dan mereka bentuk dengan sewajarnya. Mereka tahu kelajuan itu penting, tetapi kepercayaan adalah hasil sebenar. Cukup istimewa, idea kuno itu masih kekal. NIST AI RMF

Akhirnya, tanggungjawab bukanlah penghalang kepada inovasi. Ia adalah apa yang menghalang inovasi daripada bertukar menjadi penyebaran yang mahal dan bergolak dengan antara muka yang digilap dan masalah keyakinan 😬✨

Dan mungkin itu versi paling mudah.

Bina dengan berani, sudah tentu - tetapi bina seperti orang ramai mungkin terjejas, kerana mereka memang terjejas. Prinsip AI OECD

Soalan Lazim

Apakah tanggungjawab pembangun yang menggunakan AI generatif dalam amalan?

Tanggungjawab pembangun yang menggunakan AI generatif melangkaui ciri penghantaran dengan pantas. Ia termasuk memilih kes penggunaan yang betul, menguji output, melindungi privasi, mengurangkan tingkah laku berbahaya dan menjadikan sistem difahami oleh pengguna. Dalam praktiknya, pembangun tetap bertanggungjawab terhadap cara alat direka bentuk, dipantau, diperbetulkan dan ditadbir apabila ia gagal.

Mengapakah AI generatif memerlukan lebih banyak tanggungjawab pembangun berbanding perisian biasa?

Pepijat tradisional selalunya jelas kelihatan, tetapi kegagalan AI generatif boleh kedengaran kemas tetapi masih salah, berat sebelah atau berisiko. Ini menjadikan masalah lebih sukar dikesan dan lebih mudah dipercayai oleh pengguna secara tidak sengaja. Pembangun sedang menggunakan sistem kebarangkalian, jadi tanggungjawab termasuk mengendalikan ketidakpastian, mengehadkan bahaya dan menyediakan output yang tidak dapat diramalkan sebelum pelancaran.

Bagaimanakah pembangun tahu bila AI generatif tidak boleh digunakan?

Titik permulaan yang biasa adalah untuk bertanya sama ada tugasan itu terbuka atau lebih baik dikendalikan oleh peraturan, carian atau logik perisian standard. Pembangun juga harus mempertimbangkan berapa banyak bahaya yang boleh disebabkan oleh jawapan yang salah dan sama ada manusia boleh menyemak hasilnya secara realistik. Penggunaan yang bertanggungjawab kadangkala bermaksud memutuskan untuk tidak menggunakan AI generatif sama sekali.

Bagaimanakah pembangun boleh mengurangkan halusinasi dan jawapan yang salah dalam sistem AI generatif?

Ketepatan perlu direka bentuk, bukan diandaikan. Dalam banyak saluran paip, ini bermakna mengasaskan output dalam sumber yang dipercayai, memisahkan teks yang dijana daripada fakta yang disahkan dan menggunakan aliran kerja semakan untuk tugas berisiko tinggi. Pembangun juga harus menguji gesaan yang bertujuan untuk mengelirukan atau mengelirukan sistem, terutamanya dalam bidang seperti kod, sokongan, kewangan, pendidikan dan penjagaan kesihatan.

Apakah tanggungjawab pembangun yang menggunakan AI generatif untuk privasi dan data sensitif?

Tanggungjawab pembangun yang menggunakan AI generatif termasuk meminimumkan data yang memasuki model dan menganggap gesaan, log dan output sebagai sensitif. Pembangun harus mengalih keluar pengecam jika boleh, mengehadkan pengekalan, mengawal akses dan menyemak tetapan vendor dengan teliti. Pengguna juga harus dapat memahami cara data mereka dikendalikan, daripada mengetahui risikonya kemudian.

Bagaimanakah pembangun harus mengendalikan berat sebelah dan keadilan dalam output AI generatif?

Kerja bias memerlukan penilaian aktif, bukan andaian. Pendekatan praktikal adalah untuk menguji gesaan merentasi demografi, bahasa dan konteks yang berbeza, kemudian menyemak output untuk stereotaip, pengecualian atau corak kegagalan yang tidak sekata. Pembangun juga harus mencipta cara untuk pengguna atau pasukan melaporkan tingkah laku berbahaya, kerana sistem boleh kelihatan kukuh secara keseluruhan sambil tetap gagal dalam kumpulan tertentu secara konsisten.

Apakah risiko keselamatan yang perlu difikirkan oleh pembangun dengan AI generatif?

AI Generatif memperkenalkan permukaan serangan baharu, termasuk suntikan segera, penggunaan alat yang tidak selamat, kebocoran data melalui konteks dan penyalahgunaan tindakan automatik. Pembangun harus membersihkan input yang tidak dipercayai, menyekat kebenaran alat, mengehadkan akses fail dan rangkaian dan memantau corak penyalahgunaan. Keselamatan bukan sahaja mengenai antara muka; ia terpakai kepada aliran kerja penuh di sekitar model.

Mengapakah ketelusan penting apabila membina dengan AI generatif?

Pengguna harus tahu dengan jelas bila AI terlibat, apa yang boleh dilakukannya, dan di mana hadnya. Ketelusan yang baik boleh merangkumi label seperti yang dihasilkan AI atau dibantu AI, penjelasan mudah, dan laluan yang jelas kepada sokongan manusia. Kejujuran seperti itu tidak melemahkan produk; ia membantu pengguna menentukur kepercayaan dan membuat keputusan yang lebih baik.

Siapakah yang bertanggungjawab apabila ciri AI generatif menyebabkan kemudaratan atau mengalami sesuatu yang tidak kena?

Pembangun dan pasukan produk masih memiliki hasilnya, walaupun model tersebut menghasilkan jawapannya. Ini bermakna harus ada tanggungjawab yang jelas untuk kelulusan penggunaan, pengendalian insiden, pengembalian, pemantauan dan komunikasi pengguna. "Model yang diputuskan" tidak mencukupi, kerana akauntabiliti harus kekal dengan orang yang mereka bentuk dan melancarkan sistem.

Bagaimanakah rupa pembangunan AI generatif yang bertanggungjawab selepas pelancaran?

Pembangunan yang bertanggungjawab diteruskan selepas pelancaran melalui pemantauan, maklum balas, semakan dan pembetulan. Sistem yang kukuh boleh diaudit, boleh diganggu, boleh dipulihkan dan direka bentuk dengan laluan sandaran apabila AI gagal. Matlamatnya bukanlah kesempurnaan; ia membina sesuatu yang boleh diperiksa, diperbaiki dan diselaraskan dengan selamat apabila masalah dunia sebenar muncul.

Rujukan

  1. Institut Piawaian dan Teknologi Kebangsaan (NIST) - Profil GenAI NIST - nvlpubs.nist.gov

  2. OWASP - 10 Teratas OWASP untuk Aplikasi LLM - owasp.org

  3. Pejabat Pesuruhjaya Maklumat (ICO) - Lapan soalan ICO untuk AI generatif - ico.org.uk

Cari AI Terkini di Kedai Pembantu AI Rasmi

Tentang Kami

Kembali ke blog