Adakah AI akan menggantikan Jurutera Data?

Adakah AI akan menggantikan Jurutera Data?

Jawapan ringkas: AI tidak akan menggantikan jurutera data sepenuhnya; ia akan mengautomasikan kerja berulang seperti penggubalan SQL, perancah saluran paip, ujian dan dokumentasi. Jika peranan anda kebanyakannya kerja pemilikan rendah dan dipacu tiket, ia lebih terdedah; jika anda memiliki kebolehpercayaan, definisi, tadbir urus dan tindak balas insiden, AI terutamanya menjadikan anda lebih pantas.

Kesimpulan utama:

Pemilikan : Utamakan akauntabiliti untuk hasil, bukan sekadar menghasilkan kod dengan cepat.

Kualiti : Bina ujian, kebolehcerapan dan kontrak supaya saluran paip kekal boleh dipercayai.

Tadbir Urus : Menjaga privasi, kawalan akses, pengekalan dan jejak audit milik manusia.

Rintangan penyalahgunaan : Anggap output AI sebagai draf; semaknya untuk mengelakkan kesilapan yang meyakinkan.

Peralihan peranan : Luangkan lebih sedikit masa menaip standard dan lebih banyak masa mereka bentuk sistem yang tahan lama.

Adakah AI akan menggantikan Jurutera Data? Infografik

Jika anda telah meluangkan lebih daripada lima minit di sekitar pasukan data, anda pasti pernah mendengar ungkapan - kadangkala berbisik, kadangkala dilancarkan merentasi mesyuarat seperti kelainan plot: Adakah AI akan menggantikan Jurutera Data?

Dan… saya faham. AI boleh menjana SQL, membina saluran paip, menerangkan jejak tindanan, mendraf model dbt, malah mencadangkan skema gudang dengan keyakinan yang membimbangkan. GitHub Copilot untuk SQL Perihal model dbt GitHub Copilot
Rasanya seperti melihat forklift belajar mengendalikan sesuatu. Mengagumkan, sedikit membimbangkan, dan anda tidak pasti sepenuhnya apa maksudnya untuk kerja anda 😅

Tetapi kebenarannya kurang kemas seperti tajuk utama. AI benar-benar mengubah kejuruteraan data. Ia mengautomasikan bahagian yang membosankan dan boleh diulang. Ia mempercepatkan detik "Saya tahu apa yang saya mahu tetapi tidak dapat mengingati sintaksnya". Ia juga menimbulkan kekacauan jenis baharu.

Jadi mari kita bentangkannya dengan betul, tanpa optimisme yang beralun atau panik yang tertanya-tanya tentang kemungkinan buruk.

Artikel yang mungkin anda ingin baca selepas ini:

🔗 Adakah AI akan menggantikan ahli radiologi?
Bagaimana pengimejan AI mengubah aliran kerja, ketepatan dan peranan masa depan.

🔗 Adakah AI akan menggantikan akauntan?
Lihat tugas perakaunan yang diautomasikan oleh AI dan tugas yang kekal sebagai manusia.

🔗 Adakah AI akan menggantikan bank pelaburan?
Fahami impak AI terhadap urusan, penyelidikan dan hubungan pelanggan.

🔗 Adakah AI akan menggantikan ejen insurans?
Ketahui cara AI mengubah pengunderaitan, jualan dan sokongan pelanggan.

Mengapa soalan “AI menggantikan Jurutera Data” terus muncul semula 😬

Ketakutan itu datang dari tempat yang sangat spesifik: kejuruteraan data mempunyai banyak kerja yang boleh diulang .

  • Menulis dan memfaktorkan semula SQL

  • Skrip pengingesan bangunan

  • Memetakan medan dari satu skema ke skema yang lain

  • Mencipta ujian dan dokumentasi asas

  • Menyahpepijat kegagalan saluran paip yang… agak boleh diramal

AI luar biasa bagus dalam corak yang boleh diulang. Dan sebahagian besar kejuruteraan data adalah tepat seperti itu - corak yang disusun pada corak. Cadangan kod GitHub Copilot

Selain itu, ekosistem alatan sudah pun "menyembunyikan" kerumitan:

Jadi apabila AI muncul, ia boleh terasa seperti kepingan terakhir. Jika timbunan itu sudah diabstrakkan, dan AI boleh menulis kod gam… apa yang tinggal? 🤷

Tetapi inilah perkara yang orang ramai abaikan: kejuruteraan data bukanlah sekadar menaip . Menaip adalah bahagian yang mudah. ​​Bahagian yang sukar ialah menjadikan realiti perniagaan yang kabur, politik dan berubah-ubah bertindak seperti sistem yang boleh dipercayai.

Dan AI masih bergelut dengan kabur itu. Manusia juga bergelut - mereka hanya berimprovisasi dengan lebih baik.

Apa yang sebenarnya dilakukan oleh jurutera data sepanjang hari (kebenaran yang tidak glamor) 🧱

Terus terang - gelaran kerja "Jurutera Data" kedengaran seperti anda sedang membina enjin roket daripada matematik tulen. Dalam praktiknya, anda sedang membina kepercayaan .

Hari biasa kurang "mencipta algoritma baharu" dan lebih banyak lagi:

  • Berunding dengan pasukan huluan tentang definisi data (menyakitkan tetapi perlu)

  • Menyiasat mengapa metrik berubah (dan sama ada ia benar)

  • Mengendalikan hanyutan skema dan kejutan "seseorang menambah lajur pada tengah malam"

  • Memastikan saluran paip adalah idempoten, boleh dipulihkan, boleh diperhatikan

  • Mewujudkan pagar pengadang supaya penganalisis hiliran tidak sengaja membina papan pemuka yang tidak masuk akal

  • Mengurus kos supaya gudang anda tidak menjadi unggun api 🔥

  • Mengamankan akses, pengauditan, pematuhan, dasar pengekalan Prinsip GDPR (Suruhanjaya Eropah) Had storan (ICO)

  • Membina produk data yang boleh digunakan oleh orang ramai tanpa perlu menghantar DM kepada anda 20 soalan

Sebahagian besar pekerjaan itu bersifat sosial dan operasi:

  • "Siapa pemilik meja ini?"

  • "Adakah definisi ini masih sah?"

  • "Mengapakah CRM mengeksport pendua?"

  • "Bolehkah kita menghantar metrik ini kepada eksekutif tanpa rasa malu?" 😭

AI boleh membantu dengan beberapa bahagian ini, sudah tentu. Tetapi menggantikannya sepenuhnya adalah… satu cabaran.

Apakah yang menjadikan versi peranan kejuruteraan data yang kukuh? ✅

Bahagian ini penting kerana perbincangan penggantian biasanya menganggap jurutera data kebanyakannya adalah "pembina saluran paip." Itu seperti menganggap cef terutamanya "memotong sayur-sayuran". Ia adalah sebahagian daripada tugas, tetapi ia bukanlah tugasnya.

Versi jurutera data yang mantap biasanya bermaksud mereka boleh melakukan kebanyakan perkara ini:

  • Reka bentuk untuk perubahan
    Data berubah. Pasukan berubah. Alat berubah. Jurutera yang baik membina sistem yang tidak runtuh setiap kali realiti bersin 🤧

  • Takrifkan kontrak dan jangkaan
    Apakah maksud "pelanggan"? Apakah maksud "aktif"? Apa yang berlaku apabila pertengkaran tiba lewat? Kontrak lebih menghalang huru-hara berbanding kod canggih. Piawaian Kontrak Data Terbuka (ODCS) ODCS (GitHub)

  • Bina kebolehcerapan ke dalam semua perkara
    Bukan sahaja "adakah ia berjalan" tetapi "adakah ia berjalan dengan betul." Kesegaran, anomali isipadu, letupan nol, anjakan taburan. Kebolehcerapan data (Dynatrace) Apakah kebolehcerapan data?

  • Buat pertukaran seperti orang dewasa
    Kelajuan vs ketepatan, kos vs kependaman, fleksibiliti vs kesederhanaan. Tiada saluran paip yang sempurna, hanya saluran paip yang anda boleh terima.

  • Terjemahkan keperluan perniagaan kepada sistem yang tahan lama.
    Orang ramai meminta metrik, tetapi apa yang mereka perlukan ialah produk data. AI boleh mendraf kod, tetapi ia tidak boleh secara ajaib mengetahui ranjau darat perniagaan.

  • Pastikan data senyap.
    Pujian tertinggi untuk platform data ialah tiada sesiapa yang membincangkannya. Data yang lancar adalah data yang baik. Seperti paip. Anda hanya menyedarinya apabila ia rosak 🚽

Jika anda melakukan perkara-perkara ini, persoalan "Adakah AI akan menggantikan Jurutera Data?" mula kedengaran... agak pelik. AI boleh menggantikan tugas , bukan pemilikan .

Di mana AI sudah membantu jurutera data (dan ia benar-benar hebat) 🤖✨

AI bukan sekadar pemasaran. Jika digunakan dengan baik, ia merupakan pengganda daya yang sah.

1) Kerja SQL dan transformasi yang lebih pantas

  • Merangka sambungan kompleks

  • Menulis fungsi tetingkap yang anda tidak mahu fikirkan

  • Menukar logik bahasa biasa menjadi rangka pertanyaan

  • Memfaktorkan semula pertanyaan hodoh ke dalam CTE yang boleh dibaca GitHub Copilot untuk SQL

Ini sangat besar kerana ia mengurangkan kesan "halaman kosong". Anda masih perlu mengesahkan, tetapi anda bermula pada 70% dan bukannya 0%.

2) Penyahpepijatan dan penyelesaian punca masalah

AI adalah baik pada:

  • Menerangkan mesej ralat

  • Mencadangkan tempat untuk mencari

  • Mengesyorkan langkah jenis "semak ketidakpadanan skema" GitHub Copilot
    Ia seperti mempunyai seorang jurutera junior yang tidak kenal penat lelah yang tidak pernah tidur dan kadangkala berbohong dengan yakin 😅

3) Pengayaan dokumentasi dan katalog data

Dijana secara automatik:

  • Huraian lajur

  • Ringkasan model

  • Penjelasan keturunan

  • "Apakah kegunaan jadual ini?" draf dokumentasi dbt

Ia tidak sempurna, tetapi ia memecahkan kutukan saluran paip yang tidak didokumenkan.

4) Uji perancah dan pemeriksaan

AI boleh mencadangkan:

Sekali lagi - anda masih memutuskan apa yang penting, tetapi ia mempercepatkan bahagian rutin.

5) Kod "gam" saluran paip

Templat konfigurasi, perancah YAML, draf DAG orkestrasi. Perkara itu berulang dan AI makan berulang untuk sarapan pagi 🥣 DAG Aliran Udara Apache

Di mana AI masih bergelut (dan inilah terasnya) 🧠🧩

Ini adalah bahagian yang paling penting, kerana ia menjawab soalan penggantian dengan tekstur sebenar.

1) Kekaburan dan definisi yang berubah-ubah

Logik perniagaan jarang sekali tepat. Orang ramai berubah fikiran di pertengahan ayat. "Pengguna aktif" menjadi "pengguna berbayar aktif" menjadi "pengguna berbayar aktif yang tidak termasuk bayaran balik kecuali kadangkala"... anda tahu bagaimana keadaannya.

AI tidak boleh memiliki kekaburan itu. Ia hanya boleh meneka.

2) Akauntabiliti dan risiko

Apabila saluran paip rosak dan papan pemuka eksekutif menunjukkan karut, seseorang perlu:

  • triaj

  • menyampaikan impak

  • betulkan

  • mencegah berulangnya

  • tulis postmortem

  • tentukan sama ada perniagaan masih boleh mempercayai angka minggu lepas

AI boleh membantu, tetapi ia tidak boleh bertanggungjawab dengan cara yang bermakna. Organisasi tidak beroperasi berdasarkan getaran - ia bergantung pada tanggungjawab.

3) Pemikiran sistemik

Platform data ialah ekosistem: pengambilan, penyimpanan, transformasi, orkestrasi, tadbir urus, kawalan kos, SLA. Perubahan dalam satu lapisan memberi kesan. Konsep Apache Airflow

AI boleh mencadangkan pengoptimuman tempatan yang menimbulkan masalah global. Ia seperti membaiki pintu yang berderit dengan menanggalkan pintu tersebut 😬

4) Keselamatan, privasi, pematuhan

Di sinilah fantasi penggantian akan mati.

AI boleh merangka dasar, tetapi melaksanakannya dengan selamat adalah kejuruteraan sebenar.

5) "Perkara yang tidak diketahui"

Insiden data selalunya tidak dapat diramalkan:

  • API vendor mengubah semantik secara senyap

  • Andaian zon waktu berubah

  • Pengisian semula menduplikasi partition

  • Mekanisme cuba semula menyebabkan penulisan berganda

  • Ciri produk baharu memperkenalkan corak acara baharu

AI lebih lemah apabila situasi itu bukan corak yang diketahui.

Jadual Perbandingan: apa yang mengurangkan apa, dalam praktiknya 🧾🤔

Berikut adalah pandangan praktikal. Bukan "alat yang menggantikan orang," tetapi alat dan pendekatan yang mengecilkan tugas tertentu.

Alat / pendekatan Khalayak Suasana harga Mengapa ia berkesan
Juruterbang kod AI (pembantu SQL + Python) GitHub Copilot Jurutera yang menulis banyak kod Percuma hingga berbayar Hebat dalam perancah, pemfaktoran semula, sintaks… kadangkala berlagak dengan cara yang sangat spesifik
Penyambung ELT terurus Fivetran Pasukan yang bosan dengan pengambilan bangunan Langganan Menghilangkan rasa sakit pengambilan tersuai, tetapi melegakan dengan cara baharu yang menyeronokkan
Platform kebolehcerapan data Kebolehcerapan data (Dynatrace) Sesiapa sahaja yang memiliki SLA Pertengahan hingga perusahaan Mengesan anomali lebih awal - seperti penggera asap untuk saluran paip 🔔
Kerangka kerja transformasi (pemodelan deklaratif) dbt Hibrid Analitis + DE Biasanya alat + komputer Menjadikan logik modular dan boleh diuji, kurang spageti
Katalog data + lapisan semantik dbt Lapisan Semantik Organisasi dengan kekeliruan metrik Bergantung, dalam praktiknya Mendefinisikan "kebenaran" sekali - mengurangkan perdebatan metrik yang tidak berkesudahan
Orkestrasi dengan templat Apache Airflow Pasukan yang berfikiran platform Kos operasi + buka Menyeragamkan aliran kerja; kurang DAG kepingan salji
Penjanaan dokumen dbt dokumentasi berbantukan AI Pasukan yang benci menulis dokumen Murah hingga sederhana Menghasilkan dokumen yang "cukup baik" supaya pengetahuan tidak hilang
Dasar tadbir urus automatik Rangka Kerja Privasi NIST Persekitaran yang dikawal selia Perusahaan-y Membantu menguatkuasakan peraturan - tetapi masih memerlukan manusia untuk mereka bentuk peraturan

Perhatikan apa yang tiada: baris yang tertulis “tekan butang untuk mengalih keluar jurutera data.” Ya… baris itu tidak wujud 🙃

Jadi… adakah AI akan menggantikan Jurutera Data, atau hanya akan mengubah peranannya? 🛠️

Inilah jawapan yang tidak dramatik: AI akan menggantikan sebahagian daripada aliran kerja, bukan profesion.

Tetapi ia akan mengkonfigurasi semula peranan tersebut. Dan jika anda mengabaikannya, anda akan merasakan tekanannya.

Apa yang berubah:

  • Kurang masa menulis boilerplate

  • Kurang masa mencari dokumen

  • Lebih banyak masa untuk menyemak, mengesahkan, mereka bentuk

  • Lebih banyak masa menentukan kontrak dan jangkaan kualiti Piawaian Kontrak Data Terbuka (ODCS)

  • Lebih banyak masa bekerjasama dengan produk, keselamatan, kewangan

Ini adalah perubahan halus: kejuruteraan data menjadi kurang mengenai "membina saluran paip" dan lebih kepada "membina sistem produk data yang boleh dipercayai."

Dan dalam keadaan yang perlahan, itu lebih berharga, bukan kurang.

Juga - dan saya akan mengatakan ini walaupun ia kedengaran dramatik - AI meningkatkan bilangan orang yang boleh menghasilkan artifak data , yang meningkatkan keperluan seseorang untuk memastikan semuanya berjalan lancar. Lebih banyak output bermakna lebih banyak potensi kekeliruan. GitHub Copilot

Ia seperti memberi semua orang gerudi kuasa. Bagus! Sekarang seseorang perlu menguatkuasakan peraturan “tolong jangan tebuk paip air” 🪠

Susunan kemahiran baharu yang kekal berharga (walaupun dengan AI di mana-mana) 🧠⚙️

Jika anda mahukan senarai semak "kalis masa depan" yang praktikal, ia kelihatan seperti ini:

Pemikiran reka bentuk sistem

  • Pemodelan data yang bertahan dalam perubahan

  • Pertukaran kelompok vs penstriman

  • Pemikiran latensi, kos, kebolehpercayaan

Kejuruteraan kualiti data

Tadbir urus dan seni bina kepercayaan

Pemikiran platform

  • Templat boleh guna semula, laluan emas

  • Corak piawai untuk pengambilan, transformasi, pengujian ujian data dbt Fivetran

  • Peralatan layan diri yang tidak mudah lebur

Komunikasi (ya, betul)

  • Menulis dokumen yang jelas

  • Menyelaraskan definisi

  • Mengatakan "tidak" dengan sopan tetapi tegas

  • Menerangkan pertukaran tanpa kedengaran seperti robot 🤖

Jika anda boleh melakukan ini, persoalan “Adakah AI akan menggantikan Jurutera Data?” menjadi kurang mengancam. AI akan menjadi rangka luar anda, bukan pengganti anda.

Senario realistik di mana beberapa peranan kejuruteraan data mengecil 📉

Baiklah, semakan realiti sekejap, kerana bukan semuanya tentang cahaya matahari dan konfeti emoji 🎉

Beberapa peranan lebih terdedah:

  • Peranan pengambilan tulen sahaja di mana semuanya adalah penyambung standard

  • Pasukan yang kebanyakannya melakukan saluran pelaporan berulang dengan nuansa domain yang minimum

  • Organisasi di mana kejuruteraan data dianggap sebagai "monyet SQL" (keras, tetapi benar)

  • Peranan pemilikan rendah di mana kerja itu hanyalah tiket dan salin-tampal

AI serta perkakasan terurus boleh mengurangkan keperluan tersebut.

Tetapi walaupun di sana, penggantian biasanya kelihatan seperti:

  • Lebih sedikit orang yang melakukan kerja berulang yang sama

  • Lebih penekanan pada pemilikan dan kebolehpercayaan platform

  • Peralihan ke arah "seorang boleh menyokong lebih banyak saluran paip"

Jadi ya - corak bilangan pekerja boleh berubah. Peranan berkembang. Gelaran berubah. Bahagian itu adalah nyata.

Namun begitu, versi peranan yang mempunyai pemilikan tinggi dan kepercayaan tinggi tetap dikekalkan.

Ringkasan penutup 🧾✅

Adakah AI akan menggantikan Jurutera Data? Bukan dengan cara yang bersih dan menyeluruh seperti yang dibayangkan orang ramai.

AI akan:

Tetapi kejuruteraan data pada asasnya adalah tentang:

AI boleh membantu dalam hal itu… tetapi ia tidak "memilikinya".

Jika anda seorang jurutera data, langkahnya mudah (bukan mudah, tetapi ringkas):
fokus kepada pemilikan, kualiti, pemikiran platform dan komunikasi. Biarkan AI mengendalikan perkara penting sementara anda mengendalikan bahagian yang penting.

Dan ya - kadangkala itu bermakna menjadi orang dewasa di dalam bilik. Tidak glamor. Namun, secara senyap-senyap berkuasa 😄

Adakah AI akan menggantikan Jurutera Data?
Ia akan menggantikan beberapa tugas, merombak kedudukan dan menjadikan jurutera data terbaik lebih berharga. Itulah kisah sebenar.

Soalan Lazim

Adakah AI akan menggantikan jurutera data sepenuhnya?

Dalam kebanyakan organisasi, AI lebih cenderung untuk mengambil alih tugas tertentu daripada memadamkan peranan tersebut sepenuhnya. Ia boleh mempercepatkan penggubalan SQL, perancah saluran paip, dokumentasi lulus pertama dan penciptaan ujian asas. Tetapi kejuruteraan data juga membawa pemilikan dan akauntabiliti, serta kerja yang tidak glamor untuk menjadikan realiti perniagaan yang kucar-kacir berkelakuan seperti sistem yang boleh dipercayai. Bahagian-bahagian tersebut masih memerlukan manusia untuk memutuskan seperti apa rupa "betul" dan bertanggungjawab apabila keadaan menjadi tidak menentu.

Apakah bahagian kejuruteraan data yang telah diautomasikan oleh AI?

AI berfungsi dengan baik pada kerja yang boleh diulang: mendraf dan memfaktorkan semula SQL, menjana rangka model dbt, menerangkan ralat biasa dan menghasilkan garis panduan dokumentasi. Ia juga boleh menguji perancah seperti semakan nol atau keunikan dan menjana kod "gam" templat untuk alat orkestrasi. Kemenangannya ialah momentum - anda mula menghampiri penyelesaian yang berfungsi - tetapi anda masih perlu mengesahkan ketepatan dan memastikan ia sesuai dengan persekitaran anda.

Jika AI boleh menulis SQL dan saluran paip, apa yang tinggal untuk jurutera data?

Banyak perkara: mentakrifkan kontrak data, mengendalikan hanyutan skema dan memastikan saluran paip adalah idempoten, boleh diperhatikan dan boleh dipulihkan. Jurutera data meluangkan masa menyiasat perubahan metrik, membina penghadang untuk pengguna hiliran dan mengurus pertukaran kos dan kebolehpercayaan. Tugasnya selalunya bergantung kepada membina kepercayaan dan memastikan platform data "senyap", yang bermaksud cukup stabil sehingga tiada siapa yang perlu memikirkannya dari hari ke hari.

Bagaimanakah AI mengubah kerja harian jurutera data?

Ia biasanya mengurangkan boilerplate dan "masa carian," jadi anda menghabiskan lebih sedikit masa menaip dan lebih banyak masa menyemak, mengesahkan dan mereka bentuk. Peralihan itu mendorong peranan ke arah menentukan jangkaan, piawaian kualiti dan corak yang boleh digunakan semula daripada mengekod semuanya secara manual. Dalam praktiknya, anda mungkin akan melakukan lebih banyak kerja perkongsian dengan produk, keselamatan dan kewangan - kerana output teknikal menjadi lebih mudah untuk dicipta, tetapi lebih sukar untuk ditadbir.

Mengapakah AI bergelut dengan definisi perniagaan yang samar-samar seperti "pengguna aktif"?

Kerana logik perniagaan tidak statik atau tepat - ia berubah di pertengahan projek dan berbeza-beza mengikut pihak berkepentingan. AI boleh merangka tafsiran, tetapi ia tidak boleh membuat keputusan sendiri apabila definisi berkembang atau timbul konflik. Kejuruteraan data selalunya memerlukan rundingan, mendokumentasikan andaian dan mengubah keperluan kabur menjadi kontrak yang tahan lama. Kerja "penjajaran manusia" itu adalah sebab utama peranan tersebut tidak hilang walaupun perkakasan bertambah baik.

Bolehkah AI mengendalikan tadbir urus data, privasi dan pematuhan berfungsi dengan selamat?

AI boleh membantu merangka dasar atau mencadangkan pendekatan, tetapi pelaksanaan yang selamat masih memerlukan kejuruteraan sebenar dan pengawasan yang teliti. Tadbir urus melibatkan kawalan akses, pengendalian PII, peraturan pengekalan, jejak audit dan kadangkala kekangan residensi. Ini adalah bidang berisiko tinggi di mana "hampir betul" tidak boleh diterima. Manusia mesti mereka bentuk peraturan, mengesahkan penguatkuasaan dan kekal bertanggungjawab terhadap hasil pematuhan.

Apakah kemahiran yang kekal berharga untuk jurutera data apabila AI bertambah baik?

Kemahiran yang menjadikan sistem berdaya tahan: pemikiran reka bentuk sistem, kejuruteraan kualiti data dan penyeragaman yang berorientasikan platform. Kontrak, kebolehcerapan, tabiat tindak balas insiden dan analisis punca utama yang berdisiplin menjadi lebih penting apabila lebih ramai orang boleh menjana artifak data dengan cepat. Komunikasi juga menjadi pembeza - menyelaraskan definisi, menulis dokumen yang jelas dan menerangkan pertukaran tanpa drama adalah bahagian penting dalam memastikan data boleh dipercayai.

Peranan kejuruteraan data manakah yang paling berisiko daripada AI dan perkakasan terurus?

Peranan yang tertumpu secara sempit pada pengingesan berulang atau saluran pelaporan standard lebih terdedah, terutamanya apabila penyambung ELT terurus meliputi kebanyakan sumber. Kerja yang dipacu oleh pemilikan rendah dan tiket boleh mengecil kerana AI dan abstraksi mengurangkan usaha setiap saluran. Tetapi ini biasanya kelihatan seperti lebih sedikit orang yang melakukan tugas berulang, bukan "tiada jurutera data." Peranan pemilikan tinggi yang berpusat pada kebolehpercayaan, kualiti dan kepercayaan kekal berkekalan.

Bagaimanakah saya harus menggunakan alat seperti GitHub Copilot atau dbt dengan AI tanpa mewujudkan kekacauan?

Anggap output AI sebagai draf, bukan keputusan. Gunakannya untuk menjana rangka pertanyaan, meningkatkan kebolehbacaan atau membentuk ujian dan dokumen dbt, kemudian sahkan terhadap data sebenar dan kes pinggir. Padankannya dengan konvensyen yang kukuh: kontrak, piawaian penamaan, semakan kebolehcerapan dan amalan semakan. Matlamatnya adalah penghantaran yang lebih pantas tanpa mengorbankan kebolehpercayaan, kawalan kos atau tadbir urus.

Rujukan

  1. Suruhanjaya Eropah - Perlindungan data dijelaskan: prinsip GDPR - commission.europa.eu

  2. Pejabat Pesuruhjaya Maklumat (ICO) - Had storan - ico.org.uk

  3. Suruhanjaya Eropah - Berapa lama data boleh disimpan dan adakah perlu untuk mengemas kininya? - commission.europa.eu

  4. Institut Piawaian dan Teknologi Kebangsaan (NIST) - Rangka Kerja Privasi - nist.gov

  5. Pusat Sumber Keselamatan Komputer NIST (CSRC) - SP 800-92: Panduan untuk Pengurusan Log Keselamatan Komputer - csrc.nist.gov

  6. Pusat Keselamatan Internet (CIS) - Pengurusan Log Audit (Kawalan CIS) - cisecurity.org

  7. Dokumentasi Kepingan Salji - Dasar akses baris - docs.snowflake.com

  8. Dokumentasi Awan Google - Keselamatan peringkat baris BigQuery - docs.cloud.google.com

  9. BITOL - Piawaian Kontrak Data Terbuka (ODCS) v3.1.0 - bitol-io.github.io

  10. BITOL (GitHub) - Standard Kontrak Data Terbuka - github.com

  11. Aliran Udara Apache - Dokumentasi (stabil) - airflow.apache.org

  12. Aliran Udara Apache - DAG (konsep teras) - airflow.apache.org

  13. Dokumentasi Makmal dbt - Apakah dbt? - docs.getdbt.com

  14. Dokumentasi Makmal dbt - Perihal model dbt - docs.getdbt.com

  15. Dokumentasi Makmal dbt - Dokumentasi - docs.getdbt.com

  16. Dokumentasi Makmal dbt - Ujian data - docs.getdbt.com

  17. Dokumentasi Makmal dbt - Lapisan Semantik dbt - docs.getdbt.com

  18. Dokumentasi Fivetran - Bermula - fivetran.com

  19. Fivetran - Penyambung - fivetran.com

  20. Dokumentasi AWS - Panduan Pembangun AWS Lambda - docs.aws.amazon.com

  21. GitHub - GitHub Copilot - github.com

  22. Dokumen GitHub - Mendapatkan cadangan kod dalam IDE anda dengan GitHub Copilot - docs.github.com

  23. Microsoft Learn - GitHub Copilot untuk SQL (sambungan Kod VS) - learn.microsoft.com

  24. Dokumentasi Dynatrace - Kebolehcerapan data - docs.dynatrace.com

  25. DataGalaxy - Apakah kebolehcerapan data? - datagalaxy.com

  26. Dokumentasi Jangkaan Hebat - Gambaran keseluruhan jangkaan - docs.greatexpectations.io

Cari AI Terkini di Kedai Pembantu AI Rasmi

Tentang Kami

Kembali ke blog