Berapa banyak Tenaga yang digunakan oleh AI? [Video dan Kuiz]

Jawapan: AI boleh menggunakan elektrik yang sangat sedikit untuk tugasan teks yang mudah, tetapi lebih banyak lagi apabila gesaan panjang, output berbilang modal, atau sistem beroperasi pada skala besar-besaran. Latihan biasanya merupakan tenaga permulaan utama, manakala inferens harian menjadi penting apabila permintaan terkumpul.

Kesimpulan utama:

Konteks: Takrifkan tugasan, model, perkakasan dan skala sebelum memetik sebarang anggaran tenaga.

Latihan: Anggap latihan model sebagai acara tenaga pendahuluan utama apabila merancang bajet.

Inferens: Perhatikan inferens berulang dengan teliti, kerana kos setiap permintaan yang kecil meningkat dengan cepat pada skala yang besar.

Infrastruktur: Sertakan penyejukan, storan, rangkaian dan kapasiti terbiar dalam sebarang anggaran yang realistik.

Kecekapan: Gunakan model yang lebih kecil, gesaan yang lebih pendek, penyimpanan caching dan pengelompokan untuk mengurangkan penggunaan tenaga.

Artikel yang mungkin anda ingin baca selepas ini:

🔗 Bagaimana AI mempengaruhi alam sekitar
Menerangkan jejak karbon, penggunaan tenaga dan keseimbangan kemampanan AI.

🔗 Adakah AI buruk untuk alam sekitar?
Membongkar kos persekitaran tersembunyi bagi model AI dan pusat data.

🔗 Adakah AI baik atau buruk? Kelebihan dan kekurangan
Pandangan yang seimbang terhadap manfaat, risiko, etika dan impak sebenar AI.

🔗 Apakah AI? Panduan ringkas
Pelajari asas AI, istilah utama dan contoh harian dalam beberapa minit.

Mengapa soalan ini lebih penting daripada yang difikirkan orang 🔍

Penggunaan tenaga AI bukan sekadar topik perbincangan tentang alam sekitar. Ia menyentuh beberapa perkara yang sangat nyata:

• Kos elektrik - terutamanya untuk perniagaan yang menjalankan banyak permintaan AI

• Impak karbon - bergantung pada sumber kuasa di belakang pelayan

• Tekanan perkakasan - cip berkuasa menarik watt yang tinggi

• Keputusan penskalaan - satu gesaan murah boleh bertukar menjadi berjuta-juta keputusan yang mahal

• Reka bentuk produk - kecekapan selalunya merupakan ciri yang lebih baik daripada yang disedari orang ramai (Google Cloud, Green AI)

Ramai orang bertanya "Berapa banyak Tenaga yang digunakan oleh AI?" kerana mereka mahukan angka yang dramatik. Sesuatu yang besar. Sesuatu yang mesra tajuk utama. Tetapi soalan yang lebih baik ialah: Jenis penggunaan AI yang manakah yang kita bicarakan? Kerana itu mengubah segala-galanya. (IEA)

Satu cadangan autolengkap? Agak kecil.
Melatih model sempadan merentasi kluster besar-besaran? Jauh lebih besar.
Aliran kerja AI perusahaan yang sentiasa aktif yang menyentuh berjuta-juta pengguna? Ya, itu bertambah dengan cepat... seperti sen bertukar menjadi bayaran sewa. (DOE, Google Cloud)

Berapa banyak Tenaga yang digunakan oleh AI? Jawapan ringkasnya ⚡

Inilah versi praktikalnya.

AI boleh menggunakan mana-mana sahaja daripada pecahan kecil watt-jam untuk tugasan ringan hinggalah kepada sejumlah besar elektrik untuk latihan dan penggunaan berskala besar. Julat itu kedengaran agak luas kerana ia luas. (Google Cloud, Strubell dkk.)

Secara ringkasnya:

• Tugasan inferens mudah - selalunya agak sederhana berdasarkan setiap penggunaan

• Perbualan panjang, output besar, penjanaan imej, penjanaan video - ketara lebih intensif tenaga

• Melatih model besar - juara kelas berat penggunaan kuasa

• Menjalankan AI pada skala besar sepanjang hari - di mana "kecil setiap permintaan" menjadi "jumlah bil yang besar" (Google Cloud, DOE)

Peraturan praktikal yang baik ialah ini:

• Latihan adalah acara tenaga pendahuluan yang gergasi 🏭

• Inferens ialah bil utiliti yang sedang berjalan 💡 (Strubell et al., Google Research)

Jadi apabila seseorang bertanya, Berapa Banyak Tenaga yang digunakan oleh AI?,jawapan langsungnya ialah, “Bukan satu jumlah - tetapi cukup untuk kecekapan penting, dan cukup untuk skala mengubah keseluruhan cerita.” (IEA, Green AI)

Saya tahu itu tidaklah semenarik yang orang ramai mahukan. Tapi itu benar.

Apakah yang menjadikan versi anggaran tenaga AI yang baik? 🧠

Anggaran yang baik bukan sekadar nombor dramatik yang dilemparkan pada grafik. Anggaran praktikal merangkumi konteks. Jika tidak, ia seperti menimbang kabus dengan penimbang bilik mandi. Cukup dekat untuk kedengaran mengagumkan, tidak cukup dekat untuk dipercayai. (IEA, Google Cloud)

Anggaran tenaga AI yang baik harus merangkumi:

• Jenis tugasan - teks, imej, audio, video, latihan, penalaan halus

• Saiz model - model yang lebih besar biasanya memerlukan lebih banyak pengiraan

• Perkakasan yang digunakan - tidak semua cip sama cekap

• Tempoh sesi - gesaan pendek dan aliran kerja berbilang langkah yang panjang sangat berbeza

• Penggunaan - sistem terbiar masih menggunakan kuasa

• Penyejukan dan infrastruktur - pelayan bukanlah keseluruhan bil

• Lokasi dan campuran tenaga - elektrik tidak sama bersih di mana-mana (Google Cloud, IEA)

Inilah sebabnya mengapa dua orang boleh berhujah tentang penggunaan elektrik AI dan kedua-duanya kedengaran yakin ketika bercakap tentang perkara yang sama sekali berbeza. Seorang bermaksud satu respons chatbot. Seorang lagi bermaksud larian latihan yang besar. Kedua-duanya berkata "AI," dan tiba-tiba perbualan itu terhenti 😅

Jadual Perbandingan - cara terbaik untuk menganggarkan penggunaan tenaga AI 📊

Berikut ialah jadual praktikal untuk sesiapa sahaja yang cuba menjawab soalan tersebut tanpa mengubahnya menjadi seni persembahan.

Alat atau kaedah	Khalayak terbaik	Harga	Mengapa ia berkesan
Anggaran peraturan mudah	Pembaca yang ingin tahu, pelajar	Percuma	Cepat, mudah, sedikit kabur - tetapi cukup baik untuk perbandingan kasar
Meter watt sisi peranti	Pembina solo, penggemar hobi	Rendah	Mengukur daya tarikan mesin sebenar, yang merupakan konkrit yang menyegarkan
Papan pemuka telemetri GPU	Jurutera, pasukan ML	Sederhana	Perincian yang lebih baik pada tugasan yang memerlukan pengiraan yang banyak, walaupun ia boleh terlepas daripada beban kemudahan yang lebih besar
Pengebilan awan + log penggunaan	Syarikat baharu, pasukan operasi	Sederhana hingga tinggi	Menghubungkan penggunaan AI dengan perbelanjaan sebenar - tidak sempurna, masih agak berharga
Pelaporan tenaga pusat data	Pasukan perusahaan	Tinggi	Memberikan keterlihatan operasi, penyejukan dan infrastruktur yang lebih luas mula muncul di sini
Penilaian kitaran hayat penuh	Pasukan kemampanan, organisasi besar	Rasa khayal, kadangkala menyakitkan	Terbaik untuk analisis yang serius kerana ia melangkaui cip itu sendiri... tetapi ia perlahan dan agak sukar

Tiada kaedah yang sempurna. Itulah bahagian yang agak mengecewakan. Tetapi terdapat tahap nilai. Dan biasanya, sesuatu yang boleh digunakan mengatasi yang sempurna. (Google Cloud)

Faktor terbesar bukanlah sihir - ia adalah pengkomputeran dan perkakasan 🖥️🔥

Apabila orang ramai membayangkan penggunaan tenaga AI, mereka sering membayangkan model itu sendiri sebagai benda yang menggunakan kuasa. Tetapi model itu adalah logik perisian yang berjalan pada perkakasan. Perkakasan adalah tempat bil elektrik dipaparkan. (Strubell et al., Google Cloud)

Pembolehubah terbesar biasanya termasuk:

• Jenis GPU atau pemecut

• Berapa banyak cip yang digunakan

• Berapa lama mereka kekal aktif

• Beban memori

• Saiz kelompok dan daya pemprosesan

• Sama ada sistem dioptimumkan dengan baik atau sekadar memaksa semuanya (Google Cloud, Pengkuantuman, Pengumpulan dan Strategi Pelayanan dalam Penggunaan Tenaga LLM)

Sistem yang sangat dioptimumkan boleh melakukan lebih banyak kerja dengan kurang tenaga. Sistem yang tidak kemas boleh membazirkan elektrik dengan keyakinan yang menakjubkan. Anda tahu bagaimana keadaannya - sesetengah persediaan adalah kereta lumba, sesetengahnya adalah kereta beli-belah dengan roket yang dilekatkan pita saluran 🚀🛒

Dan ya, saiz model adalah penting. Model yang lebih besar cenderung memerlukan lebih banyak memori dan lebih banyak pengiraan, terutamanya apabila menjana output yang panjang atau mengendalikan penaakulan yang kompleks. Tetapi helah kecekapan boleh mengubah gambaran: (AI Hijau, Pengkuantuman, Pengumpulan dan Strategi Pelayanan dalam Penggunaan Tenaga LLM)

• kuantisasi

• penghalaan yang lebih baik

• model pakar yang lebih kecil

• penyimpanan

• pengelompokan

• Penjadualan perkakasan yang lebih pintar (Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM)

Jadi persoalannya bukan sahaja "Berapa besarkah model itu?" Ia juga "Seberapa pintarkah ia dijalankan?"

Latihan vs inferens - ini adalah haiwan yang berbeza 🐘🐇

Perpecahan inilah yang mengelirukan hampir semua orang.

Latihan

Latihan adalah apabila model mempelajari corak daripada set data yang sangat besar. Ia boleh melibatkan banyak cip yang berjalan untuk tempoh yang lama, mengunyah sejumlah besar data. Peringkat ini memerlukan tenaga. Kadangkala begitu juga. (Strubell et al.)

Tenaga latihan bergantung kepada:

• saiz model

• saiz set data

• bilangan larian latihan

• eksperimen yang gagal

• hantaran penalaan halus

• kecekapan perkakasan

• penyejukan atas (Strubell et al., Google Research)

Dan inilah bahagian yang sering terlepas pandang oleh orang ramai - orang ramai sering membayangkan satu larian latihan besar, dilakukan sekali, akhir cerita. Dalam praktiknya, pembangunan boleh melibatkan larian berulang, penalaan, latihan semula, penilaian dan semua lelaran yang biasa tetapi mahal di sekitar acara utama. (Strubell et al., Green AI)

Inferens

Inferens ialah model yang menjawab permintaan pengguna sebenar. Satu permintaan mungkin tidak kelihatan banyak. Tetapi inferens berlaku berulang kali. Berjuta-juta kali. Kadangkala berbilion-bilion. (Google Research, DOE)

Tenaga inferens meningkat dengan:

• panjang gesaan

• panjang keluaran

• bilangan pengguna

• keperluan latensi

• ciri-ciri multimodal

• jangkaan masa operasi

• langkah keselamatan dan pemprosesan pasca (Google Cloud, Pengkuantuman, Pengumpulan dan Strategi Penyajian dalam Penggunaan Tenaga LLM)

Jadi latihan umpama gempa bumi. Inferens ialah pasang surut. Satu dramatik, satu gigih, dan kedua-duanya boleh membentuk semula pantai sedikit. Ia mungkin satu metafora yang luar biasa, tetapi ia tetap bersama... lebih kurang.

Kos tenaga tersembunyi yang dilupakan orang 😬

Apabila seseorang menganggarkan penggunaan kuasa AI dengan hanya melihat cip tersebut, mereka biasanya mengira dengan jumlah yang tidak mencukupi. Tidak selalunya membawa padah, tetapi cukup penting. (Google Cloud, IEA)

Berikut adalah bahagian-bahagian yang tersembunyi:

Menyejukkan ❄️

Pelayan menjana haba. Perkakasan AI yang berkuasa menjana banyak haba. Penyejukan bukanlah pilihan. Setiap watt yang digunakan oleh pengiraan cenderung untuk menarik lebih banyak penggunaan tenaga hanya untuk memastikan suhu berada dalam keadaan normal. (IEA, Google Cloud)

Pergerakan data 🌐

Memindahkan data merentasi storan, memori dan rangkaian juga memerlukan tenaga. AI bukan sekadar "berfikir". Ia juga sentiasa mengalihkan maklumat. (IEA)

Kapasiti terbiar 💤

Sistem yang dibina untuk permintaan puncak tidak selalunya berjalan pada permintaan puncak. Infrastruktur yang terbiar atau kurang digunakan masih menggunakan elektrik. (Google Cloud)

Lebihan dan kebolehpercayaan 🧱

Sandaran, sistem failover, kawasan pendua, lapisan keselamatan - semuanya berharga, semuanya sebahagian daripada gambaran tenaga yang lebih besar. (IEA)

Penyimpanan 📦

Data latihan, penyematan, log, pusat pemeriksaan, output yang dijana - semuanya berada di suatu tempat. Storan lebih murah daripada pengkomputeran, sudah tentu, tetapi tidak percuma dari segi tenaga. (IEA)

Inilah sebabnya mengapa Berapa Banyak Tenaga yang Digunakan oleh AI? tidak dapat dijawab dengan baik hanya dengan melihat carta penanda aras tunggal. Susunan penuh adalah penting. (Google Cloud, IEA)

Mengapa satu gesaan AI boleh menjadi kecil - dan gesaan seterusnya boleh menjadi raksasa 📝➡️🎬

Tidak semua gesaan dicipta sama. Permintaan ringkas untuk penulisan semula ayat tidak setanding dengan meminta analisis yang panjang, sesi pengekodan berbilang langkah atau penjanaan imej resolusi tinggi. (Google Cloud)

Perkara yang cenderung meningkatkan penggunaan tenaga setiap interaksi:

• Tetingkap konteks yang lebih panjang

• Respons yang lebih panjang

• Langkah penggunaan dan pengambilan alat

• Pelbagai laluan untuk penaakulan atau pengesahan

• Penjanaan imej, audio atau video

• Keserentakan yang lebih tinggi

• Sasaran kependaman yang lebih rendah (Google Cloud, Pengkuantuman, Pengumpulan dan Strategi Pelayanan dalam Penggunaan Tenaga LLM)

Jawapan teks yang ringan mungkin agak murah. Aliran kerja multimodal yang besar boleh jadi, erm, tidak murah. Ia seperti memesan kopi berbanding membuat katering untuk majlis perkahwinan. Kedua-duanya dikira sebagai "perkhidmatan makanan", secara teknikalnya. Yang satu berbeza daripada yang lain ☕🎉

Ini penting terutamanya untuk pasukan produk. Ciri yang kelihatan tidak berbahaya pada penggunaan yang rendah boleh menjadi mahal pada skala besar jika setiap sesi pengguna menjadi lebih panjang, lebih kaya dan lebih banyak menggunakan komputer. (DOE, Google Cloud)

AI pengguna dan AI perusahaan bukanlah perkara yang sama 🏢📱

Orang biasa yang menggunakan AI secara sambil lewa mungkin menganggap gesaan sekali-sekala mereka adalah masalah besar. Biasanya, di situlah kisah tenaga utama berada. (Google Cloud)

Penggunaan perusahaan mengubah matematik:

• beribu-ribu pekerja

• juruterbang pembantu yang sentiasa aktif

• pemprosesan dokumen automatik

• ringkasan panggilan

• analisis imej

• alat semakan kod

• ejen latar belakang berjalan secara berterusan

Di situlah penggunaan tenaga agregat mula menjadi sangat penting. Bukan kerana setiap tindakan adalah apokaliptik, tetapi kerana pengulangan adalah pengganda. (DOE, IEA)

Dalam ulasan ujian dan aliran kerja saya sendiri, di sinilah orang ramai terkejut. Mereka memberi tumpuan kepada nama model, atau demo yang menarik, dan mengabaikan kelantangan. Kelantangan selalunya merupakan pemacu sebenar - atau penjimatan, bergantung pada sama ada anda menagih pelanggan atau membayar bil utiliti 😅

Bagi pengguna, impaknya boleh terasa abstrak. Bagi perniagaan, ia menjadi konkrit dengan cepat:

• bil infrastruktur yang lebih besar

• lebih banyak tekanan untuk mengoptimumkan

• keperluan yang lebih kuat untuk model yang lebih kecil jika boleh

• pelaporan kemampanan dalaman

• lebih perhatian kepada caching dan routing (Google Cloud, Green AI)

Cara mengurangkan penggunaan tenaga AI tanpa meninggalkan AI 🌱

Bahagian ini penting kerana matlamatnya bukanlah "berhenti menggunakan AI". Biasanya itu tidak realistik, dan tidak perlu pun. Penggunaan yang lebih baik adalah laluan yang lebih bijak.

Berikut adalah tuas terbesar:

1. Gunakan model terkecil yang menyelesaikan kerja

Bukan setiap tugas memerlukan pilihan yang berat. Model yang lebih ringan untuk pengelasan atau ringkasan boleh mengurangkan pembaziran dengan cepat. (Green AI, Google Cloud)

2. Pendekkan gesaan dan output

Verbose in, verbose out. Token tambahan bermaksud pengiraan tambahan. Kadangkala memangkas gesaan adalah kemenangan paling mudah. ​​(Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM, Google Cloud)

3. Hasil berulang dalam cache

Jika pertanyaan yang sama terus muncul, jangan buat semula setiap kali. Ini hampir jelas secara menyinggung perasaan, namun ia terlepas pandang. (Google Cloud)

4. Kerja kelompok apabila boleh

Menjalankan tugasan secara kelompok boleh meningkatkan penggunaan dan mengurangkan pembaziran. (Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM)

5. Arahkan tugasan dengan bijak

Gunakan model besar hanya apabila keyakinan menurun atau kerumitan tugas meningkat. (Green AI, Google Cloud)

6. Optimumkan infrastruktur

Penjadualan yang lebih baik, perkakasan yang lebih baik, strategi penyejukan yang lebih baik - perkara biasa, hasil yang lumayan. (Google Cloud, DOE)

7. Ukur sebelum membuat andaian

Banyak pasukan fikir mereka tahu ke mana kuasa pergi. Kemudian mereka mengukur, dan di situlah ia - bahagian yang mahal terletak di tempat lain. (Google Cloud)

Kerja yang cekap bukanlah sesuatu yang glamor. Ia jarang mendapat tepukan gemuruh. Tetapi ia adalah salah satu cara terbaik untuk menjadikan AI lebih berpatutan dan lebih boleh dipertahankan pada skala besar 👍

Mitos umum tentang penggunaan elektrik AI 🚫

Mari kita jelaskan beberapa mitos kerana topik ini cepat kusut masai.

Mitos 1 - Setiap pertanyaan AI sangat membazir

Tidak semestinya. Ada yang sederhana. Skala dan jenis tugas sangat penting. (Google Cloud)

Mitos 2 - Latihan adalah satu-satunya perkara yang penting

Tidak. Inferens boleh mendominasi dari semasa ke semasa apabila penggunaannya sangat besar. (Penyelidikan Google, DOE)

Mitos 3 - Model yang lebih besar sentiasa bermaksud hasil yang lebih baik

Kadangkala ya, kadangkala langsung tidak. Banyak tugasan boleh dilakukan dengan baik dengan sistem yang lebih kecil. (AI Hijau)

Mitos 4 - Penggunaan tenaga bersamaan dengan impak karbon secara automatik

Tidak juga. Karbon juga bergantung pada sumber tenaga. (IEA, Strubell dkk.)

Mitos 5 - Anda boleh mendapatkan satu nombor universal untuk penggunaan tenaga AI

Anda tidak boleh, sekurang-kurangnya bukan dalam bentuk yang kekal bermakna. Atau anda boleh, tetapi ia akan dirata-ratakan sehingga ia tidak lagi bernilai. (IEA)

Inilah sebabnya mengapa bertanya Berapa Banyak Tenaga yang Digunakan oleh AI? adalah bijak - tetapi hanya jika anda bersedia untuk jawapan berlapis dan bukannya slogan.

Jadi... berapa banyak Tenaga yang digunakan oleh AI sebenarnya? 🤔

Inilah kesimpulan yang berasas.

Kegunaan AI:

• sedikit, untuk beberapa tugas mudah

• lebih banyak lagi, untuk penjanaan multimodal yang berat

• jumlah yang sangat besar, untuk latihan model berskala besar

• jumlah yang sangat besar, apabila berjuta-juta permintaan bertimbun dari semasa ke semasa (Google Cloud, DOE)

Begitulah bentuknya.

Perkara utama bukanlah untuk meratakan keseluruhan isu menjadi satu angka yang menakutkan atau satu bahu yang meremehkan. Penggunaan tenaga AI adalah nyata. Ia penting. Ia boleh diperbaiki. Dan cara terbaik untuk membincangkannya adalah dengan konteks, bukan sandiwara. (IEA, Green AI)

Banyak perbualan awam beralih antara ekstrem - "AI pada asasnya percuma" di satu pihak, "AI ialah kiamat elektrik" di pihak yang lain. Realiti lebih biasa, yang menjadikannya lebih bermaklumat. Ia adalah masalah sistem. Perkakasan, perisian, penggunaan, skala, penyejukan, pilihan reka bentuk. Biasa? Agak. Penting? Sangat. (IEA, Google Cloud)

Perkara penting yang perlu diambil ⚡🧾

Jika anda datang ke sini bertanya, Berapa Banyak Tenaga yang digunakan oleh AI?,berikut adalah kesimpulannya:

• Tiada nombor yang sesuai untuk semua

• Latihan biasanya menggunakan tenaga paling banyak pada peringkat awal

• Inferens menjadi faktor utama pada skala

• Saiz model, perkakasan, beban kerja dan penyejukan semuanya penting

• Pengoptimuman kecil boleh membuat perbezaan yang besar secara mengejutkan

• Soalan paling bijak bukan sekadar "berapa banyak," tetapi juga "untuk tugasan yang mana, pada sistem yang mana, pada skala yang mana?" (IEA, Google Cloud)

Jadi ya, AI menggunakan tenaga sebenar. Cukup untuk mendapatkan perhatian. Cukup untuk mewajarkan kejuruteraan yang lebih baik. Tetapi bukan dengan cara kartun, satu nombor.

Contoh dunia sebenar: Mengukur kos tenaga pembantu sokongan AI

Senario

Bayangkan sebuah syarikat SaaS kecil menggunakan pembantu AI untuk mendraf balasan kepada tiket sokongan pelanggan. Ini adalah contoh fiksyen tetapi realistik, bukan kajian kes syarikat.

Pasukan ini mengendalikan sekitar 500 tiket sokongan setiap minggu. Kebanyakannya mudah: tetapan semula kata laluan, soalan pengebilan, penjelasan ciri dan penyelesaian masalah asas. Syarikat tidak mahu pembantu menghantar balasan secara automatik. Ia mendraf jawapan untuk disemak oleh ejen sokongan manusia.

Persoalan tenaga bukanlah, “Berapa banyak yang digunakan oleh AI secara umum?” Ia lebih praktikal:

"Berapa banyak pengiraan tambahan yang kita cipta dengan menambah AI pada aliran kerja ini, dan bolehkah kita mengurangkannya tanpa menjejaskan kualiti?"

Apa yang diperlukan oleh pembantu

Pasukan akan bermula dengan:

Pangkalan pengetahuan pusat bantuan yang bersih

Senarai peraturan bayaran balik, privasi dan peningkatan yang diluluskan

20-30 contoh balasan sokongan yang kukuh pada masa lalu

Arahan yang jelas bahawa pembantu mesti mendraf, bukan menghantar

Log penggunaan awan atau log penggunaan API model

Hamparan ringkas untuk menjejaki jenis tiket, panjang gesaan, panjang output, masa semakan dan sama ada jawapan diterima

Bahagian penting ialah pengukuran. Tanpa log, pasukan hanya meneka.

Contoh arahan

Anda seorang pembantu penggubalan sokongan untuk produk SaaS. Gunakan hanya kandungan pusat bantuan yang diluluskan dan nota dasar yang disediakan. Draf jawapan yang jelas dan sopan dalam masa kurang daripada 180 patah perkataan. Jika pelanggan meminta bayaran balik, pemadaman akaun, nasihat undang-undang, butiran keselamatan atau apa-apa yang tidak diliputi dalam dokumen, jangan jawab secara langsung. Tandakannya untuk semakan manusia dan terangkan maklumat yang tiada.

Sebelum menulis balasan, kelaskan tiket tersebut sebagai: mudah, sensitif dasar, teknikal atau perlu ditingkatkan.

Cara mengujinya

Pasukan itu boleh menguji pembantu tersebut pada 50 tiket lepas sebelum menggunakannya secara langsung.

Satu set ujian mudah mungkin termasuk:

10 kata laluan atau tiket log masuk

10 tiket pengebilan

10 tiket penyelesaian masalah teknikal

10 mesej pelanggan yang samar-samar atau tidak lengkap

10 tiket sensitif dasar yang melibatkan bayaran balik, privasi atau penutupan akaun

Bagi setiap tiket, pasukan perlu merekodkan:

Adakah draf itu betul dari segi fakta?

Adakah ia hanya menggunakan maklumat yang diluluskan?

Adakah ia kekal di bawah had perkataan?

Adakah ia menandakan kes sensitif dengan betul?

Berapa lamakah masa yang dihabiskan oleh ejen manusia untuk mengeditnya?

Berapa banyak token atau permintaan yang digunakan oleh aliran kerja?

Ini memberi pasukan sesuatu yang konkrit untuk dibandingkan dan bukannya bergantung pada firasat.

Keputusan

Keputusan ilustrasi: Berdasarkan pemasaan 50 tiket sampel sebelum dan selepas menggunakan aliran kerja, pasukan menganggarkan bahawa purata masa draf pertama jatuh dari 6 minit setiap tiket kepada 2 minit setiap tiket.

Untuk 500 tiket seminggu, itu menjimatkan kira-kira 2,000 minit, atau kira-kira 33 jam masa penggubalan.

Tetapi log tersebut juga menunjukkan sesuatu yang berharga: 38% tiket adalah ulangan mudah. ​​Dengan menyimpan jawapan yang diluluskan untuk soalan berulang ini dan bukannya menjana semula setiap draf dari awal, pasukan ini mengurangkan permintaan AI daripada 500 seminggu kepada 310 seminggu.

Itu merupakan pengurangan sebanyak 38% dalam panggilan inferens mingguan untuk aliran kerja ini, tanpa mengalih keluar ciri AI.

Pasukan ini boleh mengesahkannya dengan membandingkan:

Jumlah permintaan AI mingguan sebelum dan selepas penyimpanan data

Purata panjang gesaan dan output

Kadar penerimaan manusia

Bilangan peningkatan yang ditangkap dengan betul

Sokong skor kualiti atau kiraan semakan

Penjimatan elektrik yang tepat masih bergantung pada model, perkakasan, penyedia dan infrastruktur. Tetapi pengurangan beban kerja itu sendiri boleh diukur.

Apa yang boleh menjadi salah

Pembantu mungkin menjawab soalan dasar secara berlebihan jika peraturan peningkatan tidak jelas.

Dokumen pusat bantuan yang panjang mungkin akan menambah panjang gesaan jika persediaan pengambilan tidak tersusun dengan baik.

Ejen mungkin terlalu cepat mempercayai draf yang fasih dan terlepas pandang ralat halus.

Pencadangan boleh menjadi berisiko jika dasar bayaran balik, harga atau privasi lama masih diedarkan.

Pasukan mungkin mengoptimumkan untuk token yang lebih sedikit sambil secara tidak sengaja menghasilkan balasan yang kurang membantu.

Versi paling selamat memastikan manusia sentiasa mengikuti perkembangan, mengukur jawapan yang diterima dan menyemak respons yang disimpan dalam cache apabila dasar berubah.

Praktikal bawa pulang

Anggaran tenaga AI yang kukuh bermula dengan aliran kerja yang konkrit. Kira permintaan, pendekkan gesaan, simpan jawapan yang diulang dalam cache dan ukur kualiti semakan. Ini mengubah "Berapa banyak tenaga yang digunakan oleh AI?" daripada perdebatan yang samar-samar menjadi soalan kejuruteraan praktikal dengan angka yang boleh diperbaiki oleh pasukan dalam amalan.

Soalan Lazim

Berapakah tenaga yang digunakan oleh AI untuk satu gesaan?

Tiada nombor universal untuk satu gesaan, kerana penggunaan tenaga bergantung pada model, perkakasan, panjang gesaan, panjang output dan sebarang penggunaan alat tambahan yang terlibat. Respons teks pendek boleh menjadi agak sederhana, manakala tugasan multimodal yang panjang boleh menggunakan lebih banyak dengan ketara. Jawapan yang paling bermakna bukanlah satu angka tajuk utama, tetapi konteks yang mengelilingi tugasan tersebut.

Mengapakah anggaran penggunaan kuasa AI berbeza-beza begitu banyak?

Anggaran berbeza-beza kerana orang ramai sering membandingkan perkara yang sangat berbeza di bawah label AI tunggal. Satu anggaran mungkin menggambarkan balasan chatbot yang ringan, manakala yang lain mungkin merangkumi penjanaan imej, video atau latihan model berskala besar. Agar anggaran bermakna, ia memerlukan konteks seperti jenis tugas, saiz model, perkakasan, penggunaan, penyejukan dan lokasi.

Adakah melatih AI atau menjalankan AI setiap hari merupakan kos tenaga yang lebih besar?

Latihan biasanya merupakan peristiwa tenaga awal yang besar, kerana ia boleh melibatkan banyak cip yang berjalan untuk jangka masa panjang merentasi set data yang sangat besar. Inferens ialah kos berterusan yang muncul setiap kali pengguna menghantar permintaan, dan pada skala besar ia juga boleh menjadi sangat besar. Dalam praktiknya, kedua-duanya penting, walaupun ia penting dalam cara yang berbeza.

Apakah yang menjadikan satu permintaan AI jauh lebih intensif tenaga berbanding yang lain?

Tetingkap konteks yang lebih panjang, output yang lebih panjang, laluan penaakulan berulang, panggilan alat, langkah pengambilan semula dan penjanaan multimodal semuanya cenderung meningkatkan penggunaan tenaga setiap interaksi. Sasaran latensi juga penting, kerana keperluan tindak balas yang lebih pantas boleh mengurangkan kecekapan. Permintaan penulisan semula yang kecil dan aliran kerja pengekodan atau imej yang panjang tidak dapat dibandingkan.

Apakah kos tenaga tersembunyi yang orang terlepas pandang apabila bertanya berapa banyak tenaga yang digunakan oleh AI?

Ramai orang hanya menumpukan pada cip, tetapi itu terlepas pandang penyejukan, pergerakan data, storan, kapasiti terbiar dan sistem kebolehpercayaan seperti sandaran atau kawasan failover. Lapisan sokongan ini boleh mengubah jejak keseluruhan secara material. Itulah sebabnya penanda aras itu sendiri jarang sekali dapat menangkap gambaran tenaga penuh.

Adakah model AI yang lebih besar sentiasa menggunakan lebih banyak tenaga?

Model yang lebih besar biasanya memerlukan lebih banyak pengkomputeran dan memori, terutamanya untuk output yang panjang atau kompleks, jadi ia selalunya menggunakan lebih banyak tenaga. Tetapi yang lebih besar tidak secara automatik bermakna lebih baik untuk setiap kerja, dan pengoptimuman boleh mengubah gambaran dengan ketara. Model pakar yang lebih kecil, pengkuantuman, pengelompokan, penyimpanan caching dan penghalaan yang lebih pintar semuanya boleh meningkatkan kecekapan.

Adakah AI pengguna menggunakan masalah tenaga utama, atau adakah AI perusahaan isu yang lebih besar?

Penggunaan pengguna kasual boleh menjadi lebih besar, tetapi kisah tenaga yang lebih besar sering muncul dalam penggunaan perusahaan. Pembantu juruterbang yang sentiasa aktif, pemprosesan dokumen, ringkasan panggilan, semakan kod dan ejen latar belakang mewujudkan permintaan berulang merentasi pangkalan pengguna yang besar. Isu ini biasanya kurang mengenai satu tindakan dramatik dan lebih kepada jumlah yang berterusan dari semasa ke semasa.

Berapa banyak tenaga yang digunakan oleh AI apabila anda memasukkan pusat data dan penyejukan?

Sebaik sahaja sistem yang lebih luas disertakan, jawapannya menjadi lebih realistik dan biasanya lebih besar daripada anggaran cip sahaja yang dicadangkan. Pusat data memerlukan kuasa bukan sahaja untuk pengiraan, tetapi juga untuk penyejukan, rangkaian, penyimpanan dan penyelenggaraan kapasiti tambahan. Itulah sebabnya reka bentuk infrastruktur dan kecekapan kemudahan hampir sama pentingnya dengan reka bentuk model.

Apakah cara paling praktikal untuk mengukur penggunaan tenaga AI dalam aliran kerja sebenar?

Kaedah terbaik bergantung pada siapa yang mengukur dan untuk tujuan apa. Peraturan praktikal kasar boleh membantu dengan perbandingan pantas, manakala meter watt, telemetri GPU, log pengebilan awan dan pelaporan pusat data memberikan wawasan operasi yang semakin kukuh. Untuk kerja kemampanan yang serius, pandangan kitaran hayat yang lebih lengkap adalah lebih kukuh, walaupun ia lebih perlahan dan lebih mencabar.

Bagaimanakah pasukan boleh mengurangkan penggunaan tenaga AI tanpa mengabaikan ciri-ciri AI yang berguna?

Keuntungan terbesar biasanya datang daripada menggunakan model terkecil yang masih berfungsi, memendekkan gesaan dan output, menyimpan hasil berulang dalam cache, kerja berkumpulan dan menghalakan hanya tugas yang lebih sukar kepada model yang lebih besar. Pengoptimuman infrastruktur juga penting, terutamanya penjadualan dan kecekapan perkakasan. Dalam banyak saluran paip, pengukuran terlebih dahulu membantu mengelakkan pasukan daripada mengoptimumkan perkara yang salah.

Rujukan

1. Agensi Tenaga Antarabangsa (IEA) - Permintaan tenaga daripada AI - iea.org

2. Jabatan Tenaga AS (DOE) - DOE mengeluarkan laporan baharu yang menilai pusat data peningkatan permintaan elektrik - energy.gov

3. Google Cloud - Mengukur impak alam sekitar bagi inferens AI - cloud.google.com

4. Penyelidikan Google - Berita baik tentang jejak karbon latihan pembelajaran mesin - research.google

5. Penyelidikan Google - Jejak karbon latihan pembelajaran mesin akan mendatar dan kemudian berkurangan - research.google

6. arXiv - AI Hijau - arxiv.org

7. arXiv - Strubell et al. - arxiv.org

8. arXiv - Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM - arxiv.org

Cari AI Terkini di Kedai Pembantu AI Rasmi

Tentang Kami