Berapa banyak Tenaga yang digunakan oleh AI?

Berapa banyak Tenaga yang digunakan oleh AI?

Jawapan: AI boleh menggunakan elektrik yang sangat sedikit untuk tugasan teks yang mudah, tetapi lebih banyak lagi apabila gesaan panjang, output berbilang modal, atau sistem beroperasi pada skala besar-besaran. Latihan biasanya merupakan tenaga permulaan utama, manakala inferens harian menjadi penting apabila permintaan terkumpul.

Kesimpulan utama:

Konteks : Takrifkan tugasan, model, perkakasan dan skala sebelum memetik sebarang anggaran tenaga.

Latihan : Anggap latihan model sebagai acara tenaga pendahuluan utama apabila merancang bajet.

Inferens : Perhatikan inferens berulang dengan teliti, kerana kos setiap permintaan yang kecil meningkat dengan cepat pada skala yang besar.

Infrastruktur : Sertakan penyejukan, storan, rangkaian dan kapasiti terbiar dalam sebarang anggaran yang realistik.

Kecekapan : Gunakan model yang lebih kecil, gesaan yang lebih pendek, penyimpanan caching dan pengelompokan untuk mengurangkan penggunaan tenaga.

Berapa banyak Tenaga yang digunakan oleh AI? Infografik

Artikel yang mungkin anda ingin baca selepas ini:

🔗 Bagaimana AI mempengaruhi alam sekitar
Menerangkan jejak karbon, penggunaan tenaga dan keseimbangan kemampanan AI.

🔗 Adakah AI buruk untuk alam sekitar?
Membongkar kos persekitaran tersembunyi bagi model AI dan pusat data.

🔗 Adakah AI baik atau buruk? Kelebihan dan kekurangan
Pandangan yang seimbang terhadap manfaat, risiko, etika dan impak sebenar AI.

🔗 Apakah AI? Panduan ringkas
Pelajari asas AI, istilah utama dan contoh harian dalam beberapa minit.

Mengapa soalan ini lebih penting daripada yang difikirkan orang 🔍

Penggunaan tenaga AI bukan sekadar topik perbincangan tentang alam sekitar. Ia menyentuh beberapa perkara yang sangat nyata:

  • Kos elektrik - terutamanya untuk perniagaan yang menjalankan banyak permintaan AI

  • Impak karbon - bergantung pada sumber kuasa di belakang pelayan

  • Tekanan perkakasan - cip berkuasa menarik watt yang tinggi

  • Keputusan penskalaan - satu gesaan murah boleh bertukar menjadi berjuta-juta keputusan yang mahal

  • Reka bentuk produk - kecekapan selalunya merupakan ciri yang lebih baik daripada yang disedari orang ramai ( Google Cloud , Green AI )

Ramai orang bertanya "Berapa banyak Tenaga yang digunakan oleh AI?" kerana mereka mahukan angka yang dramatik. Sesuatu yang besar. Sesuatu yang mesra tajuk utama. Tetapi soalan yang lebih baik ialah: Jenis penggunaan AI yang manakah yang kita bicarakan? Kerana itu mengubah segala-galanya. ( IEA )

Satu cadangan autolengkap? Agak kecil.
Melatih model sempadan merentasi kluster besar-besaran? Jauh lebih besar.
Aliran kerja AI perusahaan yang sentiasa aktif yang menyentuh berjuta-juta pengguna? Ya, itu bertambah dengan cepat... seperti sen bertukar menjadi bayaran sewa. ( DOE , Google Cloud )

Berapa banyak Tenaga yang digunakan oleh AI? Jawapan ringkasnya ⚡

Inilah versi praktikalnya.

AI boleh menggunakan mana-mana sahaja daripada pecahan kecil watt-jam untuk tugasan ringan hinggalah kepada sejumlah besar elektrik untuk latihan dan penggunaan berskala besar. Julat itu kedengaran agak luas kerana ia luas. ( Google Cloud , Strubell dkk. )

Secara ringkasnya:

  • Tugasan inferens mudah - selalunya agak sederhana berdasarkan setiap penggunaan

  • Perbualan panjang, output besar, penjanaan imej, penjanaan video - ketara lebih intensif tenaga

  • Melatih model besar - juara kelas berat penggunaan kuasa

  • Menjalankan AI pada skala besar sepanjang hari - di mana "kecil setiap permintaan" menjadi "jumlah bil yang besar" ( Google Cloud , DOE )

Peraturan praktikal yang baik ialah ini:

  • Latihan adalah acara tenaga pendahuluan yang gergasi 🏭

  • Inferens ialah bil utiliti yang sedang berjalan 💡 ( Strubell et al. , Google Research )

Jadi apabila seseorang bertanya, Berapa Banyak Tenaga yang digunakan oleh AI?, jawapan langsungnya ialah, “Bukan satu jumlah - tetapi cukup untuk kecekapan penting, dan cukup untuk skala mengubah keseluruhan cerita.” ( IEA , Green AI )

Saya tahu itu tidaklah semenarik yang orang ramai mahukan. Tapi itu benar.

Apakah yang menjadikan versi anggaran tenaga AI yang baik? 🧠

Anggaran yang baik bukan sekadar nombor dramatik yang dilemparkan pada grafik. Anggaran praktikal merangkumi konteks. Jika tidak, ia seperti menimbang kabus dengan penimbang bilik mandi. Cukup dekat untuk kedengaran mengagumkan, tidak cukup dekat untuk dipercayai. ( IEA , Google Cloud )

Anggaran tenaga AI yang baik harus merangkumi:

  • Jenis tugasan - teks, imej, audio, video, latihan, penalaan halus

  • Saiz model - model yang lebih besar biasanya memerlukan lebih banyak pengiraan

  • Perkakasan yang digunakan - tidak semua cip sama cekap

  • Tempoh sesi - gesaan pendek dan aliran kerja berbilang langkah yang panjang sangat berbeza

  • Penggunaan - sistem terbiar masih menggunakan kuasa

  • Penyejukan dan infrastruktur - pelayan bukanlah keseluruhan bil

  • Lokasi dan campuran tenaga - elektrik tidak sama bersih di mana-mana ( Google Cloud , IEA )

Inilah sebabnya mengapa dua orang boleh berhujah tentang penggunaan elektrik AI dan kedua-duanya kedengaran yakin ketika bercakap tentang perkara yang sama sekali berbeza. Seorang bermaksud satu respons chatbot. Seorang lagi bermaksud larian latihan yang besar. Kedua-duanya berkata "AI," dan tiba-tiba perbualan itu terhenti 😅

Jadual Perbandingan - cara terbaik untuk menganggarkan penggunaan tenaga AI 📊

Berikut ialah jadual praktikal untuk sesiapa sahaja yang cuba menjawab soalan tersebut tanpa mengubahnya menjadi seni persembahan.

Alat atau kaedah Khalayak terbaik Harga Mengapa ia berkesan
Anggaran peraturan mudah Pembaca yang ingin tahu, pelajar Percuma Cepat, mudah, sedikit kabur - tetapi cukup baik untuk perbandingan kasar
Meter watt sisi peranti Pembina solo, penggemar hobi Rendah Mengukur daya tarikan mesin sebenar, yang merupakan konkrit yang menyegarkan
Papan pemuka telemetri GPU Jurutera, pasukan ML Sederhana Perincian yang lebih baik pada tugasan yang memerlukan pengiraan yang banyak, walaupun ia boleh terlepas daripada beban kemudahan yang lebih besar
Pengebilan awan + log penggunaan Syarikat baharu, pasukan operasi Sederhana hingga tinggi Menghubungkan penggunaan AI dengan perbelanjaan sebenar - tidak sempurna, masih agak berharga
Pelaporan tenaga pusat data Pasukan perusahaan Tinggi Memberikan keterlihatan operasi, penyejukan dan infrastruktur yang lebih luas mula muncul di sini
Penilaian kitaran hayat penuh Pasukan kemampanan, organisasi besar Rasa khayal, kadangkala menyakitkan Terbaik untuk analisis yang serius kerana ia melangkaui cip itu sendiri... tetapi ia perlahan dan agak sukar

Tiada kaedah yang sempurna. Itulah bahagian yang agak mengecewakan. Tetapi terdapat tahap nilai. Dan biasanya, sesuatu yang boleh digunakan mengatasi yang sempurna. ( Google Cloud )

Faktor terbesar bukanlah sihir - ia adalah pengkomputeran dan perkakasan 🖥️🔥

Apabila orang ramai membayangkan penggunaan tenaga AI, mereka sering membayangkan model itu sendiri sebagai benda yang menggunakan kuasa. Tetapi model itu adalah logik perisian yang berjalan pada perkakasan. Perkakasan adalah tempat bil elektrik dipaparkan. ( Strubell et al. , Google Cloud )

Pembolehubah terbesar biasanya termasuk:

Sistem yang sangat dioptimumkan boleh melakukan lebih banyak kerja dengan kurang tenaga. Sistem yang tidak kemas boleh membazirkan elektrik dengan keyakinan yang menakjubkan. Anda tahu bagaimana keadaannya - sesetengah persediaan adalah kereta lumba, sesetengahnya adalah kereta beli-belah dengan roket yang dilekatkan pita saluran 🚀🛒

Dan ya, saiz model adalah penting. Model yang lebih besar cenderung memerlukan lebih banyak memori dan lebih banyak pengiraan, terutamanya apabila menjana output yang panjang atau mengendalikan penaakulan yang kompleks. Tetapi helah kecekapan boleh mengubah gambaran: ( AI Hijau , Pengkuantuman, Pengumpulan dan Strategi Pelayanan dalam Penggunaan Tenaga LLM )

Jadi persoalannya bukan sahaja "Berapa besarkah model itu?" Ia juga "Seberapa pintarkah ia dijalankan?"

Latihan vs inferens - ini adalah haiwan yang berbeza 🐘🐇

Perpecahan inilah yang mengelirukan hampir semua orang.

Latihan

Latihan adalah apabila model mempelajari corak daripada set data yang sangat besar. Ia boleh melibatkan banyak cip yang berjalan untuk tempoh yang lama, mengunyah sejumlah besar data. Peringkat ini memerlukan tenaga. Kadangkala begitu juga. ( Strubell et al. )

Tenaga latihan bergantung kepada:

  • saiz model

  • saiz set data

  • bilangan larian latihan

  • eksperimen yang gagal

  • hantaran penalaan halus

  • kecekapan perkakasan

  • penyejukan atas ( Strubell et al. , Google Research )

Dan inilah bahagian yang sering terlepas pandang oleh orang ramai - orang ramai sering membayangkan satu larian latihan besar, dilakukan sekali, akhir cerita. Dalam praktiknya, pembangunan boleh melibatkan larian berulang, penalaan, latihan semula, penilaian dan semua lelaran yang biasa tetapi mahal di sekitar acara utama. ( Strubell et al. , Green AI )

Inferens

Inferens ialah model yang menjawab permintaan pengguna sebenar. Satu permintaan mungkin tidak kelihatan banyak. Tetapi inferens berlaku berulang kali. Berjuta-juta kali. Kadangkala berbilion-bilion. ( Google Research , DOE )

Tenaga inferens meningkat dengan:

Jadi latihan umpama gempa bumi. Inferens ialah pasang surut. Satu dramatik, satu gigih, dan kedua-duanya boleh membentuk semula pantai sedikit. Ia mungkin satu metafora yang luar biasa, tetapi ia tetap bersama... lebih kurang.

Kos tenaga tersembunyi yang dilupakan orang 😬

Apabila seseorang menganggarkan penggunaan kuasa AI dengan hanya melihat cip tersebut, mereka biasanya mengira dengan jumlah yang tidak mencukupi. Tidak selalunya membawa padah, tetapi cukup penting. ( Google Cloud , IEA )

Berikut adalah bahagian-bahagian yang tersembunyi:

Menyejukkan ❄️

Pelayan menjana haba. Perkakasan AI yang berkuasa menjana banyak haba. Penyejukan bukanlah pilihan. Setiap watt yang digunakan oleh pengiraan cenderung untuk menarik lebih banyak penggunaan tenaga hanya untuk memastikan suhu berada dalam keadaan normal. ( IEA , Google Cloud )

Pergerakan data 🌐

Memindahkan data merentasi storan, memori dan rangkaian juga memerlukan tenaga. AI bukan sekadar "berfikir". Ia juga sentiasa mengalihkan maklumat. ( IEA )

Kapasiti terbiar 💤

Sistem yang dibina untuk permintaan puncak tidak selalunya berjalan pada permintaan puncak. Infrastruktur yang terbiar atau kurang digunakan masih menggunakan elektrik. ( Google Cloud )

Lebihan dan kebolehpercayaan 🧱

Sandaran, sistem failover, kawasan pendua, lapisan keselamatan - semuanya berharga, semuanya sebahagian daripada gambaran tenaga yang lebih besar. ( IEA )

Penyimpanan 📦

Data latihan, penyematan, log, pusat pemeriksaan, output yang dijana - semuanya berada di suatu tempat. Storan lebih murah daripada pengkomputeran, sudah tentu, tetapi tidak percuma dari segi tenaga. ( IEA )

Inilah sebabnya mengapa Berapa Banyak Tenaga yang Digunakan oleh AI? tidak dapat dijawab dengan baik hanya dengan melihat carta penanda aras tunggal. Susunan penuh adalah penting. ( Google Cloud , IEA )

Mengapa satu gesaan AI boleh menjadi kecil - dan gesaan seterusnya boleh menjadi raksasa 📝➡️🎬

Tidak semua gesaan dicipta sama. Permintaan ringkas untuk penulisan semula ayat tidak setanding dengan meminta analisis yang panjang, sesi pengekodan berbilang langkah atau penjanaan imej resolusi tinggi. ( Google Cloud )

Perkara yang cenderung meningkatkan penggunaan tenaga setiap interaksi:

Jawapan teks yang ringan mungkin agak murah. Aliran kerja multimodal yang besar boleh jadi, erm, tidak murah. Ia seperti memesan kopi berbanding membuat katering untuk majlis perkahwinan. Kedua-duanya dikira sebagai "perkhidmatan makanan", secara teknikalnya. Yang satu berbeza daripada yang lain ☕🎉

Ini penting terutamanya untuk pasukan produk. Ciri yang kelihatan tidak berbahaya pada penggunaan yang rendah boleh menjadi mahal pada skala besar jika setiap sesi pengguna menjadi lebih panjang, lebih kaya dan lebih banyak menggunakan komputer. ( DOE , Google Cloud )

AI pengguna dan AI perusahaan bukanlah perkara yang sama 🏢📱

Orang biasa yang menggunakan AI secara sambil lewa mungkin menganggap gesaan sekali-sekala mereka adalah masalah besar. Biasanya, di situlah kisah tenaga utama berada. ( Google Cloud )

Penggunaan perusahaan mengubah matematik:

  • beribu-ribu pekerja

  • juruterbang pembantu yang sentiasa aktif

  • pemprosesan dokumen automatik

  • ringkasan panggilan

  • analisis imej

  • alat semakan kod

  • ejen latar belakang berjalan secara berterusan

Di situlah penggunaan tenaga agregat mula menjadi sangat penting. Bukan kerana setiap tindakan adalah apokaliptik, tetapi kerana pengulangan adalah pengganda. ( DOE , IEA )

Dalam ulasan ujian dan aliran kerja saya sendiri, di sinilah orang ramai terkejut. Mereka memberi tumpuan kepada nama model, atau demo yang menarik, dan mengabaikan kelantangan. Kelantangan selalunya merupakan pemacu sebenar - atau penjimatan, bergantung pada sama ada anda menagih pelanggan atau membayar bil utiliti 😅

Bagi pengguna, impaknya boleh terasa abstrak. Bagi perniagaan, ia menjadi konkrit dengan cepat:

  • bil infrastruktur yang lebih besar

  • lebih banyak tekanan untuk mengoptimumkan

  • keperluan yang lebih kuat untuk model yang lebih kecil jika boleh

  • pelaporan kemampanan dalaman

  • lebih perhatian kepada caching dan routing ( Google Cloud , Green AI )

Cara mengurangkan penggunaan tenaga AI tanpa meninggalkan AI 🌱

Bahagian ini penting kerana matlamatnya bukanlah "berhenti menggunakan AI". Biasanya itu tidak realistik, dan tidak perlu pun. Penggunaan yang lebih baik adalah laluan yang lebih bijak.

Berikut adalah tuas terbesar:

1. Gunakan model terkecil yang menyelesaikan kerja

Bukan setiap tugas memerlukan pilihan yang berat. Model yang lebih ringan untuk pengelasan atau ringkasan boleh mengurangkan pembaziran dengan cepat. ( Green AI , Google Cloud )

2. Pendekkan gesaan dan output

Verbose in, verbose out. Token tambahan bermaksud pengiraan tambahan. Kadangkala memangkas gesaan adalah kemenangan paling mudah. ​​( Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM , Google Cloud )

3. Hasil berulang dalam cache

Jika pertanyaan yang sama terus muncul, jangan buat semula setiap kali. Ini hampir jelas secara menyinggung perasaan, namun ia terlepas pandang. ( Google Cloud )

4. Kerja kelompok apabila boleh

Menjalankan tugasan secara kelompok boleh meningkatkan penggunaan dan mengurangkan pembaziran. ( Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM )

5. Arahkan tugasan dengan bijak

Gunakan model besar hanya apabila keyakinan menurun atau kerumitan tugas meningkat. ( Green AI , Google Cloud )

6. Optimumkan infrastruktur

Penjadualan yang lebih baik, perkakasan yang lebih baik, strategi penyejukan yang lebih baik - perkara biasa, hasil yang lumayan. ( Google Cloud , DOE )

7. Ukur sebelum membuat andaian

Banyak pasukan fikir mereka tahu ke mana kuasa pergi. Kemudian mereka mengukur, dan di situlah ia - bahagian yang mahal terletak di tempat lain. ( Google Cloud )

Kerja yang cekap bukanlah sesuatu yang glamor. Ia jarang mendapat tepukan gemuruh. Tetapi ia adalah salah satu cara terbaik untuk menjadikan AI lebih berpatutan dan lebih boleh dipertahankan pada skala besar 👍

Mitos umum tentang penggunaan elektrik AI 🚫

Mari kita jelaskan beberapa mitos kerana topik ini cepat kusut masai.

Mitos 1 - Setiap pertanyaan AI sangat membazir

Tidak semestinya. Ada yang sederhana. Skala dan jenis tugas sangat penting. ( Google Cloud )

Mitos 2 - Latihan adalah satu-satunya perkara yang penting

Tidak. Inferens boleh mendominasi dari semasa ke semasa apabila penggunaannya sangat besar. ( Penyelidikan Google , DOE )

Mitos 3 - Model yang lebih besar sentiasa bermaksud hasil yang lebih baik

Kadangkala ya, kadangkala langsung tidak. Banyak tugasan boleh dilakukan dengan baik dengan sistem yang lebih kecil. ( AI Hijau )

Mitos 4 - Penggunaan tenaga bersamaan dengan impak karbon secara automatik

Tidak juga. Karbon juga bergantung pada sumber tenaga. ( IEA , Strubell dkk. )

Mitos 5 - Anda boleh mendapatkan satu nombor universal untuk penggunaan tenaga AI

Anda tidak boleh, sekurang-kurangnya bukan dalam bentuk yang kekal bermakna. Atau anda boleh, tetapi ia akan dirata-ratakan sehingga ia tidak lagi bernilai. ( IEA )

Inilah sebabnya mengapa bertanya Berapa Banyak Tenaga yang Digunakan oleh AI? adalah bijak - tetapi hanya jika anda bersedia untuk jawapan berlapis dan bukannya slogan.

Jadi... berapa banyak Tenaga yang digunakan oleh AI sebenarnya? 🤔

Inilah kesimpulan yang berasas.

Kegunaan AI:

  • sedikit , untuk beberapa tugas mudah

  • lebih banyak lagi , untuk penjanaan multimodal yang berat

  • jumlah yang sangat besar , untuk latihan model berskala besar

  • jumlah yang sangat besar , apabila berjuta-juta permintaan bertimbun dari semasa ke semasa ( Google Cloud , DOE )

Begitulah bentuknya.

Perkara utama bukanlah untuk meratakan keseluruhan isu menjadi satu angka yang menakutkan atau satu bahu yang meremehkan. Penggunaan tenaga AI adalah nyata. Ia penting. Ia boleh diperbaiki. Dan cara terbaik untuk membincangkannya adalah dengan konteks, bukan sandiwara. ( IEA , Green AI )

Banyak perbualan awam beralih antara ekstrem - "AI pada asasnya percuma" di satu pihak, "AI ialah kiamat elektrik" di pihak yang lain. Realiti lebih biasa, yang menjadikannya lebih bermaklumat. Ia adalah masalah sistem. Perkakasan, perisian, penggunaan, skala, penyejukan, pilihan reka bentuk. Biasa? Agak. Penting? Sangat. ( IEA , Google Cloud )

Perkara penting yang perlu diambil ⚡🧾

Jika anda datang ke sini bertanya, Berapa Banyak Tenaga yang digunakan oleh AI?, berikut adalah kesimpulannya:

  • Tiada nombor yang sesuai untuk semua

  • Latihan biasanya menggunakan tenaga paling banyak pada peringkat awal

  • Inferens menjadi faktor utama pada skala

  • Saiz model, perkakasan, beban kerja dan penyejukan semuanya penting

  • Pengoptimuman kecil boleh membuat perbezaan yang besar secara mengejutkan

  • Soalan paling bijak bukan sekadar "berapa banyak," tetapi juga "untuk tugasan yang mana, pada sistem yang mana, pada skala yang mana?" ( IEA , Google Cloud )

Jadi ya, AI menggunakan tenaga sebenar. Cukup untuk mendapatkan perhatian. Cukup untuk mewajarkan kejuruteraan yang lebih baik. Tetapi bukan dengan cara kartun, satu nombor.

Soalan Lazim

Berapakah tenaga yang digunakan oleh AI untuk satu gesaan?

Tiada nombor universal untuk satu gesaan, kerana penggunaan tenaga bergantung pada model, perkakasan, panjang gesaan, panjang output dan sebarang penggunaan alat tambahan yang terlibat. Respons teks pendek boleh menjadi agak sederhana, manakala tugasan multimodal yang panjang boleh menggunakan lebih banyak dengan ketara. Jawapan yang paling bermakna bukanlah satu angka tajuk utama, tetapi konteks yang mengelilingi tugasan tersebut.

Mengapakah anggaran penggunaan kuasa AI berbeza-beza begitu banyak?

Anggaran berbeza-beza kerana orang ramai sering membandingkan perkara yang sangat berbeza di bawah label AI tunggal. Satu anggaran mungkin menggambarkan balasan chatbot yang ringan, manakala yang lain mungkin merangkumi penjanaan imej, video atau latihan model berskala besar. Agar anggaran bermakna, ia memerlukan konteks seperti jenis tugas, saiz model, perkakasan, penggunaan, penyejukan dan lokasi.

Adakah melatih AI atau menjalankan AI setiap hari merupakan kos tenaga yang lebih besar?

Latihan biasanya merupakan peristiwa tenaga awal yang besar, kerana ia boleh melibatkan banyak cip yang berjalan untuk jangka masa panjang merentasi set data yang sangat besar. Inferens ialah kos berterusan yang muncul setiap kali pengguna menghantar permintaan, dan pada skala besar ia juga boleh menjadi sangat besar. Dalam praktiknya, kedua-duanya penting, walaupun ia penting dalam cara yang berbeza.

Apakah yang menjadikan satu permintaan AI jauh lebih intensif tenaga berbanding yang lain?

Tetingkap konteks yang lebih panjang, output yang lebih panjang, laluan penaakulan berulang, panggilan alat, langkah pengambilan semula dan penjanaan multimodal semuanya cenderung meningkatkan penggunaan tenaga setiap interaksi. Sasaran latensi juga penting, kerana keperluan tindak balas yang lebih pantas boleh mengurangkan kecekapan. Permintaan penulisan semula yang kecil dan aliran kerja pengekodan atau imej yang panjang tidak dapat dibandingkan.

Apakah kos tenaga tersembunyi yang orang terlepas pandang apabila bertanya berapa banyak tenaga yang digunakan oleh AI?

Ramai orang hanya menumpukan pada cip, tetapi itu terlepas pandang penyejukan, pergerakan data, storan, kapasiti terbiar dan sistem kebolehpercayaan seperti sandaran atau kawasan failover. Lapisan sokongan ini boleh mengubah jejak keseluruhan secara material. Itulah sebabnya penanda aras itu sendiri jarang sekali dapat menangkap gambaran tenaga penuh.

Adakah model AI yang lebih besar sentiasa menggunakan lebih banyak tenaga?

Model yang lebih besar biasanya memerlukan lebih banyak pengkomputeran dan memori, terutamanya untuk output yang panjang atau kompleks, jadi ia selalunya menggunakan lebih banyak tenaga. Tetapi yang lebih besar tidak secara automatik bermakna lebih baik untuk setiap kerja, dan pengoptimuman boleh mengubah gambaran dengan ketara. Model pakar yang lebih kecil, pengkuantuman, pengelompokan, penyimpanan caching dan penghalaan yang lebih pintar semuanya boleh meningkatkan kecekapan.

Adakah AI pengguna menggunakan masalah tenaga utama, atau adakah AI perusahaan isu yang lebih besar?

Penggunaan pengguna kasual boleh menjadi lebih besar, tetapi kisah tenaga yang lebih besar sering muncul dalam penggunaan perusahaan. Pembantu juruterbang yang sentiasa aktif, pemprosesan dokumen, ringkasan panggilan, semakan kod dan ejen latar belakang mewujudkan permintaan berulang merentasi pangkalan pengguna yang besar. Isu ini biasanya kurang mengenai satu tindakan dramatik dan lebih kepada jumlah yang berterusan dari semasa ke semasa.

Berapa banyak tenaga yang digunakan oleh AI apabila anda memasukkan pusat data dan penyejukan?

Sebaik sahaja sistem yang lebih luas disertakan, jawapannya menjadi lebih realistik dan biasanya lebih besar daripada anggaran cip sahaja yang dicadangkan. Pusat data memerlukan kuasa bukan sahaja untuk pengiraan, tetapi juga untuk penyejukan, rangkaian, penyimpanan dan penyelenggaraan kapasiti tambahan. Itulah sebabnya reka bentuk infrastruktur dan kecekapan kemudahan hampir sama pentingnya dengan reka bentuk model.

Apakah cara paling praktikal untuk mengukur penggunaan tenaga AI dalam aliran kerja sebenar?

Kaedah terbaik bergantung pada siapa yang mengukur dan untuk tujuan apa. Peraturan praktikal kasar boleh membantu dengan perbandingan pantas, manakala meter watt, telemetri GPU, log pengebilan awan dan pelaporan pusat data memberikan wawasan operasi yang semakin kukuh. Untuk kerja kemampanan yang serius, pandangan kitaran hayat yang lebih lengkap adalah lebih kukuh, walaupun ia lebih perlahan dan lebih mencabar.

Bagaimanakah pasukan boleh mengurangkan penggunaan tenaga AI tanpa mengabaikan ciri-ciri AI yang berguna?

Keuntungan terbesar biasanya datang daripada menggunakan model terkecil yang masih berfungsi, memendekkan gesaan dan output, menyimpan hasil berulang dalam cache, kerja berkumpulan dan menghalakan hanya tugas yang lebih sukar kepada model yang lebih besar. Pengoptimuman infrastruktur juga penting, terutamanya penjadualan dan kecekapan perkakasan. Dalam banyak saluran paip, pengukuran terlebih dahulu membantu mengelakkan pasukan daripada mengoptimumkan perkara yang salah.

Rujukan

  1. Agensi Tenaga Antarabangsa (IEA) - Permintaan tenaga daripada AI - iea.org

  2. Jabatan Tenaga AS (DOE) - DOE mengeluarkan laporan baharu yang menilai pusat data peningkatan permintaan elektrik - energy.gov

  3. Google Cloud - Mengukur impak alam sekitar bagi inferens AI - cloud.google.com

  4. Penyelidikan Google - Berita baik tentang jejak karbon latihan pembelajaran mesin - research.google

  5. Penyelidikan Google - Jejak karbon latihan pembelajaran mesin akan mendatar dan kemudian berkurangan - research.google

  6. arXiv - AI Hijau - arxiv.org

  7. arXiv - Strubell et al. - arxiv.org

  8. arXiv - Strategi Pengkuantuman, Pengumpulan dan Penyajian dalam Penggunaan Tenaga LLM - arxiv.org

Cari AI Terkini di Kedai Pembantu AI Rasmi

Tentang Kami

Kembali ke blog