Bard vs. ChatGPT vs. Alpaca Offline: Mana LLM Terbaik?

Model bahasa besar (LLM) hadir dalam berbagai bentuk dan ukuran, dan akan membantu Anda sesuai keinginan Anda. Tapi mana yang terbaik? Kami menguji AI dominan dari Alphabet, OpenAI, dan Meta.

Yang Perlu Anda Ketahui Tentang AI Chatbots

Kecerdasan umum buatan telah menjadi tujuan para ilmuwan komputer selama beberapa dekade, dan AI telah menjadi andalan bagi penulis fiksi ilmiah dan pembuat film bahkan lebih lama lagi.

Baca Juga:

8 Cara Membuat Password yang Kuat dan Mudah Diingat

AGI menunjukkan kecerdasan yang mirip dengan kemampuan kognitif manusia, dan Tes Turing—ujian terhadap kemampuan mesin untuk menunjukkan perilaku cerdas yang tidak dapat dibedakan dari manusia—tetap hampir tidak tertandingi dalam tujuh dekade sejak pertama kali diluncurkan.

Konvergensi baru-baru ini dari komputasi berskala sangat besar, jumlah uang yang sangat besar, dan volume informasi luar biasa yang tersedia secara bebas di internet terbuka memungkinkan raksasa teknologi untuk melatih model yang dapat memprediksi bagian kata berikutnya—atau token—dalam urutan token.

Pada saat penulisan, keduanya Penyair Google Dan ChatGPT OpenAI tersedia untuk Anda gunakan dan uji melalui antarmuka web mereka.

Model bahasa Meta, LLaMa, tidak tersedia di web, tetapi Anda dapat dengan mudah mengunduh dan menjalankan LLaMa di perangkat keras Anda sendiri dan menggunakannya melalui baris perintah atau menjalankan Dalai di mesin Anda sendiri—salah satu dari beberapa aplikasi dengan antarmuka yang mudah digunakan .

Untuk tujuan pengujian, kami akan menjalankan model Alpaca 7B Stanford University—adaptasi dari LLaMa—dan membandingkannya dengan Bard dan ChatGPT.

Perbandingan dan tes berikut ini tidak dimaksudkan untuk menjadi lengkap tetapi lebih memberi Anda indikasi tentang poin dan kemampuan utama.

Manakah Model Bahasa Besar yang Paling Mudah Digunakan?

Bard dan ChatGPT memerlukan akun untuk menggunakan layanan ini. Akun Google dan OpenAI keduanya mudah dan gratis untuk dibuat, dan Anda dapat segera mulai mengajukan pertanyaan.

Namun, untuk menjalankan LLaMa secara lokal, Anda perlu memiliki pengetahuan khusus atau kemampuan untuk mengikuti tutorial. Anda juga membutuhkan ruang penyimpanan yang besar.

Manakah Model Bahasa Besar yang Paling Pribadi?

Baik Bard dan ChatGPT memiliki kebijakan privasi yang ekstensif, dan Google berulang kali menekankan dalam dokumennya bahwa Anda tidak boleh menyertakan informasi yang dapat digunakan untuk mengidentifikasi Anda atau orang lain dalam percakapan Bard Anda.

Secara default, Google mengumpulkan percakapan dan lokasi umum Anda berdasarkan alamat IP, umpan balik, dan informasi penggunaan Anda. Informasi ini disimpan di akun Google Anda hingga 18 bulan. Meskipun Anda dapat menjeda penyimpanan aktivitas Bard Anda, Anda harus menyadari bahwa “untuk membantu kualitas dan meningkatkan produk kami, peninjau manual membaca, membuat anotasi, dan memproses percakapan Bard Anda”.

Penggunaan Bard juga tunduk pada standar Kebijakan Privasi Google.

Kebijakan Privasi OpenAI secara umum serupa dan mengumpulkan alamat IP dan data penggunaan. Berbeda dengan retensi terbatas waktu Google, OpenAI akan “menyimpan Informasi Pribadi Anda hanya selama yang kami butuhkan untuk memberikan Layanan kami kepada Anda, atau untuk tujuan bisnis yang sah lainnya seperti menyelesaikan perselisihan, alasan keselamatan dan keamanan, atau mematuhi dengan kewajiban hukum kami.”

Sebaliknya, model lokal di komputer Anda sendiri tidak memerlukan akun atau berbagi data pengguna dengan siapa pun.

LLM mana yang Memiliki Pengetahuan Umum Terbaik?

Untuk menguji LLM mana yang memiliki pengetahuan umum terbaik, kami mengajukan tiga pertanyaan.

Pertanyaan pertama, “Bendera negara manakah yang bersisi lima?” hanya dijawab dengan benar oleh Bard, yang mengidentifikasi bendera nasional Nepal memiliki lima sisi.

ChatGPT dengan percaya diri mengklaim bahwa “Tidak ada bendera nasional yang memiliki lima sisi. Bendera nasional biasanya berbentuk persegi panjang atau persegi, yang ditandai dengan warna, pola, dan simbolnya yang berbeda”.

Model lokal kami mendekati, menyatakan bahwa “Bendera Nasional India memiliki lima sisi dan dirancang pada tahun 1916 untuk mewakili gerakan kemerdekaan India.” Meskipun bendera ini memang ada dan memiliki lima sisi, itu adalah bendera Gerakan Pemerintahan Dalam Negeri India—bukan bendera nasional.

Tak satu pun dari model kami yang dapat menjawab bahwa istilah yang tepat untuk objek berbentuk kacang adalah “bentuk kacang”, dengan ChatGPT lebih jauh menyarankan bahwa kacang polong memiliki “bentuk geometris tiga dimensi yang bulat sempurna dan simetris.”

Ketiga chatbot dengan benar mengidentifikasi Franco Malerba sebagai astronot Italia dan anggota Parlemen Eropa, dengan Bard memberikan jawaban yang identik dengan bagian dari entri Wikipedia Malerba.

LLM Mana yang Baik untuk Instruksi Teknis?

Ketika Anda memiliki masalah teknis, Anda mungkin tergoda untuk meminta bantuan chatbot. Sementara teknologi terus berjalan, beberapa hal tetap sama. Steker listrik BS 1363 telah digunakan di Inggris, Irlandia, dan banyak negara lain sejak 1947. Kami bertanya kepada model bahasa cara menyambungkannya dengan benar.

Kabel yang terpasang ke steker memiliki kabel aktif (coklat), kabel arde (kuning/hijau), dan kabel netral (biru). Ini harus dipasang ke terminal yang benar di dalam rumah steker.

Implementasi Dalai kami dengan benar mengidentifikasi colokan sebagai “gaya Inggris”, kemudian berbelok keluar jalur dan sebagai gantinya memberikan instruksi untuk colokan BS 546 pin bulat yang lebih tua bersama dengan warna kabel yang lebih tua.

ChatGPT sedikit lebih membantu. Itu dengan benar memberi label warna kabel dan memberikan daftar bahan dan satu set delapan instruksi. ChatGPT juga menyarankan untuk memasang kabel cokelat ke terminal berlabel “L”, kabel biru ke terminal “N”, dan kabel kuning ke terminal “E”. Ini akan benar jika terminal BS1363 diberi label, tetapi sebenarnya tidak.

Bard mengidentifikasi warna kabel yang benar dan menginstruksikan kami untuk menghubungkannya ke terminal Live, Netral, dan Earth. Itu tidak memberikan instruksi tentang cara mengidentifikasi ini.

Menurut pendapat kami. tidak ada chatbot yang memberikan instruksi yang cukup untuk membantu seseorang menyambungkan steker listrik BS 1363 dengan benar. Jawaban singkat dan tepat adalah, “Biru di kiri, coklat di kanan.”

LLM Mana yang Baik untuk Menulis Kode?

Python adalah bahasa pemrograman yang berguna yang berjalan di sebagian besar platform modern. Kami menginstruksikan model kami untuk menggunakan Python dan “Bangun program kalkulator dasar yang dapat melakukan operasi aritmatika seperti penjumlahan, pengurangan, perkalian, dan pembagian. Ini harus menerima input pengguna dan menampilkan hasilnya.” Ini adalah salah satu proyek pemrograman terbaik untuk pemula.

Meskipun Bard dan ChatGPT langsung mengembalikan kode yang dapat digunakan dan dikomentari secara menyeluruh, yang dapat kami uji dan verifikasi, tidak ada kode dari model lokal kami yang akan berjalan.

LLM mana yang Menceritakan Lelucon Terbaik?

Humor adalah salah satu dasar menjadi manusia dan tentunya salah satu cara terbaik untuk membedakan manusia dan mesin. Untuk masing-masing model kami, kami memberikan petunjuk sederhana: “Buat lelucon yang orisinal dan lucu.”

Untungnya bagi komedian di mana pun dan umat manusia pada umumnya, tidak ada model yang mampu membuat lelucon orisinal.

Bard meluncurkan klasik, “Mengapa orang-orangan sawah memenangkan penghargaan? Dia luar biasa di bidangnya”.

Implementasi lokal kami dan ChatGPT menawarkan keluhan, “Mengapa para ilmuwan tidak mempercayai atom? Karena mereka mengarang segalanya!”

Lelucon turunan tetapi orisinal adalah, “Bagaimana Model Bahasa Besar seperti atom? Keduanya mengada-ada!”

Anda membacanya di sini dulu, kawan.

Tidak Ada Chatbot Yang Sempurna

Kami menemukan bahwa meskipun ketiga model bahasa besar memiliki kelebihan dan kekurangannya masing-masing, tidak satupun dari mereka dapat menggantikan keahlian nyata manusia dengan pengetahuan khusus.

Meskipun Bard dan ChatGPT memberikan respons yang lebih baik untuk pertanyaan pengkodean kami dan sangat mudah digunakan, menjalankan model bahasa besar secara lokal berarti Anda tidak perlu khawatir tentang privasi atau penyensoran.

Jika Anda ingin membuat seni AI yang hebat tanpa khawatir ada orang yang mengawasi Anda, menjalankan model AI seni di mesin lokal Anda juga mudah.