Apa Batas Token ChatGPT dan Bisakah Anda Melampauinya?
Table of content:
ChatGPT telah menggemparkan dunia teknologi, dan tidak ada kekurangan kemajuan dan pembaruan. Namun terlepas dari penggunaan teknologi canggih, ada beberapa faktor pembatas dalam versi saat ini.
Salah satu faktor tersebut adalah sistem token, yang terus memutus siklus evolusi, membuat utilitas aplikasi bertekuk lutut. Jika Anda menggunakan ChatGPT, Anda mungkin ingin tahu tentang token ChatGPT dan apa yang harus dilakukan saat kehabisan token.
Mari kita mundur selangkah dan memberi Anda wawasan tentang semua yang perlu diketahui tentang mekanisme kerja yang mendasari aplikasi.
Baca Juga:
Apa itu Token ChatGPT?
Jika Anda melihat fasad aplikasi, yang Anda lihat hanyalah bahasa komputer yang mematuhi perintah Anda dan memberi Anda jawaban yang Anda cari. Namun, backend hanyalah banyak kode, belajar setiap menit, dan menjawab pertanyaan dengan cepat.
ChatGPT mengonversi setiap kata menjadi token yang dapat dibaca setiap kali Anda mengajukan pertanyaan. Untuk memecahnya lebih lanjut, token adalah fragmen teks, dan setiap bahasa pemrograman menggunakan kumpulan nilai token yang berbeda untuk memahami persyaratannya.
Karena komputer tidak memahami nilai teks secara langsung, komputer memecahnya menjadi kombinasi angka, sering disebut penyematan. Anda bahkan dapat mempertimbangkan penyematan seperti daftar Python, yang menyerupai daftar nomor terkait, seperti [1.1,2.1,3.1,4.1…n].
Setelah ChatGPT mengambil input awal, ia mencoba memprediksi kemungkinan input berikutnya berdasarkan informasi sebelumnya. Itu mengambil seluruh daftar token sebelumnya dan, menggunakan sintesis pengkodeannya, mencoba mendahului input selanjutnya oleh pengguna. Itu menggunakan dan memprediksi satu token pada satu waktu untuk membuatnya lebih mudah bagi bahasa untuk memahami penggunaannya.
Untuk meningkatkan prediksi dan meningkatkan akurasi, ini mengambil seluruh daftar penyematan dan meneruskannya melalui lapisan transformator untuk membuat asosiasi antar kata. Misalnya, saat Anda mengajukan pertanyaan seperti “Siapa Thomas Edison?”, ChatGPT mengambil kata-kata paling berharga dalam daftar: Siapa Dan Edison.
Lapisan transformator memiliki peran untuk dimainkan di seluruh proses. Lapisan-lapisan ini adalah bentuk arsitektur jaringan saraf yang dilatih untuk mengambil kata kunci yang paling relevan dari serangkaian kata. Namun, proses pelatihannya tidak sesederhana kedengarannya, karena butuh waktu lama untuk melatih lapisan transformator pada gigabyte data.
Meskipun ChatGPT hanya memprediksi satu token pada satu waktu, teknologi regresi otomatisnya diprogram untuk memprediksi dan memberi umpan balik ke model utama untuk merilis output. Model disetel untuk berjalan hanya sekali untuk setiap token, sehingga hasilnya dicetak satu kata dalam satu waktu. Output berhenti secara otomatis ketika aplikasi menemukan perintah stop token.
Misalnya, jika Anda melihat kalkulator token di situs web ChatGPT, Anda dapat menghitung penggunaan token berdasarkan pertanyaan Anda.
Mari masukkan beberapa contoh teks, seperti:
How do I explain the use of tokens in ChatGPT? Sesuai kalkulator, ada 46 karakter dalam string ini, yang akan menggunakan 13 token. Jika Anda memecahnya menjadi ID Token, akan terlihat seperti ini:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30] 
Sesuai dengan Kalkulator token OpenAI:
Aturan praktis yang berguna adalah bahwa satu token umumnya sesuai dengan ~4 karakter teks untuk teks umum bahasa Inggris. Ini berarti kira-kira ¾ kata (jadi 100 token ~= 75 kata).
Token Gratis vs. Berbayar
Untuk memberi Anda gambaran tentang apa yang ada di dalam aplikasi ChatGPT, OpenAI menawarkan Anda langganan token terbatas gratis. Jika Anda ingin bereksperimen dengan API ChatGPT, gunakan kredit $5 gratis, yang berlaku selama tiga bulan. Setelah batas habis (atau masa uji coba habis), Anda dapat membayar sesuai penggunaan, yang meningkatkan kuota maksimum menjadi $120.
ChatGPT Plus: Apakah Langganan Berbayar Layak?
Untuk meningkatkannya, Anda bahkan dapat mendaftar untuk Penawaran ChatGPT Plus, yang memberi Anda $20 per bulan. Mengingat penggunaan dan popularitas yang luas dari seluruh model AI, berikut adalah fitur teratas dari model langganan berbayar:
- Akses ke ChatGPT, bahkan saat situs web mengalami downtime karena masuknya pengguna
- Peningkatan tingkat respons
- Akses langsung ke fitur dan rilis baru
Jika Anda merasa fitur-fitur ini sangat berharga dan sesuai keinginan Anda, Anda dapat mendaftar untuk langganan berbayar dan langsung mendapatkan keuntungan darinya.
Struktur Harga Token ChatGPT
Ada beberapa model aplikasi berbeda yang tersedia, yang dapat Anda pilih berdasarkan kebutuhan Anda:
Model | Harga untuk 1000 token (cepat) | Harga untuk 1000 token (penyelesaian) |
|---|---|---|
Ada | $0,0004 | $0,0004 |
Babbage | $0,0005 | $0,0005 |
Curie | $0,0020 | $0,0020 |
Da Vinci | $0,0200 | $0,0200 |
ChatGPT | $0,0020 | $0,0020 |
Konteks GPT-4 8k | $0,0300 | $0,0600 |
Konteks GPT-4 32k | $0,0600 | $0,1200 |
Ada adalah yang tercepat, sedangkan DaVinci adalah model paling bertenaga dari daftar model ini. Prompt adalah pertanyaan, sedangkan penyelesaian berkaitan dengan jawaban.
Batas Maksimum Token
Setiap model memungkinkan Anda menyetel jumlah maksimum token dalam setiap kueri. Metode ini mengontrol jumlah maksimum token yang dihasilkan aplikasi dalam satu panggilan, sehingga membatasi output. Fitur max_token cukup berguna, terutama ketika Anda ingin mengontrol panjang keluaran Anda sambil menghindari penggunaan token dan kredit Anda secara berlebihan. Panjang default ditetapkan pada 2048 token, sedangkan maksimum dapat ditetapkan pada 4096 token.
Membatasi penggunaan token dapat menghasilkan jawaban singkat, yang mungkin membatasi keluaran dan merusak pengalaman penggunaan Anda.
ChatGPT3 memiliki batas atas 4096; namun, dengan diperkenalkannya ChatGPT4, batas token ditingkatkan sebagai berikut:
Model | Harga untuk 1000 token (cepat) |
|---|---|
Ada | 2048 |
Babbage | 2048 |
Curie | 2048 |
Da Vinci | 4096 |
ChatGPT | 4096 |
Konteks GPT-4 8k | 8192 |
Konteks GPT-4 32k | 32768 |
Jika output Anda terpotong, Anda harus meningkatkan batas maksimum yang ditentukan dari dasbor Anda. Ingat, jumlah token permintaan dan maksimum Anda harus selalu kurang dari sama dengan batas token maksimum model.
Misalnya, dalam model ChatGPT, prompt_token + max_token <= 4096 token.
Pelajari Cara Mengontrol Permintaan ChatGPT Anda untuk Hasil Terbaik
Tidak peduli bagaimana Anda menggunakan aplikasi yang digerakkan oleh AI, kemungkinan besar Anda harus menemukan cara untuk memainkan pertanyaan dan frasa Anda dengan cerdas. Bergantung pada pola penggunaan Anda, kemungkinan besar Anda akan menggunakan ChatGPT secara ekstensif untuk setiap tugas.
Untuk mendapatkan hasil terbaik, Anda harus mempelajari cara bekerja dengan metodologi token dan meningkatkan keterampilan Anda untuk memastikan batas penggunaan Anda tetap utuh sambil memberi Anda jawaban terbaik.
Artikel Terkait
