pangkat.id – Teknologi kecerdasan buatan (AI) mengalami terobosan dengan diperkenalkannya pendekatan baru oleh Subquadratic, yang berpotensi meningkatkan kecepatan pemrosesan model bahasa besar (LLMs) dengan biaya yang jauh lebih rendah. Justin Dangel, pendiri dan CEO Subquadratic, menjelaskan bahwa meski teknologi ini tidak akan menggantikan seluruh model top yang ada saat ini, inovasi mereka bisa mengubah cara LLM dibangun ke depannya, dengan harapan memulai era efisiensi baru dalam pengembangan AI.
Dalam dunia LLM, perusahaan ini berfokus pada penggantian operasi inti dari transformator dengan metode yang dikenal sebagai perhatian jarang (sparse attention). Metode ini berupaya mengurangi jumlah perhitungan yang diperlukan saat memproses teks. Biasanya, dalam pendekatan tradisional, transformator menggunakan mekanisme bernama perhatian padat (dense attention), yang mengharuskan pemrosesan setiap kata dengan membandingkannya dengan seluruh token lain dalam teks. Sebagai contoh, ketika sebuah teks sepanjang 10.000 kata diproses, dapat terjadi hampir 50 juta perhitungan. Hal ini menyebabkan LLM menjadi terkenal sebagai penghabis daya yang besar.
Subquadratic berargumen bahwa seiring dengan meningkatnya panjang teks, jumlah perhitungan akan tumbuh secara eksponensial. Dangel menyebutkan untuk merangkum sebuah karya seperti “The Great Gatsby”, seluruh kombinasi kata harus dianalisis. Ini menyebabkan hubungan antara kata-kata menjadi semakin kompleks, dengan angka perhitungan yang harus dilakukan meningkat drastis.
Dengan menggunakan pendekatan perhatian jarang, Subquadratic memilih fokus pada sejumlah hubungan saja, sehingga dapat memangkas biaya komputasi secara signifikan. Metode ini diharapkan tidak hanya menghemat daya, tetapi juga membuka kemungkinan baru dalam pengembangan dan penerapan model bahasa, menjadikan teknologi lebih ramah lingkungan dan efisien di masa depan.