Menurut Reuters, kecerdasan buatan sekarang bahkan dapat mengungguli sebagian besar lulusan sekolah hukum dalam hal pengetahuan "head-to-head" di industri yang sama. Baru-baru ini, tes dua hari yang melelahkan, yang harus dilalui banyak orang untuk praktik hukum di Amerika Serikat, diluncurkan untuk GPT-2.

Pengacara AI terbuka mencetak 297 poin

GPT-4, model AI yang ditingkatkan OpenAI yang didukung Microsoft dirilis minggu ini, mencetak 297 pada tes aturan. Ini adalah eksperimen yang dilakukan oleh 2 profesor hukum dan 2 karyawan perusahaan teknologi Casetext.

Menurut hasil percobaan, GPT-4 menempati peringkat ke-90 di antara mereka yang melakukan tes. Ini berarti bahwa "kualifikasi" dari "Pengacara Ai Terbuka" GPT-4 cukup untuk masuk ke praktik hukum di sebagian besar negara bagian. Ujian hukum ini dirancang untuk menilai pengetahuan dan keterampilan penalaran. Ujian membutuhkan esai, pertanyaan pilihan ganda, dan tes yang mensimulasikan pekerjaan hukum.

Salah satu peneliti mengatakan: “Model bahasa besar cenderung memenuhi standar penerapan untuk pengacara manusia di sebagian besar yurisdiksi di Amerika Serikat. Mereka menangani tugas-tugas kompleks yang membutuhkan pengetahuan hukum yang luas, pemahaman bacaan, dan kemampuan menulis.”

Rekan penulis studi Daniel Martin Katz, seorang profesor di University of Chicago-Kent School of Law, mengatakan dia terkejut dengan kemampuan GPT-4. Mereka memberikan jawaban ujian yang cerdas, esai disajikan lebih jelas dan koheren dari yang diharapkan. "Saya telah mendengar banyak orang mencemooh bahwa itu akan lulus ujian paling baik tetapi tidak akan pernah lulus bagian esai, tetapi lihatlah hasilnya," kata Profesor Katz.

AI juga bekerja dengan baik pada pengujian dengan tolok ukur lain seperti SAT dan GRE. Tutor ujian pengacara, Sean Silverman berpendapat bahwa ujian pengacara berfokus pada kesulitan yang diakui secara lebih luas. Tingkat kelulusan pertama kali dalam ujian bar tahun ini adalah 78% dan mayoritas peserta tes adalah siswa tahun ketiga.