Dalam kajian terbaru yang diterbitkan dalam The Annals of Family Medicine, penyelidik menilai keberkesanan Chat Generative Pretrained Transformer (ChatGPT) dalam meringkaskan abstrak perubatan untuk membantu doktor. Kajian ini bertujuan untuk menentukan kualiti, ketepatan dan berat sebelah dalam ringkasan yang dijana oleh ChatGPT, memberikan pandangan tentang potensinya sebagai alat untuk mencerna sejumlah besar literatur perubatan di tengah-tengah kekangan masa yang dihadapi oleh profesional penjagaan kesihatan.
Penilaian Tinggi untuk Kualiti dan Ketepatan
Kajian itu menggunakan ChatGPT untuk memekatkan 140 abstrak perubatan daripada 14 jurnal pelbagai, mengurangkan kandungan secara purata sebanyak 70%. Walaupun beberapa ketidaktepatan dan halusinasi dikesan dalam sebahagian kecil daripada ringkasan, pakar perubatan menilai ringkasan itu sangat tinggi untuk kualiti dan ketepatan. Penemuan menunjukkan bahawa ChatGPT mempunyai potensi untuk membantu pakar perubatan dalam menyemak literatur perubatan dengan cekap, menawarkan ringkasan padat dan tepat di tengah-tengah jumlah maklumat yang banyak.
Penyelidik memilih 10 artikel daripada setiap 14 jurnal yang merangkumi pelbagai topik dan struktur perubatan. Mereka menugaskan ChatGPT untuk meringkaskan artikel ini dan menilai ringkasan yang dijana untuk kualiti, ketepatan, berat sebelah dan perkaitan merentas sepuluh bidang perubatan. Kajian mendapati ChatGPT berjaya memekatkan abstrak perubatan dengan purata 70%, memperoleh penilaian tinggi daripada pengulas doktor untuk kualiti dan ketepatan.
Implikasi untuk penjagaan kesihatan
Walaupun penarafan yang tinggi, kajian itu mengenal pasti ketidaktepatan dan halusinasi yang serius dalam sebilangan kecil ringkasan. Kesilapan ini terdiri daripada data kritikal yang ditinggalkan kepada salah tafsir reka bentuk kajian, yang berpotensi mengubah tafsiran penemuan penyelidikan. Walau bagaimanapun, prestasi ChatGPT dalam meringkaskan abstrak perubatan dianggap boleh dipercayai, dengan berat sebelah minimum diperhatikan.
Walaupun ChatGPT menunjukkan penjajaran yang kukuh dengan penilaian manusia di peringkat jurnal, prestasinya dalam menentukan perkaitan artikel individu dengan kepakaran perubatan tertentu adalah kurang mengagumkan. Percanggahan ini menyerlahkan batasan dalam keupayaan ChatGPT untuk mengenal pasti dengan tepat kaitan artikel tunggal dalam konteks kepakaran perubatan yang lebih luas.
Kajian itu memberikan pandangan berharga tentang potensi AI, khususnya ChatGPT, dalam membantu pakar perubatan dalam menyemak literatur perubatan dengan cekap. Walaupun ChatGPT menunjukkan janji dalam meringkaskan abstrak perubatan dengan kualiti dan ketepatan yang tinggi, penyelidikan lanjut diperlukan untuk menangani batasan dan meningkatkan prestasinya dalam konteks perubatan tertentu.
Penyelidikan masa depan boleh menumpukan pada memperhalusi keupayaan ChatGPT untuk mengenali perkaitan artikel individu dengan kepakaran perubatan tertentu. Selain itu, usaha untuk mengurangkan ketidaktepatan dan halusinasi dalam ringkasan yang dihasilkan boleh meningkatkan lagi kegunaan alatan AI dalam tetapan penjagaan kesihatan.
Sumber: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/