Yapay zeka makalelerini tespit ediyor: Yüzde 94 doğruluk payı
ChatGPT ve benzeri yapay zeka teknolojilerinin gelişmesiyle birlikte sahte bilimsel makalelerin sayısı da çoğalmış durumda.
New York Eyalet Üniversitesi’inde araştırma görevlisi olan Ahmed Abdeen Hamed, sahte makaleleri yüzde 94 doğru tespit edebilen xFakeSci adını verdiği bir makine öğrenimi algoritması yarattı.
VERİ MADENCİLİĞİNDEN İKİ KAT DAHA BAŞARILI
Bu algoritmanın internette veri kazma tekniğinden (veri madenciliği) neredeyse iki kat daha başarılı olduğu kaydedildi.
Hamed, “Ana araştırmam biyomedikal bilişim, ancak tıbbi yayınlar, klinik deneyler, çevrimiçi kaynaklar ve sosyal medya madenciliği ile çalıştığım için, her zaman birinin yaydığı bilginin gerçekliği konusunda endişeliyim.” dedi.
50 SAHTE MAKALE OLUŞTURUP GERÇEĞİYLE KARŞILAŞTIRILDI
Scientific Reports dergisinde yayınlanan yeni bir makalede, Hamed ve Çin’deki Hefei Teknoloji Üniversitesi’nde profesör olan ortağı Xindong Wu, üç popüler tıbbi konunun (Alzheimer, kanser ve depresyon) her biri için 50 sahte makale oluşturdu ve bunları aynı konulardaki aynı sayıda gerçek makaleyle karşılaştırdı.
Birkaç deneyden sonra, xFakeSci’yi makalelerin nasıl yazıldığına dair iki önemli özelliği analiz edecek şekilde programladı.
Bunlardan biri, “iklim değişikliği”, “klinik deneyler” veya “biyomedikal literatür” gibi sıklıkla birlikte görünen ikili sözcüklerin sayılarıydı.
İkincisi ise bu kelimelerin metindeki diğer ikili sözcüklere ve kavramlara nasıl bağlandığını araştırıyordu.
“ÖNEMLİ KELİMELERLE İKNA ETMEYE ÇALIŞIYOR”
Hamed, “ChatGPT’nin bilgisi hala sınırlı olduğundan, sizi en önemli kelimeleri kullanarak ikna etmeye çalışıyor,. Bir bilim insanının işi size ikna edici bir argüman sunmak değildir. Gerçek bir araştırma makalesi, bir deney sırasında neler olduğunu ve kullanılan yöntemi dürüstçe bildirir. ChatGPT, tek bir noktada derinlikle ilgilenirken, gerçek bilim ise genişlikle ilgilidir.” diye konuştu.
xFakeSci gibi araçların geliştirilmesi, bilimsel literatürün bütünlüğünü ve araştırmaya yönelik kamu güvenini korumak için hayati öneme sahiptir.
Yapay zekanın ürettiği yanlış bilgilere karşı mücadele devam ederken, xFakeSci gibi araçlar bilimsel iletişimin gerçekliğini ve güvenilirliğini korumada önemli bir rol oynayacak.
