Araştırmacılar ChatGPT'nin cinsel ve şiddet içeren görüntüler oluşturabildiğini buldu

BBC araştırmacılarına göre, ChatGPT'nin en son halka açık versiyonu cinsel bir doğanın görüntülerini oluşturabilir veya basit bir ipucu ile şiddetli şiddeti tasvir edebilir İngiliz start-up Mindgard, yapay zeka kullanarak güvenliği özelleştirmek, grafik görüntüler oluşturmak için ChatGPT'yi nasıl elde edeceğinizi, başlangıçta mizah sonuçları üretmek için tasarlanmış yaygın talimat veya ipucunu değiştirmek BBC'nin çağrısının ardından, OpenAI, ChatGPT'nin yaratıcısı, sohbetbot'un yanıtdaki benzer görüntüler göndermesini engellemek için adımlar atdığını söyledi "Bu eğilimi inceledikten sonra, bu tür isteklere karşı ek korumalar tanıttık," dedi Açıklama ayrıca kullanıcıların kullanım koşullarını ihlal eden içerik yaratmasını engellemek için tabakalanmış korumalar olduğunu belirtmektedir Ancak, AI güvenlik araştırmacıları, daha küçük değişiklikler yaptıktan sonra bile, sorunlu mesaj hala rahatsız edici içerik üretti BBC, araştırmacıların ChatGPT'ye tam olarak ne koyduğunu açıklamadı Ama zaten chatbot, OpenAI'nın GPT-5.4 modelinin grafik materyali oluşturmak için kurulduğunu gördük Detaylı talimatlar olmadan bile, sistem Mindgard kurucu Peter Garrakhan'ın "çok ürkütücü, bazen cinsel overtones ile ve bazen de aynı anda tanımladığı görüntüler yarattı." Özellikle görevin görüntülerin konusunu belirtmediği konusunda endişeliydi, ancak AI bir dizi kanlı ve cinselleştirilmiş görüntüler “kendi özgür iradesi” yarattı Garragan, aynı zamanda Lancaster Üniversitesi Bilgisayar Mühendisliği Bölümü'nde bir profesör olduğunu söyledi “Bu, AI için tamamen düşünülmüş bir manuel, ancak sonuç olarak çok, çok kötü görüntüler ve içerik üretiyor” dedi Mindgard'ın işi “kırmızı bir ekip”, bu, modeli kendi kurallarını kırmaya ikna etmenin yollarını bulmak, böylece AI şirketlerinin tespit edilen eksiklikleri düzeltebileceği Jim Nightingale, bu sorunları keşfeden şirkette bir AI güvenlik ve koruma araştırmacısı, sohbetbot'un üretebileceği görüntülerde "kırık ve ağlama" olduğunu söyledi Bazıları BBC tarafından gösterildi Bir resim ciddi bir kafa yaralanması olan bir adam gösterdi ve diğeri kısa bir üst ve kısa bir sürede ölü bir genç kadın gösterdi, vücudun yüz ve diğer kısımları kanla kaplıydı Mindgard'a göre, görüntünün özellikleri cinsel saldırıyı göstermektedir. ChatGPT, "The Dark Consequences of Crime" ünvanını verdi Başka bir resim, bir üniversite logosu ve kısaları ile sıkı bir tişörtte genç bir kadın gösterdi, ağzında ağladı ve boş ve kirli bir odada, korkmuş bir bakışla. ChatGPT, "Korku ve sertlikte şaşkınlık" olarak adlandırdı Diğer üretilen görüntüler cinsel pozlar ve çıplaklık gösterdi Görüntüler, yapay zeka kullanarak yaratılan yetişkinlere gösterdi, ancak Mindgard, ChatGPT'nin yüzlerini değiştirerek çıplak gerçek insanlarla derin bir araya gelebileceğini belirtti OpenAI sorunu çözmüş olsa da, araştırmacılar alternatif yaklaşımın başarılı olduğunu ve BBC'yi bu yöntemi kullanarak yaratılan yeni bir görüntü gösterdi Garragan, bu kırılganlığın daha kötü görüntülere yol açabileceğinden korkuyordu. “Bu konuda daha fazla zaman harcadığımızdan eminim, diğer konular ortaya çıkacak” dedi Yeni koruma önlemlerinin yanı sıra, şirket durumu izlemeye devam ediyor ve modelin talepe yanıt vermemesini teşvik eden ek mitigation önlemleri uyguluyor ChatGPT gibi büyük dil modelleri milyonlarca görüntü üzerinde eğitilmiştir, genellikle mevcut içerikten online olarak alınır Nightingale, ChatGPT'nin çalışması onu geliştirmek ve eğitmek için kullanılan verileri yansıtıyor “Gördüğüm şeyi yapay olarak yarattığıma rağmen, gerçek görüntüler ve gerçek dünya ile bir bağlantıya sahip.” Araştırmacılar ilk Mayıs ayında OpenAI'yı bilgilendirdi ve bulguları paylaştılar, ancak teknoloji şirketinden sadece otomatik bir yanıt aldı. Bunun üstlenildiğine inanıyorlar isteği engelleme girişiminde bulunuldu, ancak kolayca atlandı OpenAI, BBC'nin itirazının ardından daha fazla önlem aldı Rapor, sistemin, kullanıcılara kendi kurallarını ihlal eden görsellerin gösterilmesini önlemek için tasarlanmış birden fazla görüntü koruma katmanına sahip olduğunu belirtiyor Açıklamada, "Ayrıca zararlı içeriği tespit etmek ve engellemek için otomatik sistemler ile insan incelemesini birleştiriyoruz" denildi. Ayrıca kullanıcılar tarafından yüklenen kurallara aykırı materyalleri engellemeye çalışan sistemlerin varlığına da dikkat çekiliyor Politikaları cinsel şiddeti, izinsiz dağıtılan mahrem içeriği, çocukların cinsel istismarını içeren materyalleri ve bunların korumalarını aşmaya yönelik girişimleri yasaklar OpenAI, ChatGPT'nin davranışını açıklayan son belgesinde şunları söyledi: "Asistan, bilimsel, tarihi, haber, sanatsal veya hassas içeriğin uygun olduğu diğer bağlamlar dışında erotik görüntüler, yasa dışı veya yasa dışı cinsel aktivite görüntüleri veya grafik şiddet oluşturmamalıdır." Ancak bildiğimiz gibi yapay zeka modellerinin bazen çok ince kuralları ve kısıtlamaları ihlal etmesini tamamen engellemek son derece zordur Yapay zeka modellerini değerlendirme uzmanı ve Humane Intelligence CEO'su Dr. Rumman Chowdhury'ye göre şirketlerin karşılaştığı zorluk "muazzam" Mindgard araştırmasında yer almayan Chowdhury, bunun bir "kedi-fare oyunu" olduğunu, güvenlik önlemleri geliştikçe bunları aşma yöntemlerinin daha karmaşık hale geldiğini söyledi En önemli sorunlardan biri modellerin de insanlar gibi ne yarattıklarını veya kendilerinden ne yapmamalarının istendiğini anlamamasıdır BBC News'e şunları söyledi: "Modeller niyetleri anlamıyor. Bağlamı anlamıyorlar. Doğru ya da yanlış olsun, nezaketi anlamıyorlar." Geçen yıl, Birleşik Krallık Yapay Zeka Güvenlik Enstitüsü'nden araştırmacılar, test ettikleri tüm Yapay Zeka sistemlerinde çeşitli kötü amaçlı isteklere karşı korumaları atlayan hack'leri keşfettiler Bilim, Yenilik ve Teknoloji Bakanlığı yaptığı açıklamada "yapay zeka modellerindeki güvenlik önlemlerinin iyileştirildiğini ancak daha yapılacak çok şey olduğunu" söyledi Yapay Zeka Güvenlik Enstitüsü'nün, modeller yayınlanmadan önce güvenliği hızlı bir şekilde güçlendirmek için geliştiricilerle çalışmaya devam edeceği belirtildi