Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri

Microsoft'a bağlı araştırma ekibi GPT-4'teki güvenlik kusurlarını keşfetti - Siècle Digital - Dünyadan Güncel Teknoloji Haberleri
Dil modeli öncekilerden farklı olarak daha fazla eğilim gösterecektir, ” bu yanıltıcı talimatları takip etmek “ Bu, bazı ayrımcı içeriklerin, Açık Yapay Zeka’nın en güçlü dil modellerinin denetimi altında gözden kaçıp kaçmayacağını inkar edilemez şekilde bilmeyi mümkün kılan büyük bir zorluk Elbette bu kusurlar tespit edilip test edildikten sonra, kötü niyetli kişilerin bu kusurları suiistimal etmesini önlemek için bunlar düzeltildi 5’ten daha güvenilirdir », OpenAI’nin en son LLM’si « onu jailbreak yapmayı amaçlayan istemler göz önüne alındığında daha savunmasız kalıyor “

Araştırmacılar, çalışmalarının yanı sıra, farklı dil modellerini karşılaştırmak için kullandıkları kodu GitHub’da açık kaynak olarak sundular Modelin olması mümkün…

OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3

ChatGPT’nin piyasaya sürülmesinden bu yana OpenAI’de yalnızca bir hata oluştu



genel-16

Böyle bir önlemin uygulanmasına rağmen şirketin CEO’su Sam Altman, aracının ” hâlâ kusurluydu, hâlâ sınırlıydı “

Bir blog yazısında Microsoft, neden bu tür kusurları bulmaya çalıştığını açıkladı Geçtiğimiz Mart ayında, bir güvenlik açığı, chatbot kullanıcılarının diğer kullanıcıların konuşma başlıklarını görmesine olanak tanıdı » diye ekliyorlar Ancak kırmızı takımın çalışmasının başarılı olduğuna dair güvence verdi: modelin yüksek riskli alanlardaki davranışının test edilmesini mümkün kıldı, » ve birçok tehlikeyi silin Somut olarak, belirli kullanıcılar kötü amaçlı kullanım için tasarlanmış ve GPT-4 güvenliğini aşmayı amaçlayan araçlar veya süreçler geliştirebilir Modelin yerleşik güvenlik önlemlerini geçersiz kılacak ve dolayısıyla potansiyel olarak yanlış, önyargılı veya ayrımcı mesajlar üretecek şekilde programlanması mümkündür 000 dolara kadar ödül kazanmaya teşvik ederek hata ödülünü başlattı Sorunun çözülebilmesi için lansmanından bu yana ilk kez hizmet kesintiye uğradı Bu olayın ardından şirket, araçlarından birinde kusur bulan herkesi bunu bildirmeye ve 20 » Redmond firmasını ilan ediyor


OpenAI’nin tercih edilen ortağı Microsoft’a bağlı araştırmacılar, GPT-3, 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi

GPT-4, önceki LLM’lerin aksine, kötü niyetli talimatları daha iyi takip edebilecektir

Her ne kadar araştırmacılar şunu bulmuş olsa da “ GPT-4, standart kıyaslamalarda genellikle GPT-3 “ Araştırma ekibi, tespit ettikleri potansiyel güvenlik açıklarının müşteriye yönelik mevcut hizmetleri etkileyip etkilemediğini araştırdı

OpenAI genellikle araçlarıyla işini riske atmaz

GPT-4’ün piyasaya sürülmesinden önce, modelin sonlandırma aşamasında OpenAI, görevi potansiyel kusurları bulmak olan kişilerden oluşan bir “kırmızı ekip” oluşturmuştu

Şirket, web’deki içeriği denetlemek için GPT-4 sunma konusunda kendinden emin olmaya devam ediyor “ Amacımız, araştırma topluluğundaki diğer kişileri bu çalışmayı kullanmaya ve geliştirmeye teşvik ederken, aynı zamanda güvenlik açıklarından yararlanarak zarar verebilecek rakiplerin zararlı eylemlerini potansiyel olarak önler 5 ve GPT-4 dahil olmak üzere büyük dil modellerinin (LLM’ler) güvenilirliğini inceledi