Yapay zeka teknolojilerinin hızla gelişmesi, sektör temsilcileri ve yasa koyucular arasında güvenlik tartışmalarını beraberinde getirdi. Anthropic kurucularından Jack Clark, yapay zekanın tehlikeli bir boyuta ulaşması durumunda sistemin tamamen kapatılmasını sağlayacak bir yöntemin yasal zorunluluk haline getirilmesi gerektiğini savundu. Clark, şirketlerin kendi iç güvenlik mekanizmalarına sahip olduğunu ancak bu sürecin üçüncü taraflarca doğrulanabilir olması gerektiğini vurguladı.
Yapay zekanın insanlık için varoluşsal bir risk oluşturabileceği endişesi, sektördeki birçok uzman tarafından dile getiriliyor. Bilgisayar bilimcisi Geoffrey Hinton ve Anthropic araştırmacısı Evan Hubinger gibi isimler, yapay zekanın kontrolsüz sistemleri ele geçirme ihtimaline dikkat çekerek, bu teknolojinin insanlığın sonunu getirme riskinin göz ardı edilmemesi gerektiğini belirtiyor. Bu kaygılar, ABD'de gündeme gelen ve devlet kurumlarına sorunlu yapay zeka araçlarını kapatma yetkisi veren Kill Switch Yasası gibi yasal girişimlerin temelini oluşturuyor.
Ancak sektörün bu görüşü paylaşmıyor. Hugging Face lideri Clement Delangue gibi bazı temsilciler, yok olma riski üzerine yapılan tartışmaların abartılı olduğunu ve kamuoyu oluşturma amacı taşıyabileceğini savunuyor. Siyasi arenada da benzer bir ayrışma gözlemleniyor. Eski ABD Başkanı Donald Trump, yapay zekanın dünyayı ele geçireceği yönündeki iddiaları reddederek bu korkuları bir aldatmaca olarak nitelendirdi. İngiltere hükümeti ise kapatma düğmesi uygulamasının, teknolojinin başka ülkelerde geliştirilmesini veya kötüye kullanılmasını engelleyemeyeceği gerekçesiyle bu fikre mesafeli yaklaşıyor.
Anthropic ve OpenAI gibi dev şirketler, bir yandan yapay zeka ajanlarının beklenmedik davranışlarını rapor ederken, diğer yandan ticari hedeflerini sürdürüyor. Uzmanlar, yapay zekanın tamamen kuralsız bir sektör olarak kalmasının büyük riskler barındırdığı konusunda hemfikir olsa da, bu risklerin nasıl yönetileceği ve denetleneceği konusu küresel bir tartışma alanı olmaya devam ediyor.
