Dünyanın ilk yapay zeka yazılım mühendisi başarısız oldu
Cognition AI tarafından geliştirilen ve Devin olarak isimlendirilen dünyanın birinci “yapay zeka yazılım mühendisi” görünüşe nazaran işini yapmakta hayli makus. Yapılan son değerlendirmeler, bu yeni jenerasyon aracın vaat edilen potansiyelden çok uzak olduğunu ortaya koyuyor. Testlerde Devin’in, kendisine verilen misyonların sadece yüzde 15’ini muvaffakiyetle tamamladığı görüldü.
BEKLENTİLER BÜYÜKTÜ
Donanımhaber’de yer alan detaylarda aktardığına nazaran 2024 yılının başlarında Cognition AI tarafından tanıtılan Devin, yazılım mühendislerine yardımcı olmayı amaçlayan bir otomasyon aracı olarak geliştirildi. Aralık 2024’te aylık 500 dolarlık abonelik fiyatıyla genel kullanıma sunulan Devin’in, uygulama geliştirme ve kusur giderme üzere misyonları baştan sona otonom bir halde gerçekleştirebildiği tez edildi. Araç, Slack üzerinden komut alıyor ve Docker tabanlı bir çalışma ortamında terminal, tarayıcı, kod düzenleyici ve planlayıcı üzere araçlarla çalışıyor.
Cognition AI’nin açıklamasına nazaran Devin; API entegrasyonu, kod incelemeleri, altyapı idaresi üzere misyonları yerine getirebiliyor. Hatta DoorDash üzerinden yemek siparişi verebilecek kadar “kişisel asistan” fonksiyonu gördüğü de belirtiliyor. Bunlar, başlı başına çok büyük bir olay ve sav.
Bu ortada Devin, bir “bileşik yapay zeka sistemi”, yani OpenAI’nı GPT-4o’sunu içeren ve vakit içinde gelişmesi beklenebilecek bir dizi temel yapay zeka modeline dayanıyor. Teorik olarak onların yapabildikleri her şeyi yapması bekleniyor.
SONUÇLAR HAYAL KIRIKLIĞI OLDU
Saygın bir AI araştırma ve geliştirme laboratuvarı olan Answer.AI’dan üç data bilimcisi Hamel Husain, Isaac Flath ve Johno Whitaker, bu savları test etmek için bir dizi denemeler gerçekleştirdi. Devin ile test edilen 20 vazifeden yalnızca üçü muvaffakiyetle tamamlanabildi. Devin’in tamamladığı vazifeler ortasında Notion veritabanından Google Sheets’e bilgi aktarma ve gezegen hareketlerini takip edebilen bir uygulama geliştirme bulunuyor. Lakin daha karmaşık misyonlarda Devin, teknik çıkmazlara saplandı yahut yanlışlı tahliller üretti.
Araştırmacılar, Devin’in temel pürüzleri fark edemediğini ve uygulanabilir olmayan tahlilleri zorlamaya devam ettiğini belirtti. Örneğin, Devin’den birden fazla uygulamayı Railway platformuna dağıtması istendiğinde, bu platformun bu türlü bir özelliği desteklemediğini anlamadı. Günlerce tahlil arayarak vakit kaybetti ve hayali özellikler “uydurdu.” Araştırmacılar, Devin’in arayüzünün kullanıcı dostu olduğunu ve kimi vazifelerde umut verici sonuçlar verdiğini kabul etseler de, aracın muteber olmaktan uzak olduğunu vurguladı: “Daha da kaygı verici olan, hangi vazifelerin başarılı olacağını kestirim edemememizdi. Birinci başarılarımıza emsal vazifeler bile karmaşık, vakit alıcı yollarla başarısız oluyordu.”
