Bir Aracıyı Yararlı Yapan Nedir?

Geçen hafta Matt Shumer yapay zekada açıkça hızlanan bir şeye dikkat çekti. Modeller yeni nesil modellerin oluşturulmasına yardımcı olmaya başlıyor. Eskiden saatler süren görevler artık dakikalar sürüyor. İyileşme eğrisi tavanın nerede olduğunu merak etmenizi sağlayacak kadar dik görünüyor.

Ancak hız yapı değildir. Yetenek, bir sistemin yığının neresine ait olduğuna karar vermez. Aksine, sistem ne kadar hızlı olursa, yerleşimi ve kontrolleri de o kadar önemli hale gelir.

Matt, hızla değişmesini beklediği alanlar arasında finansı da sıralıyor. Stingray’i geliştirirken finans sektöründeki paydaşlarla birçok görüşme yapıyoruz. Risk yöneticileri, yatırımcılar, tüccarlar, saymanlar. Bireyler ve küçük ekipler, yeni hata modları yaratmadan iş akışlarının parçalarını otomatikleştirmeye çalışıyor.

Ve sürekli duyduğum soru “Ne yapabilir?” değil. bunun yerine: “Buna nasıl güvenebilirim?”

Hız pazarlarla buluştuğunda

Piyasalar zaten hızlı otonom sistemlerin stres testinden geçmiş durumda.

Knight Capital birisi kötü bir algoritma geliştirdiği için başarısız olmadı. Bir dağıtım eski bir kod yolunu yeniden canlandırdı. Sistem ticarete başladı. Ticarete devam etti. Kırk beş dakika sonra 460 milyon dolar gitti. Yeni bir şey değil. Düşman yok. Sadece hareket etme izni olan bir makine, onu durduran hiçbir katı sınır yok ve derinliğinin dışına çıkıp çıkmadığını yargılamanın hiçbir yolu yok.

Flash Crash de benzerdi. Her biri yapmak üzere tasarlandıkları şeyi yapan, sıkı bir döngü içinde birbirlerini besleyen bağımsız algoritmalar. Likidite ortadan kalktı. Fiyatlar çöktü. Sonra geri çekildi. Yine tek bir haydut istihbarat yok. Sıkıca bağlanmış bir sistemde sınırsız hız.

Tepki tahmin edilebilirdi. Devre kesiciler. İşlem öncesi risk sınırları. Anahtarları öldürün. Amaç ve yürütme arasında yer alan kontroller.

Finans, risklerin yüksek olduğu ortamlarda soyut olarak hayatta kalmanın önemli olmadığının mükemmel bir örneğidir. Riske göre ayarlanmış getirilerle ilgili. Küçük bir muazzam patlama olasılığını taşırken cazip getiriler sağlayan bir ajan, karmaşık değildir. Bu, nesnel olarak yanlış fiyatlandırılmış bir risktir.

Kuyruk riski ortalamalardan daha önemlidir

Altyapı mühendisliğinde ortalama durum için optimizasyon yapmazsınız. P95 ve P99’a bakıyorsunuz. Piyasalarda kuyruk riskine bakarsınız. Soru “ne sıklıkla doğrudur?” değil. “En kötü durumda ne olur?”

Bunun bir nedeni var. Tek bir karşı örnekle bir sistemin güvensiz olduğunu kanıtlayabilirsiniz. Felaket yaratan bir başarısızlık, binlerce başarılı çalışmayı geçersiz kılar. Bir sistemin dün çalıştığını, hatta art arda binlerce kez çalıştığını göstererek güvenli olduğunu kanıtlayamazsınız. Güvenlik yanlışlanabilir. Sağlamlık yalnızca tekrarlamayla kanıtlanamaz.

Sınırlı sistemler

Havacılık bunu onlarca yıl önce çözdü. Otomatik pilot çoğu zaman uçar. Ama bir zarfın içinde uçuyor. Anında geçersiz kılınabilir. Sensörler arızalandığında devreden çıkar. Makine kararlı rejimi yönetir. Rejim kırılmasını insan halleder.

Bu sınır mimarinin içine yerleştirilmiştir çünkü bu, Yüksek Lisans tabanlı bir sistemin güvenilir bir şekilde tahmin edebileceği bir şey değildir. Tasarımları gereği olasılıksaldırlar. Cümlelerdeki küçük değişiklikler çıktıları değiştirebilir. Halüsinasyon görüyorlar. Sürükleniyorlar. Hızla iyileşir.

Etkileyici. Bir risk çerçevesi değil.

Her çıktı tam manuel doğrulama gerektiriyorsa aracı, riski azaltmamıştır. Sadece taşındı. Sürekli denetim gerektiren otomasyon, özerklik değildir. Bu bilişsel bir yüktür.

Yani yararlı bir etmen güvenilirdir, bu da sınırlı olduğu anlamına gelir. Finans alanında riskleri kesin bir sınırın ötesine yükseltmemelidir. Önceden tanımlanmış bir kayıp eşiğinin ötesinde ticarete devam etmemelidir. İstem geliştiği için stratejiyi sessizce değiştirmemelidir.

Daha sonra okunabilirlik gelir. Neden bir takas önerdiğini yeniden yapılandırabilmeli, gördüklerini denetleyebilmeli ve bunu bir hafta sonra hikaye anlatmadan bir LP’ye veya risk komitesine açıklayabilmelisiniz.

Ve sonra stres altında istikrar. Veri kalitesi düştüğünde artar. Belirsizlik arttığında daha fazlasını değil, daha azını yapar. Rejim değiştiğinde duraklıyor ve kontrolü temiz bir şekilde geri veriyor.

Zarfın kenarının algılanması

Daha zor olan soru, acentenin harekete geçip geçemeyeceği değil. Zarftan ne zaman çıktığını tespit edip edemeyeceğinizdir.

Temsilcinizin ne zaman sınırlarını aştığını biliyor musunuz?

Temsilciler izleme, özetleme, simüle etme ve önerme konusunda harikadır. On kontrol panelinin içinde yaşamak zorunda kalmadan, her zaman aktif olan bir pazara ayak uydurmanıza yardımcı olabilirler.

İcra yetkisi doğası gereği farklıdır. Hızlandırma aracıları daha kullanışlı hale getirir. Onlara otomatik olarak yargılama hakkı vermez. Yetenek ölçeklenebilir. İzin verilmemelidir.

Gerçek test basittir. Bir sonraki rejim değişikliği geldiğinde ajanınız paniğe mi kapılıyor yoksa duraklıyor mu?