Makalenin başlığı, JPL'den Kiri Wagstaff tarafından yazılan ve 2012 yılında yayınlanan Önemli Makine Öğrenimi'dir. Kiri Wagstaff’ın tezi, makine öğrenimi araştırma topluluğunun kendi yolunu kaybettiği üzerinedir. İleri sürdüğü konu, birçok makine öğreniminin makine öğrenimi adına yapıldığıdır. Kiri Wagstaff bu konuda 3 ana probleme dikkat çekmektedir.
Deney Verilerine Odaklanma
UCI veri havuzundaki veri kümelerine odaklanın, ancak bunlardan çok azı ele alınan alanda (domain) bir etki yaratır.
Kiri Wagstaff, standart veri kümelerinin kullanımını, regresyon ve sınıflandırma problemlerine yönelik eğriliği geçersiz kılan deney tekrarlanabilirliği için standartların eksikliğine ve yetersizliğine işaret etmektedir. Ayrıca yazar burada UCI veri havuzunu kullanmanın, sentetik veri kullanmaktan daha kötü olduğunu söylemektedir çünkü verilerin nasıl oluşturulduğu üzerinde kontrolümüz bile yoktur.
Soyut Metriklere Odaklanmak
Algoritma yarışlarına veya fırlamalara güçlü bir odaklanma ve etki alanında doğrudan bir anlamı olmayan RMSE ve F-ölçü gibi genel metriklerin kullanımı.
Tamamlamama eksikliği
Weka'da veri setlerini indirmek ve algoritmaları çalıştırmak gerçekten çok kolaydır. Sonuçları yorumlamak ve alanla ilişkilendirmek çok zordur, ancak etki yaratmak için gereken budur. Sorunun temel noktası, makine öğrenimini üç aktivite sınıfı olarak tanımlaması ve algoritma seçimi ve problem tanımını ve sonuç yorumunu göz ardı eden deneylere odaklayan ‘makine öğrenim katkısıdır’.
Zihniyetteki Değişim
Kiri Wagstaffve araştırma topluluğunun makine öğrenimi araştırma projelerini formüle etme, saldırı ve değerlendirme şeklini değiştirilmesi gerektiğini önermektedir. Kiri Wagstaffele alınacak üç alan hakkında yorumda bulunur:
Anlamlı değerlendirme yöntemleri
Makine öğrenim sisteminin etki alanındaki doğrudan etkisini ölçün. Örneğin, tasarruf edilenler, korunan hayatlar, korunan zamanlar ya da çabalar azaldı. Doğrudan bir etki ölçümünün seçilmesi, deneyin tasarımı ve verilerin seçimi üzerinde bir akış etkisine sahip olacaktır.
Dış dünyanın katılımı
Alan adı uzmanlarını sorunu ve verileri tanımlamaya dahil edin ve daha da önemlisi bunları alan adındaki sonuçların önemini yorumlamak için kullanın. Bu, önemsiz sorunların çözülmesini durdurmak ve pratikte benimsenecek (adapte olacak) kadar güvenilir ve kullanışlı sistemler geliştirmektir.
Ödül
Etkileri için araştırma problemlerini seçin. Sorunlu alandaki statükoyu ele alın ve sonuçları bu statükonun üzerinde bir gelişme ve ilerleme seviyesi olarak tanımlayın. Topluluğa katılın ve adapte olmak için motive edin.
Açık Zorluklar
Makine öğrenmesinin fark yaratabileceği araştırma projelerine örnek olarak 6 problemin çözümü;
Makine öğrenimi analizinin sonucuna dayanan bir yasa kabul edildi veya yasal karar verildi.
Bir makine öğrenim sistemi tarafından sağlanan geliştirilmiş karar verme yolu sayesinde 100 milyon dolar tasarruf sağladı.
Bir makine öğrenim sistemi tarafından sağlanan yüksek kaliteli çeviri sayesinde uluslar arasındaki çatışma önlendi.
Makine öğrenim savunmaları yoluyla siber güvenlik kırılmalarında %50 azalma.
Bir Makine öğrenim sistemi tarafından önerilen bir tanı veya müdahale ile kurtarılan insan hayatı.
Bir ülkenin bir makine öğrenim sistemine atfedilebilen İnsani Gelişme Endeksi'nde (İGE) %10'luk iyileşme ve gelişme.
Bunlar üzerinde çalışılacak kapsamlı ve öncelikli bir sorun listesi yerine ilham vermeyi amaçlayan örneklerdir.
Son olarak, Kiri Wagstaff’ın önemli araştırma problemlerini etkili bir şekilde ele almanın önündeki engeller hakkında bir yorumu daha var.
Mesleki Dil
Sahada faydalı bir steno olan ama temelde alanın dışından anlaşılamayan makine öğrenimi terminolojisinin aşırı kullanımı. Daha geniş bir kitleyi hedeflerken daha genel bir dile ihtiyaç vardır.
Risk
Bir makine öğrenme sistemi sonuç kararları verirken, hata yaptığında kim suçlanabilir? Sistemin ilerleyişini kim sürdürüyor?
Karmaşıklık
Makine öğrenim yöntemleri hala ateşle ve unut değildir ve yöntemleri anlamak ve kullanmak için bilgi gerekmektedir. Bu yüzden de daha iyi araçlara ihtiyacımız var.