Makine öğrenimi, makinelerin veri analizi yapmasına ve tahminlerde bulunmasına olanak tanıyan Yapay Zekanın bir dalıdır. Ancak makine öğrenimi modeli doğru değilse tahmin hataları yapabilir ve bu tahmin hataları genellikle Önyargı ve Varyans olarak bilinir. Makine öğreniminde model tahminleri ile gerçek tahminler arasında her zaman küçük bir fark olduğundan bu hatalar her zaman mevcut olacaktır. ML/veri bilimi analistlerinin temel amacı, daha doğru sonuçlar alabilmek için bu hataları azaltmaktır. Bu başlıkta önyargı ve varyans, Önyargı-varyans değişimi, Yetersiz Uyum ve Aşırı Uyum'u tartışacağız. Ancak başlamadan önce, Makine öğrenimindeki hataların neler olduğunu anlayalım.
Makine Öğreniminde Hatalar mı Var?
Makine öğreniminde hata, bir algoritmanın önceden bilinmeyen veri kümesi için ne kadar doğru tahminlerde bulunabileceğinin bir ölçüsüdür. Bu hatalara dayanarak, belirli veri kümesinde en iyi performansı gösterebilecek makine öğrenme modeli seçilir. Makine öğreniminde temel olarak iki tür hata vardır:
Hangi algoritmanın kullanıldığına bakılmaksızın. Bu hataların nedeni değeri azaltılamayan bilinmeyen değişkenlerdir.
Önyargı nedir?
Genel olarak bir makine öğrenimi modeli verileri analiz eder, içindeki kalıpları bulur ve tahminlerde bulunur. Model, eğitim sırasında veri kümesindeki bu kalıpları öğrenir ve bunları tahmin amacıyla test verilerine uygular. Tahmin yapılırken modelin yaptığı tahmin değerleri ile gerçekleşen değerler/beklenen değerler arasında fark oluşur. , ve bu fark önyargı hataları veya önyargıdan kaynaklanan hatalar olarak bilinir . Doğrusal Regresyon gibi makine öğrenme algoritmalarının veri noktaları arasındaki gerçek ilişkiyi yakalayamaması olarak tanımlanabilir. Her algoritma bir miktar önyargıyla başlar çünkü önyargı modeldeki varsayımlardan kaynaklanır ve bu da hedef fonksiyonun öğrenilmesini kolaylaştırır. Bir model aşağıdakilerden birine sahiptir:
aritmetik mantık Birimi
Genel olarak doğrusal bir algoritmanın ön yargısı yüksektir çünkü hızlı öğrenmelerini sağlar. Algoritma ne kadar basit olursa, ortaya çıkma olasılığı da o kadar yüksek olur. Oysa doğrusal olmayan bir algoritma genellikle düşük önyargıya sahiptir.
Düşük önyargılı makine öğrenimi algoritmalarına bazı örnekler Karar Ağaçları, k-En Yakın Komşular ve Destek Vektör Makineleridir . Aynı zamanda yüksek yanlılığa sahip bir algoritma Doğrusal Regresyon, Doğrusal Diskriminant Analizi ve Lojistik Regresyon.
Yüksek Önyargıyı azaltmanın yolları:
Yüksek önyargı esas olarak çok basit bir model nedeniyle ortaya çıkar. Yüksek önyargıyı azaltmanın bazı yolları aşağıda verilmiştir:
- Model yetersiz takıldıkça giriş özelliklerini artırın.
- Düzenleme süresini azaltın.
- Bazı polinom özelliklerinin dahil edilmesi gibi daha karmaşık modeller kullanın.
Varyans Hatası Nedir?
Varyans, farklı eğitim verilerinin kullanılması durumunda tahmindeki varyasyon miktarını belirtecektir. Basit kelimelerle, varyans, bir rastgele değişkenin beklenen değerinden ne kadar farklı olduğunu gösterir. İdeal olarak, bir model bir eğitim veri kümesinden diğerine çok fazla değişmemelidir; bu, algoritmanın girdiler ve çıktı değişkenleri arasındaki gizli eşlemeyi anlamada iyi olması gerektiği anlamına gelir. Varyans hataları şunlardan biridir: düşük varyans veya yüksek varyans.
Düşük varyans eğitim veri setindeki değişikliklerle hedef fonksiyonun tahmininde küçük bir değişiklik olduğu anlamına gelir. Aynı zamanda, Yüksek varyans eğitim veri setindeki değişikliklerle hedef fonksiyonun tahmininde büyük bir değişiklik gösterir.
Yüksek varyans gösteren bir model, eğitim veri kümesiyle çok şey öğrenir ve iyi performans gösterir, ancak görünmeyen veri kümesiyle iyi genelleme yapmaz. Sonuç olarak böyle bir model, eğitim veri seti ile iyi sonuçlar verirken, test veri seti üzerinde yüksek hata oranları göstermektedir.
java dizeye int döktü
Yüksek varyansla model, veri kümesinden çok fazla şey öğrendiğinden, modelin aşırı uyumuna yol açar. Yüksek varyansa sahip bir model aşağıdaki sorunlara sahiptir:
- Yüksek varyanslı bir model aşırı uyuma yol açar.
- Model karmaşıklığını artırın.
Genellikle doğrusal olmayan algoritmalar modele uyma konusunda çok fazla esnekliğe ve yüksek varyansa sahiptir.
Düşük varyansa sahip makine öğrenimi algoritmalarının bazı örnekleri şunlardır: Doğrusal Regresyon, Lojistik Regresyon ve Doğrusal diskriminant analizi . Aynı zamanda varyansı yüksek algoritmalar karar ağacı, Destek Vektör Makinesi ve K-en yakın komşular.
Yüksek Farkı Azaltma Yolları:
- Bir model gereğinden fazla takıldığından girdi özelliklerini veya parametre sayısını azaltın.
- Çok karmaşık bir model kullanmayın.
- Eğitim verilerini artırın.
- Düzenleme süresini artırın.
Farklı Önyargı-Varyans Kombinasyonları
Aşağıdaki şemada gösterilen dört olası sapma ve varyans kombinasyonu vardır:
ağaç haritası
Düşük önyargı ve düşük varyansın birleşimi ideal bir makine öğrenimi modeli gösterir. Ancak pratikte bu mümkün değildir.
Yüksek önyargı ve yüksek varyans nedeniyle tahminler tutarsız ve ortalama olarak da hatalıdır.
Yüksek varyans veya Yüksek Önyargı nasıl belirlenir?
Modelde aşağıdakiler varsa yüksek varyans tanımlanabilir:
- Düşük eğitim hatası ve yüksek test hatası.
Modelde aşağıdakiler varsa Yüksek Önyargı tanımlanabilir:
- Yüksek eğitim hatası ve test hatası neredeyse eğitim hatasına benzer.
Önyargı-Varyans Takası
Makine öğrenimi modelini oluştururken, modelde fazla uyum ve yetersiz uyumdan kaçınmak için önyargı ve varyansa dikkat etmek gerçekten önemlidir. Model daha az parametreyle çok basitse, varyansı düşük ve yanlılığı yüksek olabilir. Oysa modelin çok sayıda parametresi varsa varyansı yüksek ve yanlılığı düşük olacaktır. Bu nedenle, önyargı ve varyans hataları arasında bir denge kurulması gerekir ve önyargı hatası ile varyans hatası arasındaki bu denge, olarak bilinir. Önyargı-Varyans takası.
Modelin doğru bir şekilde tahmin edilmesi için algoritmaların düşük varyansa ve düşük önyargıya ihtiyacı vardır. Ancak bu mümkün değildir çünkü önyargı ve varyans birbiriyle ilişkilidir:
- Varyansı azaltırsak, önyargı artacaktır.
- Önyargıyı azaltırsak varyans artacaktır.
Önyargı-Varyans değişimi denetimli öğrenmede merkezi bir konudur. İdeal olarak, eğitim verilerindeki düzenlilikleri doğru bir şekilde yakalayan ve aynı zamanda görünmeyen veri kümesiyle iyi bir şekilde genelleme yapan bir modele ihtiyacımız var. Ne yazık ki bunu aynı anda yapmak mümkün değil. Çünkü yüksek varyanslı bir algoritma eğitim verileriyle iyi performans gösterebilir ancak gürültülü verilere aşırı uyum sağlanmasına yol açabilir. Oysa yüksek önyargılı algoritma, verilerdeki önemli düzenlilikleri bile yakalayamayabilecek çok basit bir model oluşturur. Bu nedenle, optimal bir model oluşturmak için önyargı ile varyans arasında hassas bir nokta bulmamız gerekiyor.
Bu nedenle, Önyargı-Varyans değiş tokuşu, önyargı ve varyans hataları arasında denge kurmak için uygun noktayı bulmakla ilgilidir.