Makine öğrenimindeki hiper parametreler, öğrenme sürecini kontrol etmek için kullanıcı tarafından açıkça tanımlanan parametrelerdir. Bu hiperparametreler modelin öğrenmesini geliştirmek için kullanılır ve değerleri modelin öğrenme sürecine başlamadan önce ayarlanır.

Bu başlıkta, makine öğreniminin en önemli kavramlarından biri olan Hiperparametreleri, örneklerini, hiperparametre ayarlamasını, hiperparametre kategorilerini, Makine Öğreniminde hiperparametrenin parametreden ne kadar farklı olduğunu tartışacağız. Ancak başlamadan önce Hiperparametreyi anlayalım.

Hiperparametreler nelerdir?

Makine Öğrenimi/Derin Öğrenmede bir model, parametreleriyle temsil edilir. Buna karşılık, bir eğitim süreci, en iyi sonucu sağlamak için öğrenme algoritmaları tarafından kullanılan en iyi/optimal hiperparametrelerin seçilmesini içerir. Peki nedir bu hiperparametreler? Cevap, ' Hiperparametreler, öğrenme sürecini kontrol etmek için kullanıcı tarafından açıkça tanımlanan parametreler olarak tanımlanır.'

Burada 'hiper' öneki, parametrelerin öğrenme sürecini kontrol etmede kullanılan üst düzey parametreler olduğunu göstermektedir. Hiperparametrenin değeri, öğrenme algoritması modeli eğitmeye başlamadan önce makine öğrenimi mühendisi tarafından seçilir ve ayarlanır. Dolayısıyla bunlar modelin dışındadır ve değerleri eğitim süreci boyunca değiştirilemez. .

ikili arama ağacı vs ikili ağaç

Makine Öğreniminde Bazı Hiperparametre Örnekleri

• kNN veya K-En Yakın Komşu algoritmasındaki k
• Bir sinir ağını eğitmek için öğrenme oranı
• Tren-test bölünme oranı
• Parti boyutu
• Dönem Sayısı
• Karar Ağacındaki Dallar
• Kümeleme Algoritmasındaki küme sayısı

Parametre ve Hiperparametre arasındaki fark?

Parametreler ile hiperparametreler veya model hiperparametreleri arasında her zaman büyük bir karışıklık vardır. O halde bu karışıklığı ortadan kaldırmak için ikisi arasındaki farkı ve birbirleriyle nasıl ilişkili olduklarını anlayalım.

Modeli Parametreleri:

Model parametreleri, modelin içinde bulunan konfigürasyon değişkenleridir ve model bunları kendi kendine öğrenir. Örneğin Doğrusal regresyon modelinde bağımsız değişkenlerin W Ağırlıkları veya Katsayıları . veya SVM'deki bağımsız değişkenlerin ağırlıkları veya katsayıları, bir sinir ağının ağırlığı ve önyargıları, kümelemede küme merkezi. Model parametrelerine ilişkin bazı önemli noktalar şunlardır:

• Model tarafından tahminlerde bulunmak için kullanılırlar.
• Model tarafından verilerin kendisinden öğrenilirler
• Bunlar genellikle manuel olarak ayarlanmaz.
• Bunlar modelin bir parçasıdır ve makine öğrenimi Algoritmasının anahtarıdır.

Model Hiperparametreleri:

Hiperparametreler, öğrenme sürecini kontrol etmek için kullanıcı tarafından açıkça tanımlanan parametrelerdir. Model parametrelerine ilişkin bazı önemli noktalar şunlardır:

• Bunlar genellikle makine öğrenimi mühendisi tarafından manuel olarak tanımlanır.
• Verilen problem için hiperparametrelerin tam olarak en iyi değeri bilinemez. En iyi değer, genel kuralla veya deneme yanılma yoluyla belirlenebilir.
• Hiperparametrelerin bazı örnekleri şunlardır: bir sinir ağının eğitimi için öğrenme oranı, KNN algoritmasında K,

Hiperparametrelerin Kategorileri

Genel olarak hiperparametreler aşağıda verilen iki kategoriye ayrılabilir:

Optimizasyon için Hiperparametre Belirli Modeller için Hiperparametre

Optimizasyon için Hiperparametre

Kullanılacak en iyi hiperparametreleri seçme süreci hiperparametre ayarlaması olarak bilinir ve ayarlama süreci de hiperparametre optimizasyonu olarak bilinir. Modelin optimizasyonu için optimizasyon parametreleri kullanılır.

Popüler optimizasyon parametrelerinden bazıları aşağıda verilmiştir:

Öğrenme oranı:Öğrenme oranı, optimizasyon algoritmalarında, modelin ağırlıkları her güncellendiğinde tahmini hataya yanıt olarak modelin ne kadar değişmesi gerektiğini kontrol eden hiper parametredir. Sinir ağı oluştururken en önemli parametrelerden biri olup, model parametreleriyle çapraz kontrol sıklığını da belirler. Optimize edilmiş öğrenme oranını seçmek zorlu bir iştir çünkü öğrenme oranı çok düşükse eğitim süreci yavaşlayabilir. Öte yandan, eğer öğrenme oranı çok büyükse o zaman modeli düzgün bir şekilde optimize edemeyebilir.

Not: Öğrenme oranı, modeli optimize etmek için çok önemli bir hiperparametredir; dolayısıyla yalnızca tek bir hiperparametrenin ayarlanması gerekiyorsa öğrenme oranının ayarlanması önerilir.

Parti boyutu:Öğrenme sürecinin hızını artırmak için eğitim seti, toplu olarak bilinen farklı alt kümelere bölünür. Dönem Sayısı: Bir dönem, makine öğrenimi modelinin eğitiminin tam döngüsü olarak tanımlanabilir. Epoch yinelemeli bir öğrenme sürecini temsil eder. Dönem sayısı modelden modele değişmektedir ve birden fazla dönemle çeşitli modeller oluşturulmaktadır. Doğru dönem sayısını belirlemek için bir doğrulama hatası dikkate alınır. Doğrulama hatasında azalma sağlanana kadar dönem sayısı artırılır. Ardışık dönemler için azaltma hatasında bir iyileşme olmazsa, dönem sayısını artırmanın durdurulması gerektiğini gösterir.

Belirli Modeller için Hiperparametre

Modelin yapısında yer alan hiper parametreler, belirli modellere yönelik hiper parametreler olarak bilinir. Bunlar aşağıda verilmiştir:

Bir dizi Gizli Birim:Gizli birimler, bir sinir ağındaki giriş ve çıkış birimleri arasındaki işlemci katmanlarını içeren bileşenleri ifade eden sinir ağlarının bir parçasıdır.

Sinir ağı için gizli birim hiperparametresinin sayısını belirtmek önemlidir. Giriş katmanının boyutu ile çıkış katmanının boyutu arasında olmalıdır. Daha spesifik olarak, gizli birimlerin sayısı, giriş katmanı boyutunun 2/3'ü artı çıkış katmanı boyutunun 2/3'ü kadar olmalıdır.

Karmaşık fonksiyonlar için gizli birimlerin sayısının belirtilmesi gerekir ancak modelin dışına çıkmamalıdır.

Katman sayısı:Bir sinir ağı, katman adı verilen dikey olarak düzenlenmiş bileşenlerden oluşur. Esas olarak var giriş katmanları, gizli katmanlar ve çıktı katmanları . 3 katmanlı bir sinir ağı, 2 katmanlı bir ağa göre daha iyi performans sağlar. Evrişimli Sinir ağı için daha fazla sayıda katman daha iyi bir model oluşturur.

Çözüm

Hiperparametreler, bir makine öğrenimi algoritmasını bir veri kümesine uygulamadan önce öğrenme sürecini kontrol etmek için açıkça tanımlanan parametrelerdir. Bunlar modelin öğrenme kapasitesini ve karmaşıklığını belirtmek için kullanılır. Toplu iş boyutu, öğrenme oranı vb. gibi hiperparametrelerden bazıları modellerin optimizasyonu için kullanılır ve Gizli katman sayısı vb. gibi bazıları modellere özeldir.