- Published on
Regularizasyon Nasıl Çalışır?
- Authors
- Name
- İkbal Ünal
- Github
- @ikbalunal
Regularizasyon
Pratikte, genel olarak doğrusal regresyonu birden çok değişken içeren verisetlerine uygularız. Bu birkaç sıkıntı yaratmaktadır. İlk olarak, değişken sayısı arttıkça, modelin aşırı öğrenme(overfit) olasığı artmaktadır. İkincisi, elimizdeki sıfırdan farklı katsayı arttıkça, bunları açıklamak zorlaşmaktadır. Elimizde yüzlerce değişken içeren bir model yerine üç değişken içeren bir model olması daha kullanışlı olabilir.
Ridge Regresyonu
Ridge Regresyonu ( aynı zamanda Tikhonov düzenlileştirmesi olarak da bilinir) doğrusal regresyondaki maliyet fonksiyonumuza (cost function) bir düzenlileştirme terimi eklenmesiyle elde edilir. Bu ekleme ile öğrenme algoritması hem veriyi öğrenir hem de model ağırlıklarını mümkün olduğunca küçük tutmaya çalışır. aşırı-parametresi (hyper-parameter), modeli ne kadar düzenlileştireceğimizi kontrol eder. için Ridge regresyonu, bildiğimiz lineer regresyondur. Eğer çok büyük ise, model ağırlıkları sıfıra çok yakın olacaklardır ve elde edeceğimiz sonuç verinin ortalamasından geçen bir doğru olacaktır.
Uyarı: Düzenlileştirilmiş modelleri kullanmadan önce, veriyi ölçeklemek önemlidir.
Lasso Regresyonu (Lasso Regression)
Lasso regresyonu (Least Absolute Shrinkage and Selection Operator Regression), lineer regresyonun başka bir düzenlileştirilmiş çeşididir: maliyet fonksiyonumuza düzenlileştirme terimi olarak eklenir.
Lasso regresyonunun önemli bir karakteristiği, en az önemli özniteliklerin (features) ağırlıklarını elemektedir (örneğin sıfır yapmaktadır.). Başka bir deyişle, Lasso regresyonu otomatik olarak “öznitelik seçimi” (feature selection) uygulamaktadır ve çıktı olarak ayrık bir model (sparse model) vermektedir (ayrık bir modelden kasıt, yalnızca bir kaç ağırlığın sıfırdan farklı olduğu modeller).
Elastic Net
Maliyet fonksiyonuna düzenlileştirme terimi olarak yeni bir fonksiyon eklenir. Bu da Ridge regresyonu ve Lasso regresyonunun bir karışımıdır. Burada, r karışım oranıdır.
r = 0 ise Elastic Net, Ridge regresyonuna, r = 1 ise de Lasso regresyonuna denktir.
Peki, uygulamalarda hangi regresyon metodunu seçeceğiz? İlk olarak düz doğrusal regresyondan genellikle kaçınmalıyız. Ridge genellikle tercih edilebilir, ancak modelde az sayıda özniteliğin faydalı olacağını düşünüyorsak Lasso ya da Elastic Net seçmeliyiz.