Teori dan Implementasi AdaBoost: Meningkatkan Akurasi Model dengan Ensemble Boosting menggunakan Python

Keterbatasan Model Lemah dan Alasan Boosting Menjadi Solusi yang Berbeda dari Bagging

Weak learner adalah model sederhana yang akurasinya hanya sedikit lebih baik daripada tebakan acak. Contoh paling umum adalah decision stump, yaitu decision tree dengan satu level percabangan saja. Ketika model lemah berdiri sendiri, performanya cepat mencapai batas karena kapasitas representasinya terlalu kecil untuk menangkap pola kompleks dalam data. Akibatnya, model tersebut menghasilkan bias yang tinggi ketika menghadapi data dengan struktur yang rumit.

Solusi untuk keterbatasan ini adalah menggabungkan banyak model lemah menjadi satu model kuat, dan pendekatan ini disebut ensemble learning. Di dalam ensemble learning terdapat dua filosofi utama yang berbeda: bagging dan boosting. Bagging melatih banyak model secara paralel pada subset data acak, lalu hasil akhir diperoleh dari rata-rata prediksi semua model. Boosting justru melatih model secara berurutan, di mana setiap model baru fokus memperbaiki kesalahan yang ditinggalkan model sebelumnya.

AdaBoost (Adaptive Boosting) adalah algoritma boosting yang paling dikenal. Ide inti dari AdaBoost adalah memberikan perhatian lebih besar pada sampel data yang sering salah diprediksi pada iterasi sebelumnya. Dengan cara ini, gabungan banyak weak learner menghasilkan satu strong learner yang akurasinya jauh lebih tinggi daripada model individual. Perbedaan filosofi inilah yang membuat boosting lebih unggul dibandingkan bagging pada data dengan pola kompleks, meskipun keduanya sama-sama berangkat dari model lemah.

Gambar: Beberapa classifier dengan decision boundary berbeda dikombinasikan menjadi decision boundary ensemble yang lebih baik — Sumber: Wikipedia

Memahami Mekanisme AdaBoost dalam Iterative Weight Updating dan Kombinasi Bobot Model

Pada iterasi pertama, setiap sampel data diberi bobot yang seragam, misalnya 1/n untuk dataset dengan n sampel. Bobot ini menentukan seberapa besar pengaruh sebuah sampel ketika weak learner dilatih. Setiap iterasi berikutnya menjalankan tiga langkah utama: melatih weak learner dengan bobot sampel saat ini, menghitung weighted error rate, lalu memperbarui bobot sampel.

Weighted error rate dihitung dari proporsi sampel yang salah diklasifikasi, dengan mempertimbangkan bobot masing-masing sampel. Dari nilai error tersebut, kita menghitung nilai alpha, yaitu bobot model dalam ensemble, menggunakan rumus alpha = 0.5 * ln((1 - error) / error). Nilai alpha bertindak seperti tingkat kepercayaan juri: semakin kecil error sebuah model, semakin besar pengaruh suaranya terhadap hasil akhir.

Setelah alpha dihitung, bobot sampel diperbarui. Sampel yang salah diprediksi dinaikkan bobotnya, sedangkan sampel yang benar diturunkan. Proses peningkatan bobot sampel yang salah mirip dengan guru yang mengulang soal yang sering dijawab keliru oleh muridnya, hingga murid tersebut akhirnya menguasai materi itu. Semakin sering sebuah sampel salah diprediksi, semakin besar bobotnya pada iterasi berikutnya.

Gambar: Mekanisme boosting — data asli dan data berbobot dilatih berurutan oleh beberapa weak learner, lalu seluruh prediksinya dikombinasikan menjadi ensemble classifier — Sumber: Wikipedia)

Kombinasi akhir dari AdaBoost adalah weighted majority vote. Setiap weak learner memberikan suara sebesar nilai alpha-nya, dan kelas dengan total bobot suara terbesar menjadi prediksi final. Konsekuensi menarik dari mekanisme ini: jika error rate sebuah model mendekati tebakan acak, nilai alpha-nya mendekati nol sehingga kontribusinya hampir tidak berpengaruh pada keputusan akhir.

Gambar: Agregasi prediksi dari beberapa decision tree menjadi satu klasifikasi final melalui mekanisme voting — Sumber: Wikipedia

Implementasi AdaBoost dengan Scikit-learn pada Dataset Klasifikasi

Mari kita uji AdaBoost pada dataset klasifikasi biner load_breast_cancer dari sklearn.datasets. Dataset ini berisi 569 sampel dengan 30 fitur numerik yang menggambarkan karakteristik sel tumor, dengan label biner malignant atau benign. Kita akan membandingkan akurasi single decision stump dengan ensemble AdaBoost untuk membuktikan peningkatan yang dihasilkan.

!pip install scikit-learn numpy

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
from sklearn.metrics import accuracy_score

data = load_breast_cancer()
X, y = data.data, data.target

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Single weak learner
stump = DecisionTreeClassifier(max_depth=1, random_state=42)
stump.fit(X_train, y_train)
acc_stump = accuracy_score(y_test, stump.predict(X_test))

# Ensemble AdaBoost dengan decision stump sebagai base estimator
ada = AdaBoostClassifier(
    estimator=DecisionTreeClassifier(max_depth=1, random_state=42),
    n_estimators=50,
    random_state=42
)
ada.fit(X_train, y_train)
acc_ada = accuracy_score(y_test, ada.predict(X_test))

print(f"Akurasi decision stump: {acc_stump:.4f}")
print(f"Akurasi AdaBoost:      {acc_ada:.4f}")

Alur kerja kode di atas ringkas. Kita memuat dataset, memisahkan data latih dan data uji dengan train_test_split, lalu melatih dua model: decision stump tunggal dan AdaBoostClassifier dengan n_estimators=50. Pada AdaBoostClassifier, parameter estimator menentukan base estimator yang digunakan, dan di sini kita tetap memakai decision stump. Hasilnya akan menunjukkan peningkatan akurasi yang signifikan.

Output:

Akurasi decision stump: 0.8947
Akurasi AdaBoost:      0.9649

Dari output tersebut, decision stump hanya mencapai akurasi 89.47 persen, sedangkan AdaBoost mencapai 96.49 persen. Peningkatan sekitar 7 poin ini diperoleh tanpa mengubah data atau memperbesar model dasar, hanya dengan menggabungkan 50 decision stump secara adaptif. Peningkatan ini membuktikan bahwa kekuatan AdaBoost berasal dari mekanisme ensemble, bukan dari kompleksitas model individual.

Menganalisis Progresi Error dan Pengaruh Jumlah Estimator

Setelah model dilatih, kita bisa membaca atribut estimator_errors_ untuk melihat bagaimana error setiap weak learner berubah sepanjang iterasi. Nilai-nilai ini tidak menurun secara monoton karena setiap model baru dilatih pada distribusi bobot yang berbeda. Model-model awal cenderung menyelesaikan pola yang umum, sedangkan model-model berikutnya berfokus pada kasus yang semakin sulit.

!pip install scikit-learn numpy matplotlib

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
from sklearn.metrics import accuracy_score

data = load_breast_cancer()
X, y = data.data, data.target
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

# Analisis error per iterasi
ada = AdaBoostClassifier(
    estimator=DecisionTreeClassifier(max_depth=1, random_state=42),
    n_estimators=50,
    random_state=42
)
ada.fit(X_train, y_train)
print("Estimator errors (10 pertama):", np.round(ada.estimator_errors_[:10], 4))

# Akurasi terhadap jumlah estimator
scores = []
for n in range(1, 101):
    model = AdaBoostClassifier(
        estimator=DecisionTreeClassifier(max_depth=1, random_state=42),
        n_estimators=n,
        random_state=42
    )
    model.fit(X_train, y_train)
    scores.append(accuracy_score(y_test, model.predict(X_test)))

plt.figure(figsize=(8, 5))
plt.plot(range(1, 101), scores, marker="o", markersize=3)
plt.xlabel("Jumlah Estimator (n_estimators)")
plt.ylabel("Akurasi pada Data Uji")
plt.title("Akurasi AdaBoost vs Jumlah Estimator")
plt.grid(True, alpha=0.3)
plt.show()

Logika di balik kode ini adalah menjalankan dua eksperimen dalam satu alur. Pertama, kita membaca estimator_errors_ setelah melatih AdaBoost dengan 50 estimator. Kedua, kita melatih ulang AdaBoost berulang kali dengan n_estimators dari 1 hingga 100, lalu memplot akurasi terhadap jumlah estimator untuk melihat pola peningkatan.

Output:

Estimator errors (10 pertama): [0.0791 0.1354 0.1612 0.2437 0.2362 0.323  0.2945 0.2281 0.3376 0.2638]

Pada grafik, akurasi naik tajam dari sekitar 0.89 saat satu estimator, lalu menyentuh sekitar 0.96 pada 10 estimator. Setelah titik tersebut, kurva mendatar dan hanya bertambah sedikit hingga mencapai sekitar 0.97 pada 100 estimator. Fenomena ini menunjukkan titik jenuh: penambahan estimator setelah sekitar 30 hingga 50 iterasi tidak lagi memberikan peningkatan yang berarti. Menambahkan n_estimators hingga ratusan hanya memperlama waktu training, karena setiap iterasi melatih satu decision stump baru pada seluruh data.

Memilih Base Estimator, Learning Rate, dan Kapan AdaBoost Tidak Tepat

Pemilihan base estimator sangat menentukan kualitas AdaBoost. Decision stump biasanya sudah cukup, karena boosting bekerja dengan menggabungkan banyak model yang masing-masing hanya sedikit lebih baik daripada random. Jika kita memakai model yang terlalu kuat sebagai base estimator, misalnya decision tree dengan kedalaman 10, peningkatan dari boosting menjadi kecil dan risiko overfitting meningkat. Kekuatan AdaBoost justru muncul dari koreksi bertahap antar model lemah.

Parameter learning_rate mengontrol seberapa besar kontribusi setiap weak learner terhadap prediksi akhir. Nilai default 1.0 membuat model langsung memberikan kontribusi penuh, sedangkan nilai yang lebih kecil, misalnya 0.1, membuat setiap model hanya memberi pengaruh kecil. Aturan praktis yang umum digunakan: jika learning_rate diturunkan, kita perlu menaikkan n_estimators agar performa tetap terjaga, karena kontribusi per model menjadi lebih kecil.

AdaBoost bekerja paling baik pada data tabular yang bersih dengan label yang relatif seimbang. Namun algoritma ini sangat sensitif terhadap noise dan outlier, karena bobot sampel yang salah diprediksi terus membesar sepanjang iterasi. Jika data mengandung label noise yang tinggi, AdaBoost justru akan memaksa model untuk mempelajari kesalahan tersebut sehingga performanya menurun drastis. Pada kasus seperti ini, Gradient Boosting modern seperti XGBoost atau LightGBM sering menjadi pilihan yang lebih robust.

Keputusan akhir sebaiknya tidak didasarkan pada satu kali training. Kita perlu mengevaluasi AdaBoost dengan cross-validation dan membandingkannya dengan model lain sebelum memutuskan bahwa AdaBoost adalah pilihan terbaik. Kombinasi dari pemilihan base estimator yang tepat, tuning learning_rate, dan validasi yang menyeluruh akan menghasilkan model ensemble yang andal.

Setelah memahami AdaBoost, langkah selanjutnya adalah memperdalam konsep ensemble learning dan boosting secara end-to-end. Bergabunglah dengan bootcamp atau kursus Machine Learning di Rumah Coding untuk mempelajari cara membangun, mengevaluasi, dan mengoptimalkan model ensemble dalam proyek nyata, dari data preparation hingga deployment.