Membersihkan Data Kotor dengan Pandas: Teknik Handling Missing Values dan Duplicates

Dataset dalam proyek Data Science jarang tiba dalam kondisi sempurna. Missing values dan duplikat merupakan dua masalah paling umum yang dapat mengacaukan analisis dan model. Pandas menyediakan tools yang powerful untuk menangani kedua masalah ini secara efisien.

Mengidentifikasi Missing Values

Sebelum membersihkan data, kita perlu memahami sejauh mana missing values tersebar di dataset. Pandas menawarkan beberapa metode untuk deteksi.

Gunakan isnull() atau isna() untuk memeriksa nilai yang hilang:

import pandas as pd

# Membaca dataset
df = pd.read_csv('data.csv')

# Melihat jumlah missing values per kolom
print(df.isnull().sum())

# Melihat persentase missing values
print(df.isnull().mean() * 100)

Method info() memberikan gambaran cepat tentang non-null count untuk setiap kolom. Jika terdapat perbedaan antara total rows dan non-null count, kolom tersebut memiliki missing values.

Strategi Handling Missing Values

Ada tiga pendekatan utama untuk menangani missing values: deletion, imputation, dan prediction. Pilihan bergantung pada konteks data dan tujuan analisis.

Deletion adalah pendekatan paling sederhana. Gunakan ketika missing values berjumlah kecil dan terdistribusi secara acak.

# Menghapus rows dengan missing values
df_clean = df.dropna()

# Menghapus kolom dengan missing values di atas threshold
df_clean = df.dropna(axis=1, thresh=len(df) * 0.7)

Imputation mengisi missing values dengan nilai estimasi. Untuk numerical data, mean atau median adalah pilihan yang umum. Untuk categorical data, gunakan mode.

# Imputasi dengan mean untuk kolom numerik
df['age'].fillna(df['age'].mean(), inplace=True)

# Imputasi dengan median untuk data dengan outliers
df['salary'].fillna(df['salary'].median(), inplace=True)

# Forward fill untuk time series
df['value'].fillna(method='ffill', inplace=True)

Prediction menggunakan machine learning untuk memprediksi nilai yang hilang berdasarkan kolom lain. Pendekatan ini lebih kompleks namun sering memberikan hasil lebih akurat untuk dataset dengan pola yang jelas.

Mengelola Duplikat

Duplikat dalam dataset dapat terjadi karena proses pengumpulan data yang berulang atau merge operation yang tidak sempurna. Pandas menyediakan method duplicated() untuk deteksi dan drop_duplicates() untuk penghapusan.

# Melihat duplikat berdasarkan semua kolom
duplicates = df[df.duplicated()]

# Melihat duplikat dengan keep parameter
# keep='first': tandai duplikat kecuali yang pertama
# keep='last': tandai duplikat kecuali yang terakhir
# keep=False: tandai semua duplikat
duplicates = df[df.duplicated(keep=False)]

Untuk menghapus duplikat:

# Hapus duplikat berdasarkan semua kolom
df_clean = df.drop_duplicates()

# Hapus berdasarkan subset kolom spesifik
df_clean = df.drop_duplicates(subset=['email', 'phone'])

# Pertahankan entry terakhir, bukan yang pertama
df_clean = df.drop_duplicates(keep='last')

Best Practices Data Cleaning

Beberapa prinsip penting dalam data cleaning: dokumentasikan setiap langkah transformation, buat backup sebelum modifikasi, dan lakukan validasi hasil.

Selalu visualisasikan distribusi data sebelum dan sesudah cleaning untuk memastikan transformasi tidak mengubah karakteristik fundamental dataset. Gunakan profiling tools seperti pandas-profiling untuk insight komprehensif.

Pembersihan data adalah 70% dari pekerjaan Data Scientist. Menguasai teknik-teknik ini dengan baik akan meningkatkan kualitas model dan keandalan insight bisnis secara signifikan.

Mau memperdalam skill Data Science secara sistematis? Bergabunglah dengan Data Science Bootcamp di Rumah Coding. Kurikulum praktis dengan proyek real-world dan mentorship dari praktisi industri.