پاکسازی داده یا Data Cleansing چیست؟

import pandas as pd
import numpy as np
from sklearn.impute import KNNImputer

# ایجاد داده نمونه با مقادیر گم‌شده
data = {
    'Age': [25, np.nan, 35, 40, np.nan],
    'Salary': [50000, 60000, np.nan, 80000, 90000],
    'City': ['Tehran', 'Mashhad', 'Isfahan', np.nan, 'Shiraz']
}
df = pd.DataFrame(data)

# Imputation عددی با KNN
imputer = KNNImputer(n_neighbors=2)
df[['Age', 'Salary']] = imputer.fit_transform(df[['Age', 'Salary']])

# Imputation رشته‌ای با mode
df['City'].fillna(df['City'].mode()[0], inplace=True)

print("داده پس از پاکسازی:\n", 

import pandas as pd

# داده نمونه با تکراری
data = {
    'ID': [1, 2, 1, 3, 2],
    'Name': ['Ali', 'Sara', 'Ali', 'Reza', 'Sara']
}
df = pd.DataFrame(data)

# حذف تکراری بر اساس تمام ستون‌ها
df_clean = df.drop_duplicates()

# حذف بر اساس ستون خاص
df_clean_id = df.drop_duplicates(subset=['ID'])

print("داده پس از حذف تکراری:\n", df_clean)

import pandas as pd
from sklearn.ensemble import IsolationForest

# داده نمونه
data = {'Value': [1, 2, 3, 100, 4, 5, 200]}
df = pd.DataFrame(data)

# تشخیص outliers
iso = IsolationForest(contamination=0.1)
df['Outlier'] = iso.fit_predict(df[['Value']])

# حذف outliers
df_clean = df[df['Outlier'] == 1]

print("داده پس از حذف outliers:\n", df_clean)

from sklearn.preprocessing import StandardScaler, MinMaxScaler
import pandas as pd

# داده نمونه
data = {'Height': [150, 160, 170, 180, 190]}
df = pd.DataFrame(data)

# استانداردسازی (Z-Score)
scaler = StandardScaler()
df['Height_std'] = scaler.fit_transform(df[['Height']])

# نرمال‌سازی (Min-Max)
minmax = MinMaxScaler()
df['Height_norm'] = minmax.fit_transform(df[['Height']])

print("داده پس از استانداردسازی و نرمال‌سازی:\n", df)

import nltk
from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
nltk.download('stopwords')

# داده نمونه
text = "This is a sample text with some stop words and stemming examples."

# حذف stop words
stop_words = set(stopwords.words('english'))
filtered_text = ' '.join(
    [word for word in text.split() if word.lower() not in stop_words])

# Stemming
stemmer = PorterStemmer()
stemmed_text = ' '.join([stemmer.stem(word) for word in filtered_text.split()])

print("متن پس از پاکسازی:\n", stemmed_text)