مقدمهای بر NLP و اهمیت آن
اگر تا حالا با گوگل ترنسلیت، چتباتها یا موتورهای جستجو کار کرده باشی، در واقع داری با دنیای NLP یا همون پردازش زبان طبیعی سروکار پیدا میکنی. NLP به زبان ساده یعنی کاری کنیم که کامپیوتر بتونه متنها و گفتار انسانی رو بفهمه، تجزیه و تحلیل کنه و حتی پاسخ مناسب تولید کنه.
زبان طبیعی پر از پیچیدگیهاست؛ از کنایه و استعاره گرفته تا غلطهای تایپی. برای همین NLP یکی از جذابترین و در عین حال سختترین حوزههای هوش مصنوعیه.
چرا پردازش زبان طبیعی مهم است؟
خب تصور کن یک موتور جستجو وجود داره که فقط دنبال کلمه به کلمه میگرده. دیگه هیچوقت نمیتونستی نتایج دقیق پیدا کنی. یا یک چتبات که فرق "سلام" و "سلاممم" رو نمیفهمه! یا فرق ماشین و اتومبیل رو متوجه نمیشه NLP دقیقاً همینجا وارد عمل میشه و به ماشینها یاد میده که با زبان انسانی راحتتر کار کنن.
جایگاه زبان فارسی در دنیای NLP
زبان فارسی با بیش از ۱۱۰ میلیون گویشور جایگاه مهمی داره. ولی متأسفانه نسبت به زبانهایی مثل انگلیسی خیلی کمتر مورد توجه قرار گرفته. همین باعث میشه ابزارهای NLP فارسی محدودتر باشن و نیاز بیشتری به توسعه داشته باشیم. یکی از پایهایترین ابزارها برای هر زبان هم چیزی نیست جز توکنایزر.
آشنایی با مفهوم توکنایزر
توکن چیست؟
توکن در NLP یعنی کوچکترین واحد معنیدار از یک متن. مثلاً در جملهی "من به مدرسه رفتم"، کلمات "من"، "به"، "مدرسه" و "رفتم" هر کدوم یک توکن هستن.
تفاوت توکنایزر با تقسیم ساده متن
شاید فکر کنی میشه متن رو با فاصلهها جدا کرد و تمام! ولی نه، ماجرا خیلی پیچیدهتر از این حرفاست. مثلاً کلمه "میروم" با نیمفاصله نوشته میشه. اگه فقط با فاصله جدا کنی، درست درنمیاد.
چرا برای فارسی توکنایزر خاص نیاز داریم؟
زبان فارسی کلی ظرافت و استثنا داره. نیمفاصله، پسوندهای زیاد، کلمات مرکب و حتی شباهت نوشتاری بعضی واژهها باعث میشه توکنایزر انگلیسی به درد فارسی نخوره. باید یه ابزار مخصوص خودمون داشته باشیم.
چالشهای خاص زبان فارسی در توکنایزیشن
وجود نیمفاصله
نیمفاصله واقعاً کابوس برنامهنویسهاست! چون در نوشتار فارسی برای اتصال بعضی بخشهای کلمات استفاده میشه، مثل "میروم" یا "کتابها". اگه درست مدیریت نشه، کل توکنایزر بههم میریزه.
تنوع شکلهای یک واژه
مثلاً کلمه "کتاب" میتونه به شکلهای "کتابها"، "کتابی"، "کتابت" و غیره ظاهر بشه. اینها همون ریشه دارن ولی از دید سادهی کامپیوتر چند توکن متفاوت محسوب میشن.
پسوندها و پیشوندها
در فارسی خیلی وقتها معنای کلمه با یک پسوند یا پیشوند عوض میشه. مثل "نوشتن"، "ننوشتن"، "نویسنده". توکنایزر باید بتونه اینها رو درست مدیریت کنه.
شباهت کلمات و چندمعنایی بودن
بعضی کلمات بسته به جمله معنای متفاوتی دارن. مثلاً "شیر" میتونه همون حیوان باشه، یا نوشیدنی، یا حتی وسیله آب!
روشهای رایج ساخت توکنایزر
روش مبتنی بر قواعد (Rule-based)
در این روش یکسری قواعد زبانی تعریف میکنیم. مثلاً میگیم هرجا فاصله بود، جدا کن. یا اگر نیمفاصله بود، اینجوری عمل کن. این روش ساده و سریع است ولی با استثناها مشکل پیدا میکنه.
روش آماری (Statistical)
اینجا با تحلیل یک مجموعه بزرگ از متون، الگوهای آماری استخراج میکنیم. مثلاً بررسی میکنیم چه کلماتی بیشتر کنار هم میان.
روش یادگیری ماشین و یادگیری عمیق
امروزه پیشرفتهترین توکنایزرها با مدلهای یادگیری عمیق ساخته میشن. این مدلها با دیدن حجم عظیمی از دادهها یاد میگیرن کجا باید متن رو بشکنن.
مراحل ساخت یک توکنایزر ساده برای فارسی
مرحله جمعآوری و آمادهسازی داده
اول باید یک دیتاست خوب از متون فارسی داشته باشیم. میشه از کتابها، خبرگزاریها یا وبلاگها استفاده کرد.
پیشپردازش متن
در این مرحله باید نویزهای متن مثل کاراکترهای غیرمجاز، اعداد و علائم اضافی حذف بشن.
شناسایی و مدیریت نیمفاصلهها
یک بخش حیاتی! باید تصمیم بگیریم نیمفاصلهها رو چطوری در نظر بگیریم. معمولاً آنها رو به عنوان بخشی از کلمه نگه میداریم.
تقسیمبندی جملات و کلمات
بعد از پاکسازی، متن رو اول به جملات و بعد به کلمات تقسیم میکنیم.
مدیریت استثناها
برای کلمات خاص یا علائم نگارشی باید قواعد ویژه بنویسیم.
استفاده از ابزارها و کتابخانههای موجود
معرفی Hazm
Hazm یکی از معروفترین کتابخانههای NLP فارسیه. امکاناتی مثل نرمالسازی، توکنایزیشن و حتی استمراریابی داره.
معرفی Parsivar
Parsivar هم یک کتابخانه قدرتمند برای تحلیل صرفی و نحوی متون فارسیه.
استفاده از NLTK برای زبان فارسی
هرچند NLTK بیشتر برای انگلیسی ساخته شده، ولی با کمی تغییر میشه برای فارسی هم استفاده کرد.
پروژه عملی: پیادهسازی یک توکنایزر ساده
انتخاب زبان برنامهنویسی
پایتون بهترین انتخابه چون کتابخونههای زیادی برای NLP داره.
نوشتن کد اولیه
با استفاده از کتابخونههایی مثل Hazm میشه سریع یک توکنایزر اولیه نوشت.
تست و ارزیابی خروجی
بعد از پیادهسازی باید روی متنهای مختلف تست بشه تا دقت اون بررسی بشه.
بهبود و توسعه توکنایزر
افزودن پشتیبانی از علائم نگارشی
علامتهایی مثل نقطه، ویرگول و علامت سؤال باید به درستی مدیریت بشن.
مدیریت کلمات مرکب
کلماتی مثل "دانشآموز" یا "راهآهن" نباید به اشتباه جدا بشن.
بهینهسازی سرعت و دقت
هرچی دادهها بیشتر بشن، سرعت اهمیت پیدا میکنه. میشه با الگوریتمهای بهینهتر این مشکل رو حل کرد.
کاربردهای توکنایزر در پروژههای NLP فارسی
موتورهای جستجو
برای اینکه موتور جستجو بفهمه کاربر دنبال چی میگرده، اول باید متن رو توکنایز کنه.
تحلیل احساسات
برای تشخیص مثبت یا منفی بودن متن در شبکههای اجتماعی، توکنایزر قدم اول محسوب میشه.
چتباتها و دستیارهای هوشمند
چتبات بدون توکنایزر عملاً نمیتونه ورودی کاربر رو درک کنه.
ترجمه ماشینی
ترجمه متن از فارسی به زبانهای دیگه بدون توکنایزر دقیق ممکن نیست.
آینده توکنایزرها در زبان فارسی
استفاده از مدلهای ترنسفورمر
مدلهایی مثل BERT و GPT در آینده میتونن توکنایزرهای خیلی دقیقتری برای فارسی بسازن.
ترکیب یادگیری عمیق با قواعد زبانشناسی
ترکیب هوش مصنوعی و قواعد زبانی میتونه بهترین نتایج رو بده.
شروع پروژه : تحلیل احساسات (Sentiment Analysis)
این پروژه فقط یک توکنایزر ساده نیست، بلکه ما توکنایزر را بهعنوان بخشی از یک سیستم واقعی تحلیل احساسات میسازیم. در نهایت خروجی پروژه میتواند روی متونی مثل نظرهای کاربران فروشگاه یا کامنتهای شبکههای اجتماعی بهکار گرفته شود.
۱. آماده
سازی محیط
برای شروع، باید پایتون و کتابخانههای مورد نیاز را نصب کنیم:
pip install hazm scikit-learn pandas
۲. آمادهسازی دادهها
ما نیاز داریم مجموعهای از جملات فارسی همراه با برچسب احساس (مثلاً مثبت یا منفی). برای تست اولیه میتوانیم یک دیتاست کوچک بسازیم:
import pandas as pd
data = {
"text": [
"این محصول فوقالعاده بود، خیلی راضیام",
"کیفیتش افتضاح بود، پشیمون شدم",
"ارسال سریع و بستهبندی عالی بود",
"خدمات مشتری ضعیف و بیاحترامی کامل",
"خیلی خوشم اومد، دوباره خرید میکنم",
"بدترین تجربه خرید من بود"
],
"label": [1, 0, 1, 0, 1, 0] # 1 = مثبت، 0 = منفی
}
df = pd.DataFrame(data)
print(df)
۳. ساخت توکنایزر فارسی
ما از کتابخانهی Hazm برای نرمالسازی و توکنایز کردن استفاده میکنیم.
from hazm import Normalizer, word_tokenize
normalizer = Normalizer()
def custom_tokenizer(text):
# نرمالسازی متن
text = normalizer.normalize(text)
# توکنایز کردن
tokens = word_tokenize(text)
# حذف توکنهای تکحرفی یا بیمعنی
tokens = [t for t in tokens if len(t) > 1]
return tokens
# تست
sample = "این محصول واقعاً عالی بود!"
print(custom_tokenizer(sample))
۴. تبدیل متن به ویژگی عددی
برای اینکه متنها را وارد مدل یادگیری ماشین کنیم باید آنها را به بردار عددی تبدیل کنیم. از TfidfVectorizer استفاده میکنیم و توکنایزر سفارشی خودمان را به آن میدهیم.
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(tokenizer=custom_tokenizer)
X = vectorizer.fit_transform(df["text"])
y = df["label"]
۵. آموزش مدل یادگیری ماشین
از یک مدل ساده مثل Logistic Regression استفاده میکنیم.
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
model = LogisticRegression()
model.fit(X_train, y_train)
y_pred = model.predict(X_test)
print("دقت مدل:", accuracy_score(y_test, y_pred))
۶. تست پروژه روی جملات جدید
اکنون میتوانیم متنهای جدید را تست کنیم:
new_texts = [
"این گوشی خیلی خوب کار میکنه",
"کیفیت ساختش وحشتناک پایینه"
]
X_new = vectorizer.transform(new_texts)
predictions = model.predict(X_new)
for text, label in zip(new_texts, predictions):
print(f"جمله: {text} => {'مثبت' if label == 1 else 'منفی'}")
✨ خروجی نمونه:
دقت مدل: 1.0
جمله: این گوشی خیلی خوب کار میکنه => مثبت
جمله: کیفیت ساختش وحشتناک پایینه => منفی
ما یک توکنایزر فارسی سفارشی ساختیم و آن را در یک پروژه واقعی برای تحلیل احساسات فارسی بهکار گرفتیم. این پروژه پایهای است، اما در عمل میتوان دیتاستهای بزرگتر (مثل نظرات کاربران دیجیکالا یا توییتر فارسی) را روی آن اعمال کرد و حتی مدلهای پیشرفتهتر مثل شبکههای عصبی یا BERT فارسی را به کار برد.
