آموزش کامل Fine-Tuning مدل‌های LLM ساخت مدل هوش مصنوعی… - جلسه 9

از Pista Academy حمایت کنید

حمایت شما به ادامه تولید آموزش‌های باکیفیت کمک می‌کند.

حمایت مالی

Pista Academy

LEARN • BUILD • GROW

آموزش کامل Fine-Tuning مدل‌های LLM ساخت مدل هوش مصنوعی… - جلسه 9

خلاصه آموزشی

خلاصه این جلسه

مرور سریع مفاهیم اصلی پیش از تماشای کامل یا برای جمع‌بندی بعد از آموزش.

در این جلسه، مدرس به معرفی معماری ترنسفورمر و مفهوم مدل‌های زبانی بزرگ (LLM) پرداخته است. ترنسفورمر یک معماری شبکه عصبی است که در سال ۲۰۱۷ معرفی شد و برای پردازش داده‌های ترتیبی مانند متن طراحی شده است. این معماری با استفاده از مکانیزم اتنشن، ارتباط مستقیم بین کلمات در یک جمله را امکان‌پذیر می‌کند. مدل‌های زبانی بزرگ (LLM) بر پایه ترنسفورمر ساخته می‌شوند و با حجم زیاد پارامترها، قادر به انجام وظایف پیچیده‌ای مانند ترجمه و چت ربات هستند. همچنین، مفهوم سک تو سک (seq2seq) و محدودیت‌های آن به همراه راه‌حل‌هایی مانند تیچر فورسینگ و اتنشن مورد بحث قرار گرفت.

نکات کلیدی

در این جلسه یاد می‌گیرید

ترنسفورمر یک معماری شبکه عصبی است که برای پردازش داده‌های ترتیبی مانند متن طراحی شده و با مکانیزم اتنشن ارتباط بین کلمات را بهبود می‌بخشند.

ال ام (Large Language Model) مدل‌های زبانی بزرگی هستند که بر پایه معماری ترنسفورمر ساخته می‌شوند و با حجم زیاد پارامترها، قابلیت پردازش متن و انجام وظایف پیچیده‌ای مثل ترجمه و چت ربات را دارند.

سک تو سک (seq2seq) یک مفهوم برای تبدیل داده‌های ورودی به خروجی است، اما با محدودیت‌هایی مانند عدم توانایی پردازش متن طولانی مواجه است.

تیچر فورسینگ و اتنشن به عنوان راه‌حل‌هایی برای محدودیت‌های مدل‌های seq2seq معرفی شدند.

متن ویدیو

Transcript کامل

متن زمان‌بندی‌شده این جلسه برای مرور، جستجو و دسترسی سریع‌تر.

00:03
سلام عرض می‌کنم خدمت دوستان عزیز. بریم سراغ
00:05
ادامه دورهمون و راجع به هاگینگ فیس
00:08
داشتیم صحبت می‌کردیم.
00:10
این جلسه میریم سراغ فصل دوم دورهمون و

پرسش‌های رایج

سؤالات متداول این جلسه

پاسخ کوتاه و مستقیم به پرسش‌هایی که معمولاً هنگام یادگیری این موضوع مطرح می‌شوند.

ترنسفورمر چه کاری انجام می‌دهد؟↓

ترنسفورمر یک معماری شبکه عصبی است که برای پردازش داده‌های ترتیبی مانند متن طراحی شده است. این معماری با استفاده از مکانیزم اتنشن، ارتباط مستقیم بین کلمات در یک جمله را بهبود می‌بخشند.

ال ام چه نوع مدلی است؟↓

ال ام (Large Language Model) مدل‌های زبانی بزرگی هستند که بر پایه معماری ترنسفورمر ساخته می‌شوند و با حجم زیاد پارامترها، قابلیت پردازش متن و انجام وظایف پیچیده‌ای مانند ترجمه و چت ربات را دارند.

سک تو سک چه محدودیتی دارد؟↓

سک تو سک (seq2seq) یک مفهوم برای تبدیل داده‌های ورودی به خروجی است، اما با محدودیت‌هایی مانند عدم توانایی پردازش متن طولانی مواجه است.

آخرین به‌روزرسانی محتوای متنی: 2026-10-25

درباره این ویدیو

در این دوره آموزشی، به‌صورت عملی و پروژه‌محور یاد می‌گیریم چگونه مدل‌های زبانی بزرگ (Large Language Models) را برای کاربردهای خاص خودمان Fine-Tune کنیم. امروزه مدل‌هایی مانند LLaMA، Mistral، BERT، T5 و مدل‌های مبتنی بر Transformer توانایی‌های بسیار قدرتمندی دارند؛ اما برای رسیدن به بهترین عملکرد در یک حوزه تخصصی، معمولاً نیاز داریم آن‌ها را با داده‌های اختصاصی خودمان تنظیم کنیم. در این دوره از پایه با مفاهیم Fine-Tuning شروع می‌کنیم و سپس به تکنیک‌های پیشرفته و بهینه مانند LoRA، QLoRA و PEFT می‌پردازیم تا بتوانیم مدل‌های بزرگ را حتی با منابع سخت‌افزاری محدود آموزش دهیم. در طول دوره با استفاده از اکوسیستم Hugging Face، کتابخانه‌های Transformers، Datasets، PEFT، Accelerate و TRL مدل‌های مختلف را Fine-Tune کرده و پروژه‌های واقعی را پیاده‌سازی می‌کنیم. در این دوره چه چیزهایی یاد می‌گیریم؟ 🔹 آشنایی عمیق با معماری Transformer و مفاهیم پایه LLMها 🔹 کار با Hugging Face Transformers و مدل‌های Pre-trained 🔹 آماده‌سازی Dataset برای Fine-Tuning مدل‌های زبانی 🔹 تفاوت روش‌های مختلف Fine-Tuning و انتخاب روش مناسب 🔹 آموزش و Fine-Tuning مدل‌های BERT برای Classification 🔹 استفاده از Knowledge Distillation برای ساخت مدل‌های کوچک‌تر و سریع‌تر 🔹 Fine-Tuning مدل‌های DistilBERT و TinyBERT 🔹 Fine-Tuning مدل‌های T5 برای Text Summarization 🔹 Fine-Tuning Vision Transformer برای Image Classification 🔹 مفهوم Instruction Tuning و Chat Models 🔹 Fine-Tuning مدل‌های LLaMA برای ساخت مدل‌های مکالمه‌ای 🔹 Fine-Tuning مدل‌های Qwen برای کاربردهای مختلف 🔹 آشنایی کامل با LoRA (Low-Rank Adaptation) 🔹 Fine-Tuning بهینه با QLoRA و Quantization 🔹 استفاده از PEFT برای کاهش هزینه آموزش مدل‌های بزرگ 🔹 Fine-Tuning مدل‌های LLM روی Datasetهای شخصی 🔹 ساخت مدل‌های Voice و Audio با استفاده از LLMها و Qwen-TTS 🔹 Fine-Tuning مدل‌های صوتی با داده‌های اختصاصی پروژه‌هایی که در این دوره انجام می‌دهیم: ✅ ساخت مدل Classification اختصاصی با BERT ✅ تشخیص موجودیت‌های نامدار (NER) با مدل‌های Transformer ✅ ساخت سیستم خلاصه‌سازی متن با T5 ✅ Fine-Tuning مدل‌های LLM برای Chat و Instruction Following ✅ تنظیم مدل‌های LLaMA و Qwen روی داده‌های سفارشی ✅ استفاده از LoRA و QLoRA برای آموزش مدل‌های بزرگ با GPU محدود ✅ Fine-Tuning مدل‌های صوتی برای کاربردهای Voice AI این دوره مناسب چه کسانی است؟ این دوره برای افرادی مناسب است که: ✔ با Python آشنایی دارند و می‌خواهند وارد حوزه LLM Engineering شوند ✔ می‌خواهند مدل‌های زبانی موجود را برای پروژه‌های واقعی شخصی‌سازی کنند ✔ قصد دارند در حوزه Generative AI، NLP و مدل‌های مولد فعالیت کنند ✔ می‌خواهند به جای استفاده صرف از APIها، مدل‌های AI اختصاصی خودشان را بسازند ✔ علاقه‌مند به تحقیق و توسعه در حوزه مدل‌های زبانی بزرگ هستند پیش‌نیازهای دوره: آشنایی متوسط با Python آشنایی اولیه با Machine Learning و Deep Learning آشنایی مقدماتی با PyTorch آشنایی کلی با مفاهیم Neural Networks در پایان این دوره شما قادر خواهید بود مدل‌های زبانی بزرگ را با استفاده از جدیدترین تکنیک‌های روز مانند LoRA، QLoRA و PEFT روی داده‌های اختصاصی خودتان Fine-Tune کنید و مدل‌های آماده Hugging Face را برای ساخت اپلیکیشن‌های واقعی هوش مصنوعی بهینه‌سازی کنید. 🚀 برای یادگیری عملی LLM Engineering و ساخت مدل‌های AI اختصاصی، این دوره را از دست ندهید. #LLM #FineTuning #HuggingFace #LoRA #QLoRA #PEFT #GenerativeAI #AI #MachineLearning #DeepLearning #Transformers #LLaMA #Qwen #NLP