چگونه یک ChatGPT کوچک بسازیم؟ 🚀 ساخت LLM از صفر با… - جلسه 8

از Pista Academy حمایت کنید

حمایت شما به ادامه تولید آموزش‌های باکیفیت کمک می‌کند.

حمایت مالی

Pista Academy

LEARN • BUILD • GROW

چگونه یک ChatGPT کوچک بسازیم؟ 🚀 ساخت LLM از صفر با… - جلسه 8

خلاصه آموزشی

خلاصه این جلسه

مرور سریع مفاهیم اصلی پیش از تماشای کامل یا برای جمع‌بندی بعد از آموزش.

در این جلسه، مدرس به بررسی معماری مدل ترنسفورمر و نحوه ساخت آن با استفاده از PyTorch می‌پردازد. ابتدا با معرفی کلاس جیپیتی و استفاده از ماژول ان ن، امکاناتی مانند مدیریت ویت، ذخیره مدل و ترینینگ فراهم می‌شود. سپس به توضیح قسمت‌های مختلف معماری مدل مانند تابع کانستراکتور، اینبدینگ توکن، پوزیشن بدینگ، و ساخت ترنسفورمر بلاک می‌پردازد. همچنین به نحوه تبدیل توکن آیدی به وکتورهای عددی و نحوه نرمالیزاسیون لایه‌ها اشاره می‌کند. در نهایت، به مفهوم لاجیت و نحوه تبدیل آن به احتمالات می‌پردازد. در بخش بعدی، به مفهوم ویت اینیشالیزیشن و اهمیت آن در ایجاد مدل‌های عصبی پرداخته می‌شود، همچنین نحوه تخصیص مقادیر اولیه به وزن‌ها در لایه‌های مختلف مدل و نحوه اجرای مدل با ورودی و تارگت توضیح داده می‌شود.

نکات کلیدی

در این جلسه یاد می‌گیرید

استفاده از ماژول ان ن در ساخت مدل برای ارث‌بری امکانات مهمی مانند مدیریت ویت و ترینینگ.

توضیح معماری مدل ترنسفورمر شامل تابع کانستراکتور، اینبدینگ توکن، پوزیشن بدینگ، و ساخت ترنسفورمر بلاک.

ویت اینیشالیزیشن به دلیل تأثیر آن بر پایداری و عملکرد مدل در طول ترینگ بسیار مهم است.

تخصیص مقادیر کوچک و رندوم به وزن‌ها در لایه‌های مختلف مدل، از جمله لایه‌های خطی و امبدین، ضروری است.

متن ویدیو

Transcript کامل

متن زمان‌بندی‌شده این جلسه برای مرور، جستجو و دسترسی سریع‌تر.

00:04
سلام عرض می‌کنم خدمت دوستان عزیز بریم سراغ ادامه بحث ساخت ال قبلش یه یک
00:10
دو تا نکته بگم
00:12
ما وب سایتمون بچه‌ها تقریباً دیگه آماده
00:14
است و می‌تونید از وب سایتمونم استفاده

پرسش‌های رایج

سؤالات متداول این جلسه

پاسخ کوتاه و مستقیم به پرسش‌هایی که معمولاً هنگام یادگیری این موضوع مطرح می‌شوند.

چگونه می‌توان معماری مدل ترنسفورمر با استفاده از PyTorch ساخت؟↓

با استفاده از ماژول ان ن و ایجاد کلاس جیپیتی، می‌توان معماری مدل ترنسفورمر را با تابع کانستراکتور، اینبدینگ توکن، پوزیشن بدینگ و ساخت ترنسفورمر بلاک ساخت.

ویت اینیشالیزیشن چه اهمیتی دارد؟↓

ویت اینیشالیزیشن به دلیل تأثیر آن بر پایداری و عملکرد مدل در طول ترینگ بسیار مهم است.

چگونه مقادیر اولیه به وزن‌ها در لایه‌های مختلف مدل تخصیص می‌یابد؟↓

مقادیر کوچک و رندوم به وزن‌ها در لایه‌های مختلف مدل، از جمله لایه‌های خطی و امبدین، تخصیص می‌یابد.

آخرین به‌روزرسانی محتوای متنی: 2026-10-12

درباره این ویدیو

آیا می‌خواهید واقعاً درک کنید که مدل‌های زبانی بزرگ (Large Language Models) چگونه ساخته می‌شوند؟ در این دوره آموزشی، از سطح مفاهیم پایه شروع می‌کنیم و قدم‌به‌قدم یک مدل زبانی بزرگ را از صفر با استفاده از PyTorch پیاده‌سازی می‌کنیم. هدف این دوره فقط استفاده از مدل‌های آماده نیست؛ بلکه یاد می‌گیریم در پشت صحنه LLMها چه اتفاقی رخ می‌دهد و چگونه می‌توان یک مدل زبانی را ساخت، آموزش داد، بهبود داد و برای کاربردهای واقعی آماده کرد. در طول این دوره، معماری داخلی مدل‌های زبانی بزرگ، فرآیند آموزش، Alignment، Fine-Tuning و تکنیک‌های مدرن بهینه‌سازی مدل‌ها را بررسی خواهیم کرد. در این مسیر یاد می‌گیریم: 🔹 ساخت یک LLM کوچک از صفر و درک تمام مفاهیم کلیدی پشت آن 🔹 بررسی معماری Transformer و اجزای اصلی مدل‌های زبانی 🔹 تحلیل عمیق نحوه عملکرد مدل با Visualizationهای پیشرفته 🔹 پیاده‌سازی و درک مفاهیم داخلی یک Advanced LLM 🔹 ساخت فرآیند Alignment از صفر و آشنایی با نحوه هماهنگ‌سازی مدل‌ها با اهداف انسانی 🔹 انجام Fine-Tuning مدل‌های زبانی با استفاده از QLoRA 🔹 یادگیری تکنیک‌های کاهش هزینه آموزش و بهینه‌سازی مدل‌ها 🔹 بررسی ارتباط بین شبکه‌های عصبی، یادگیری ماشین و مدل‌های مولد 🔹 توسعه درک عمیق‌تر از نحوه کارکرد مدل‌های Generative AI سرفصل‌های اصلی دوره: 📌 Coding a Small LLM from Scratch ساخت یک مدل زبانی کوچک و بررسی تمام مفاهیم پایه مورد نیاز 📌 Inside the AI Matrix Visualization و تحلیل عمیق ساختار داخلی LLMها 📌 Understanding Advanced LLMs بررسی معماری و مفاهیم پیشرفته مدل‌های زبانی 📌 Building Alignment Process from Scratch درک فرآیند Alignment و نحوه آموزش مدل برای رفتار بهتر 📌 Fine-Tuning LLMs with QLoRA افزودن مهارت‌های جدید به مدل‌های زبانی با روش‌های کم‌هزینه Fine-Tuning 📌 Origami + AI Learning بررسی ارتباط ایده‌های یادگیری، شبکه‌های عصبی و هوش مصنوعی 📌 Activating the Generative Model of Your Own Mind نگاهی عمیق‌تر به مدل‌های مولد و نحوه تفکر در مورد AI این دوره مناسب چه کسانی است؟ ✅ مهندسان یادگیری ماشین و هوش مصنوعی ✅ برنامه‌نویسان Python و PyTorch ✅ دانشجویان علاقه‌مند به Deep Learning ✅ افرادی که می‌خواهند از سطح استفاده‌کننده مدل‌های AI به سطح سازنده مدل برسند ✅ کسانی که می‌خواهند درک عمیقی از ChatGPT، Llama و مدل‌های مشابه داشته باشند پیش‌نیازهای پیشنهادی: آشنایی مقدماتی با Python آشنایی اولیه با Deep Learning آشنایی پایه با مفاهیم Neural Networks در این دوره، به جای اینکه فقط از LLMها استفاده کنیم، یاد می‌گیریم چگونه آن‌ها را بسازیم، آموزش دهیم و شخصی‌سازی کنیم. 🎓 برای مشاهده کامل این دوره و دوره‌های تخصصی بیشتر در حوزه هوش مصنوعی، به کانال Pista Academy مراجعه کنید. #LLM #LargeLanguageModels #PyTorch #DeepLearning #GenerativeAI #FineTuning #QLoRA #ArtificialIntelligence #machinelearning pistaacademy.ir