از Pista Academy حمایت کنید
خلاصه آموزشی
مرور سریع مفاهیم اصلی پیش از تماشای کامل یا برای جمعبندی بعد از آموزش.
در این جلسه آموزشی، مدرس به بررسی استفاده از پایپلاین نر در هاگینگ فیس برای تشخیص موجودیتها در متن پرداخته و نحوه خودکار انتخاب و دانلود مدل مناسب را توضیح میدهد. همچنین، به تغییر کد برای بهبود خروجی مدل LLM اشاره شده است و ادامه مباحث در جلسه بعدی مطرح میشود.
نکات کلیدی
استفاده از پایپلاین نر در هاگینگ فیس برای تشخیص موجودیتها در متن.
خودکار انتخاب و دانلود مدل از هاگینگ فیس.
تغییر کد برای بهبود خروجی مدل LLM ممکن است.
مباحث آموزشی در جلسه بعدی ادامه خواهند یافت.
پرسشهای رایج
پاسخ کوتاه و مستقیم به پرسشهایی که معمولاً هنگام یادگیری این موضوع مطرح میشوند.
با استفاده از پایپلاین نر در هاگینگ فیس، مدل مناسب به صورت خودکار انتخاب و دانلود میشود.
بله، میتوان کد را به گونهای تغییر داد که خروجی مدل بهبود یابد.
ادامه مباحث در جلسه بعدی مطرح خواهد شد.
آخرین بهروزرسانی محتوای متنی:
در این دوره آموزشی، بهصورت عملی و پروژهمحور یاد میگیریم چگونه مدلهای زبانی بزرگ (Large Language Models) را برای کاربردهای خاص خودمان Fine-Tune کنیم. امروزه مدلهایی مانند LLaMA، Mistral، BERT، T5 و مدلهای مبتنی بر Transformer تواناییهای بسیار قدرتمندی دارند؛ اما برای رسیدن به بهترین عملکرد در یک حوزه تخصصی، معمولاً نیاز داریم آنها را با دادههای اختصاصی خودمان تنظیم کنیم. در این دوره از پایه با مفاهیم Fine-Tuning شروع میکنیم و سپس به تکنیکهای پیشرفته و بهینه مانند LoRA، QLoRA و PEFT میپردازیم تا بتوانیم مدلهای بزرگ را حتی با منابع سختافزاری محدود آموزش دهیم. در طول دوره با استفاده از اکوسیستم Hugging Face، کتابخانههای Transformers، Datasets، PEFT، Accelerate و TRL مدلهای مختلف را Fine-Tune کرده و پروژههای واقعی را پیادهسازی میکنیم. در این دوره چه چیزهایی یاد میگیریم؟ 🔹 آشنایی عمیق با معماری Transformer و مفاهیم پایه LLMها 🔹 کار با Hugging Face Transformers و مدلهای Pre-trained 🔹 آمادهسازی Dataset برای Fine-Tuning مدلهای زبانی 🔹 تفاوت روشهای مختلف Fine-Tuning و انتخاب روش مناسب 🔹 آموزش و Fine-Tuning مدلهای BERT برای Classification 🔹 استفاده از Knowledge Distillation برای ساخت مدلهای کوچکتر و سریعتر 🔹 Fine-Tuning مدلهای DistilBERT و TinyBERT 🔹 Fine-Tuning مدلهای T5 برای Text Summarization 🔹 Fine-Tuning Vision Transformer برای Image Classification 🔹 مفهوم Instruction Tuning و Chat Models 🔹 Fine-Tuning مدلهای LLaMA برای ساخت مدلهای مکالمهای 🔹 Fine-Tuning مدلهای Qwen برای کاربردهای مختلف 🔹 آشنایی کامل با LoRA (Low-Rank Adaptation) 🔹 Fine-Tuning بهینه با QLoRA و Quantization 🔹 استفاده از PEFT برای کاهش هزینه آموزش مدلهای بزرگ 🔹 Fine-Tuning مدلهای LLM روی Datasetهای شخصی 🔹 ساخت مدلهای Voice و Audio با استفاده از LLMها و Qwen-TTS 🔹 Fine-Tuning مدلهای صوتی با دادههای اختصاصی پروژههایی که در این دوره انجام میدهیم: ✅ ساخت مدل Classification اختصاصی با BERT ✅ تشخیص موجودیتهای نامدار (NER) با مدلهای Transformer ✅ ساخت سیستم خلاصهسازی متن با T5 ✅ Fine-Tuning مدلهای LLM برای Chat و Instruction Following ✅ تنظیم مدلهای LLaMA و Qwen روی دادههای سفارشی ✅ استفاده از LoRA و QLoRA برای آموزش مدلهای بزرگ با GPU محدود ✅ Fine-Tuning مدلهای صوتی برای کاربردهای Voice AI این دوره مناسب چه کسانی است؟ این دوره برای افرادی مناسب است که: ✔ با Python آشنایی دارند و میخواهند وارد حوزه LLM Engineering شوند ✔ میخواهند مدلهای زبانی موجود را برای پروژههای واقعی شخصیسازی کنند ✔ قصد دارند در حوزه Generative AI، NLP و مدلهای مولد فعالیت کنند ✔ میخواهند به جای استفاده صرف از APIها، مدلهای AI اختصاصی خودشان را بسازند ✔ علاقهمند به تحقیق و توسعه در حوزه مدلهای زبانی بزرگ هستند پیشنیازهای دوره: آشنایی متوسط با Python آشنایی اولیه با Machine Learning و Deep Learning آشنایی مقدماتی با PyTorch آشنایی کلی با مفاهیم Neural Networks در پایان این دوره شما قادر خواهید بود مدلهای زبانی بزرگ را با استفاده از جدیدترین تکنیکهای روز مانند LoRA، QLoRA و PEFT روی دادههای اختصاصی خودتان Fine-Tune کنید و مدلهای آماده Hugging Face را برای ساخت اپلیکیشنهای واقعی هوش مصنوعی بهینهسازی کنید. 🚀 برای یادگیری عملی LLM Engineering و ساخت مدلهای AI اختصاصی، این دوره را از دست ندهید. #LLM #FineTuning #HuggingFace #LoRA #QLoRA #PEFT #GenerativeAI #AI #MachineLearning #DeepLearning #Transformers #LLaMA #Qwen #NLP
میفته. من اینو کپی میکنم دیدمش بهش
جیبیتی که اینو بهمون توضیح بده. حالا
لازم نباشه بنویسم. خب
چیز خاصی البته کدش نداره. یه پایپلانه که
یه تصویررو بهش پاس داده و بعد متنم بهش
داده. حالا بخوایم که اینو توضیح بدهم
کام توضیح بده واقعاً منو از نوشتن راحت کرده چیوتی
و دیگه لازم نیست مثلاً چیزایی که میخوام
بگم رو از قبل بشینم بنویسم هر روز آماده
کنم واقعاً من قبلاً یه وقت زیادی رو
میذاشتم برای درست کردن متنا و خیلی یا
نوشتنش حتی در طول ویدیو هم حتی وقت
میگرفت رفت. خب
بعد حالا باید این عکسو بدیم بهش بگیم که
اینو چینج شده
من برای که این خطا نده فقط اج بدید
پایپلانو ایمپورت کنم اینم باید ایمپورت
کنیم د تا رو اینو کپی کنم بیارم اینجا
چ قراره از این استفاده کنیم
خب اینو رانش کنم میگه این کد یه مثال ساده و بسیار خوب
برای اجرای نر یا نم انتیتی ریکوگنیشنه با
هاگینگ هاگینگ فیس پاپلان هدف کد این است
که از داخل یک متن موجودت موجودیتهایی
مثل نام شخص، مکان، سازمان و غیره رو پیدا
بکنه. خب ما کدومون اینه. خط اول چیکار
کرده؟ قبلاً باید این ایمپورت رو داشته
باشیم که داریم. راست میگه من اینجا نوشتم
برای همینو نوشتم. تاب پایپلاین یه رابط
سطح بالا در هاگینگ فیسه که توکنایزر، مدل
و پست پراسسینگ رو برای ما مدیرلیت
میکنه. قبلاً راجع بهش صحبت کردیم. همه
رو یه جا انجام میده برامون.
یعنی که من یک پایپلاین برای نیم اینتیتی
ریکوگنیشن میخوام به زبان ساده مدل باید
متنو بخواند چیزایی مثل این رو پیدا بکنه
نر در واقع چه نوع تزکیه نر در هاگینگ فیس
یک نوع توکن کلاسیفیکیشنه برخلاف سانتیمنت آنالیز که برای کل جمله
یک لیبل میده در نر مدل باید توکن مختلفو
بررسی بکنه
بنابراین عملاً پایپلاین مخصوصاً مخصوص
توکن کلاسیفیکیشنه
تمدید نر یک نام رایج برای این نوع تسکه مدلو مشخص نکردیم ما فقط تسکو گفتیم یعنی
مدل مشخص نکردیم گذاشتیم برده خودش
اینجاهم میگه میگه نو مدل واز سپلاید یعنی
ما هیچ مدل مشخص نکردیم دیفالت رفته رو
این که حالا مثلاً میتونیم اینو بریم
الان داخلگین فیست جستجو بکنیم ببینیم چیه
پس وقتی مدل مشخص نکنیم میریم سراغ مدل
پیشفرزی که خودش میدونه
این مدل پیشفرض مناسب انتخاب بکنن تلاش میکنم مدل پیشفرض انتخاب بکنه
پشت س چه اتفاقی میفته یه همچین اتفاقی میفته بچهها
مدل انتخاب میکنه مدل دانلود میشه نگاه
کنید آشخ داره دانلود شده دانلود توکنایزر
لود مدل وید و کریت پایپلان
خط دوم متنرو مشخص کرده که مشخصه و الی
آخر بذار من این خروجی رو هم بهش بدم که
ببینم اینا ارم بهم بهمون بگه چی بوده
داستان
اینجا تفاوتشو با تکست کلاسیفیکیشنی که ویدیو قبلی داشتیم میگه میگه توی تکست
کلاسیفیکیشن ما کلرو میدیم یه دونه لیبل
به ما برمیگردونه اما اینجا باید کل
توکنا رو دونه دونه بررسی بکنه هر کدوم با
اون استانداردی که خودش مدنظرش تطابق داشت
به عنوان یک موجودیت به ما برگردونه خب
حالا من خروجیشو دادم خ قراره به ما بگه
چیه داستان
خب ما یه صبر کنیم این چیز بشه تموم بشه خب بریم سراغ
بررسی خروجیش
میگه این خروجی در واقع چند چیز مختلف رو
همزمان نشان میدن انتخاب خودکار مدل که
صحبتشو کردیم هشدار احراض هویت دانلود
فایلا مدل لود شدن وزنها
یک فانینگ درباره پولر و در ن خروجی واقعی
نر هیچک از این پیامه به تنهایی نشانده
خرابی اجر شما نیست
مشکلی نبوده
مدل اجرا شده و موجودیتها روم درست
استخراج کرده
خب بریم از بالا شروع بکنیم اولیه پیام
نوشته که نو مدل واسپلاید یعنی من هیچ
مدلیرو شما مشخص نکردی پس من میخوام برم
سراغ مدل پیشفرضم
دقیقاً چون ما اینجا هیچ مدلی رو مشخص
نکردیم. حالا پایینتر بیایم بچهها جلسه
بعدی راجع بهش صحبت میکنیم ما اینجا مدلو
مشخص کردیم البته این جلسه ند دیگه چیز
خاصی که نداره اینجا مدلو مشخص کردیم
میتونید مشخص کنید
خودش رفته یه مدلو پیشفرض آورده این مدل
میگه از خانواده مدلهای برته و برای نر
روی دیتا ست فاین تیون شده است پشت صحنه
تقریباً این اتفاق افتاده
عبارت ریویژن فلان هم نسخه مشخصی از ریپازیتوری مدل رو نشون میده میگه برای
پروژههای واقعی بهتره که سریحاً شما مدل
رو مشخص بکنید
یعنی شما بدون لاگین شدن با هاگینگ فیس در حال دانلود فایل هستید برای مدل پابلیک
این کار معمولاً ممکن هست اگه محدوده
خواهید داشت مثلاً رستیم کمتر اگه
آتنتیکیت شوید میتوان محدوده درخواست
بیشتری در اختیار شما قرار داد میگه اگه
بدون لاگین اگه هاگین فیس بخواید یه
فایلیرو دریافت بکنید یه محدودیتهایی
براتون میذاره اما اگه بتونید آتنتیکیت
بکنید در حقیقت بهتره
برای اجفری توکن اجباریه خیر چون مدل
پابلیکه میبینیم که مدل کاملاً دانلود
شده و اجراهم شده پس خیلی الان اینجا مهم
نیست برامون
اگه بخوایم لاگین کنیم باید یه همچین کاری
بکنیم بچهها
سپس توکن حساب این رو وارد کنیم در تیملان
نیز میتوانید از این استفاده کنید حالا
شاید بعداً جلوتر این کارو کردیم در
نوتبوک عمومی بهتر از توکن رو مستقیماً
داخل کد ننویسید مثلاً این کارتون ممکست
نوتبوک یا کد ران رو شیر کنید و توکن لو
بله راست میگیره ح تما حواستون باشه
خب
بعد یه همچین چیزی میبینیم کفگjسون ۱۰۰
یعنی فایل از دیپازتور مدل دانلود شده.
این فایل کانفیگوریشن مدلو نگه میداره
اطلاعاتی مثل این مثلاً
منظور متشه که با مدلی برای این طرف هست
دانلود مدل. سیف سیف س سیفتن سنسور نه
سیفتن سورس
سیفت سورس
این مهمترین فایل مدله داخلم ویتهای
آموزشیده برت قرار داره حجمشم برای همین
زیاده یعنی میلیونها عددی که مرحله مدل
در مرحله ترینینگ یاد گرفته
گفتم دیگه مدلهایی که داخل هاگینگ فیس
هستن مدلهایی که از قبل ترین شدن شما
میارید میتونید یه ترین بیشتر بکنید برای
کار خاصی استفاده بکنید اینا همشون یه
ترین پایه روشون انجام شده.
ریکانستراکتینگ فایل یعنی چی؟ این پیام مربوط به سازوکار دانلود فایلای بزرگ
هاگین فیسه. آها مثل داستان دانلود منیجره
دیگه. شما یه فایل بزرگی میخواید دانلود
بکنید تیکه تیکه دانلود میکنید در انتها
اینا رو به همدیگه میچسبونید برای سرعت
دانلود بره بالا. اینا فک کنم همچین
چیزیه.
بعد اینجا وزنا لود میشه.
اوکی
قسمت مهم بعدی اینه این خودش نکته آموزش خوبی داره مدل هاگینگ فیس مدل رو به صورت
این لود کرده است چرا چون نر مساوی توکن
کلاسیفیکیشن بنابراین معماری کلی تقریباً
یه همچین چیزیه
اینو قبلاً راجعش صحبت کردیم معنی آن اکسپکت برای پولر یعنی چی؟
خب من یه تیکه رو خودم صدا رو نفهمیدم بذار بین بعداً صحبت میکنیم راجع بهش
حالا بذار این بعد در راجع صحبت کنیم اوکی خب اینم که هیچی
این چیه آ این کانفیگوریشن مربوط به توکنایزره
این وکب. تی اکس دی هم که
فایل وکبلاری مربوط به توکنزر برته مثلاً
در وکبلاری معمولا همچین چیزی ذخیره میشه
توکن با آیدیش
همچین چیزی
حالا برسیم به خروجی در نهایت بچهها ما
یه همچین خروجیی داریم خب
یه ستون اینتیتی داریم که ارگانیزیشن باشه
یا لوکیشن باشم مشخص بکنه اسکورش ایندکسش
خود کلمه استارت و الی آخر اند و اینا
چرا میگه این تیکه تیکه شده؟ متن ما یه همچین چیزی بوده
توکنزل نتونسته این رو و این رو تشخیص بده
از همدیگه جدا بکنه
بنابراین وردپیس آنها رو شکسته به این آها
اومده کاجپرا تبدیل کرده به یه همچین چیزی
این کلمه تالکیه رو به د تا توکن تبدیل کرده تالک
آی ای
در ندیش به یه همچین چیزی میگه علامت د تا هشتگ قبل جی پی یعنی چی
در برت ورد پیس معمولاً یعنی این توکن
ادامه توکن قبلیه پس هر جایی شما توی
خروجی یه همچین چیزی دارین ادامه توکن
قبلیه و شروع یه کلمه جدید نیست
این چرا شکسته نشده؟ احتمالاً قبلاً اینو تو دیتابیسش داشته تو
اون فایل ت تکستش داشته وکبش داشته و
معادلشم یه توکن آیدی داشته برای همین
دیگه اینو دو تیکه نکرده
ستون اینتترم بهتون گفتم اوجی یعنی
ارگانیزیشن ال او سی یعنی لوکیشن
یعنی گفته این توکن متقلب به یک ارگانی
کاجپه میشه ارگانیزیشن چیز دیگه روسیهست
دیگه فکر کنم
چراجی نه بیآرجی در بعضی مدلای نر انتظار دارین بی بیوی تگینگ کامل ببینین
اما این چک مشخص و نقل ممکن خروج اینط به
شکل این شاب نمایش برای من دیدن این
نشانه خطا نیست مدل تمام ساورده مربوط به
این رو با نوع اورجی تشخیص داده آفرین
در نهایتم لوکیشنو برای این تشخیص داده مومبایل
اوکی ستون اسکور برای مومبای اینه یعنی با یه
دقت حدود ۹۹.۹ ۹ده
برای کا توکنم انقده یعنی مدل کانفیس بسیار بالایی برای این اینتتی تایپها
داره یعنی با خی میگه با اجمینال خیلی
زیادی من دارم این پیشبینی رو انجام میدم
ستون ایندکس که خود منم برام سؤال شد
آها موقعیت توکن در کل جمله رو نشون میده
اوکی
استارت اندم که دیگه مشخصه دیگه
مشخصه
میگه میتونید کدو به این صورت تغییر بدید که
یه همچین چیزی اینجا اضافه کنید
که دقیقاً خروجیش قشنگتر بشه حالا فعلاً
کاری نداره ولش
اینم از این جلسه بریم بیا ادامهشو جلسه
بعدی صحبت کنیم فعلاً خداحافظ