مهندسی پرامپت و مدل‌های زبانی بزرگ؛ از مبانی تا پروژه‌های پیشرفته - جلسه 3

[گلویش را صاف می‌کند]

ال که حالا مخفف لارج لنگوج مدله یه نوعی از گوش مصنوعیه که در حقیقت طراحی شده

برای اینکه بتونه

زبان انسان رو بفهمه و اونو تولید بکنه

حتی

مثلاً چت جی بیتی که حالا خیلیامون ازش

استفاده می‌کنیم یک نمونه از اون ابزارهای

هوش مسیری که بر پایه ال المه

اما بریم ببینیم که این لارج لنگوج مدل یعنی چی؟ لارجش برمی‌گرده به اینکه زمانی

که داشتن این ابزارها رو توسعه می‌دادن و

این مدل‌ها رو داشتن آموزششون می‌دادن یه

حجم زیادی از منابع متنی رو بهشون دادن

که پارامترای داخلی زیادی هم دارن حالا

راجع بهش مفصل صحبت خواهیم کرد لنگوجش

یعنی چی؟ یعنی اینکه

قراره که با کلمات، متن، جمله‌ها و مکالمه

در حقیقت کار بکنه.

مدل هم برمی‌گرده به اون سیستم ریاضی که

قراره این الگوها رو از این دیتا آموزش

ببینه، یاد بگیره. میگن

پس میشه گفتش که یک مدل ریاضیه یک سیستم

مبتنی بر ریاضیاته که یه حجم زیادی ورودی

متنی بهش داده شده که الگوها رو یاد بگیره

توش

حالا این الگوها چی هستن رو الان میریم با

هم می‌بینیم

خب همونجور که گفتم ال میاد یه حجم زیادی از منابع متنی مثل کتاب وب سایت مقالات

داکومنتیشنز اسنا اسناد و مکالماتو بهش

میدم حالا ال ام

عذخواهی می‌کنم در طول این فراآینده چه

چیزایی رو یاد می‌گیره؟

چیزایی که یاد می‌گیره ایناست بچه‌ها یه

آب بخورم

یکی از چیزایی که یاد می‌گیره اینه که مثلاً چه کلماتی معمولاً با همدیگه

استفاده میشن خیلی مهمه

شما ق زمانی که قراره یه دونه متنی رو

درست بکنید با اینکه بدونید چه کلمه‌ای با

چه کلمه‌ای استفاده میشه خیلی مهمه

ساختار جملاتو یاد می‌گیرید.

اینکه چه جواب‌ها و چه سؤالاتی به همدیگه مرتبطنو یاد می‌گیرید.

بعد استال‌های نوشتاری مختلف مثلاً اداری، رسمی نمیدونم دوستانه اینا رو یاد

می‌گیرید

و زبان‌های برنامه نویسی رو هم به همچنین.

پس اینا چیزاییه که ال ام در حقیقت زمانی

که این ورودیا رو بهش میدن یاد می‌گیره.

میگه که مدل نمیاد جملاتو مثلاً کپی بکنه تو خودش نگه داره. مثلاً خیلی

دیدی یکی میخواد زبان یاد بگیره میره یه

سری جملاتو حفظ میکنه این این کارو نمیکنه

خب این میاد الگوها رو یاد می‌گیره که

بتونه هر چیزی رو باهاش درست بکنه.

یعنی در حقیقت وقتی الگو رو شما یاد

بگیرید می‌تونید پیش‌بینی بکنید که کلمه

بعدی چی خواهد بود.

مثلاً همین الان وقتی داشته این جمله رو

این متنو درست می‌کرده مثلاً گفته که

ایتیز بعدش میگه خب احتمالاً این باشه و

همین جور روندو ادامه میده حالا یه

فرایندی داره که بگذاریم ازش

یه مثالی زده مثلاً اینجا خودش میگه فرض

کنید یه جمله داریم تا اینجا خورشید

چی میاد بالایا طلوع می‌کنه از ادامش حدس بزن زنه دیگه خب بر اساس اون

دیتایی که داره میگه مثلاً از اینجا میاد

بالا از شرق میاد بالا خورشید

این چهجوری این فهمیده بر اساس منابعی که داشته دیدی که کلمه مثلاً ایز کلمه‌ایه که

خیلی این تو این جملات استفاده شده و وجود

داشته

خب یه مثال دیگه بریم با هم ببینیم پس شما یه سؤال می‌پرسید

میگه که فوتوسنتزو به یه بچه ۱۰ ساله

توضیح بده

اینجا چند تا نکته هست یکی بحث فوتوسنتز

یکی بچه ۱۰ ساله

بعد میگه احتمالاً الال اینجوری جواب میده

فتوسنتز یک فرایندیه که باهاش غذا درست

میشه خورشیدو می‌گیره آبو می‌گیره کربن

دیاکسیدو می‌گیره و اونا رو تبدیل میک کنه

به شکر و اکسیژن

میگه تو این ال ام چندین ساختار رو می‌فهمه

میگه موضوع که می‌دونه فوتوسنتزه

مخاطبش کیه یک آدم ۱۰ ساله

و اینکه باید از زبان ساده استفاده بکنه

اینجا داشتیم دیگه ایناها نوع ساختارشم

باید درقط تو اون دیتایی که بهش دادیم یاد

گرفته چهجوریه

چند تا ازاپل دیگه می‌زنم بگذریم ازش

اینا رو بگذریم بریم سراغ یه موضوع دیگه ما یه مفهوم دیگهای داریم توی

بحث ال بهش میگن توکن احتمالا اینم زیادی

باشه مثلا میگن توکن مصرف میکنه توکنش

تموم شده

توکن چیه

میگه که توکن یک واحد کوچیکی از یک متنه که ال ام یا می‌خوندش یا تولیدش می‌کند.

میگه توکن می‌تونه یه کلمه کامل باشه

یا قسمتی از یه کلمه باشه. این نکته رو

اینجا بگم

معمولاً بچه‌ها میگن هفت دهم

یک کلمه یعنی یه توکن اگه حالا درست

جملهشو بگم

پس یه جاهایی می‌تونه کلمه باشه یه جایی

می‌تونه یه قسمتیش باشه مثلاً این

ویرگول و علامت سالو به عنوان یه توکن در

نظر می‌گیره

اعداد و این نمادها رو به عنوان توکن در

نظر می‌گیره خب مثلاً

یه جمله‌ای داریم من هوش مسلوینو دوست

دارم

اینو بخواد بحث توکن تقسیم‌بندی کنه یه

همچین چیزی میشه احتمالاً این میشه یه

توکن این یه توکن اینم یه توکن

اینم یه توکن این نقطه آخرشم یه توکن میشه

چند تا توکن ۲ ۳ ۴ ۵ تا توکن میشه

البته که بچه‌ها این بستگی داره به اون

ساختار اون مدله اون نحوه توکنایزش کرد

توکنایز کردنش برمی‌گرده

چرا مهمه توکن؟ چون بچه‌ها ال وقتی داره با یک متن کار می‌کنه با کل متن کار

نمی‌کنه. میاد اون متنو تبدیل می‌کنه به

توکن بعد رو اون توکنا کار می‌کنه

که روی هزینه اون ایپیآی اثر می‌ذاره. مدت زمان پردازشش اثر می‌ذاره.

میگه لزوماً همیشه یه توکن یه کلمه نیست همچین انتصاری داشت مثلاً یه کلمه داره به

نام آنبیلایول آخر نتونستم بگم [خنده]

آنبیلی ویبل حالا مثلاً احتمالا معنیش فکر کنم میشه غیر قابل باور یه همچین چیزی

میشه

اومده گفته که احتمالاً اگه بخواد اینو توکنایز بکنه

میشه سه تا توکن

یه توکنش میشه ا یه توکنش میشه بلیو یه توکنش میشه ایبل یعنی شد ه تا توکن اینو

یه توکن در نظر نمی‌گیره

میگه که کلمات متداول رو معمولاً یه توکن در نظر می‌گیریم مثلاً این کلمات کلمات

متداولن اینا یه توکن می‌گیرن اما کلماتی

که کمتر استفاده میشن مثلاً خیلی

ندرت تو متنا استفاده میشه یا کلماتی که

طولانین کد و حالا یه سری در حقیقت

سیمبول‌های مثلاً نامتعارف رو اینا رو به

عنوان چند تا توکن در نظر میگیریم مثلا

این کلمه رو خب خیلی شما تو متن نمی‌بینید

برای همین اینو تبدیل می‌کنه به چند تا

توکن

ورودی میشه متنی که شما می‌فرستید اما توکن خروجی

میشه اون چیزی که مدل درست می‌کنه توتالش

میشه ورودی به اضافه خروجی یعنی مجموع

اینو در نظر می‌گیره

خب یه مفهوم دیگه داریم به نام کانتکست

ویندو این یعنی چی؟

میگه کانتکست ویندو حداکثر تعداد توکنیه که اون ال الم

می‌تونه در لحظه

دریافت بکنه و روش پردازش انجام بده چون

این محدودیتم داره مثلاً شما تو همین چت

جی بیتی اگه یه متن خیلی بلند بهش بدید

بهتون میگه میگه این متن خیلی بلنده و من

نمی‌تونم پردازشش بکنم باید کوتاه‌ترش

بکنید حالا میزانش برای ابزار مختلف

متفاوته

که شامل پرامپتی که شما میدید میشه بعد

میگه که اون مکالمه قبلی که داشتید

متنی که آپلود کردید و مدل ریسپانسم هست

پس مجموع اینا میشه نه لزوماً اون چیزی که

بهش دادید

این همه اینا رو در نظر می‌گیره مجموع

اینا میشه اون کانتکست ویو

ویندو ببخشید

میگه که برای انگلیسی یه توکن تقریباً میشه همون سه چهارم کلمه تقریبا همون ۷۰

۷۵دی که من بهتون گفتم

۱۰۰ تا توکن تقریباً میشه ۷۵ تا کلمه

و البته میگه که این توی مدل‌های مختلفی متفاوته و یکسان نیست و

حتی حتی تو زبان‌های مختلف مثلاً زبان

فارسی طبیعتاً متفاوته با زبان انگلیسی

توکناش

و حالا آخرشم یه تعریف خیلی سادهست توکن می‌کنه اینم میشه مفهوم توکن

خب بریم بیایم ادامهشو جلسه بعدی صحبت

کنیم فعلاً خداحافظ