تحلیل داده‌های حجیم با Polars و GPU | آموزش کامل + ۲ پروژه کاربردی - جلسه 14

سلام عرض می‌کنم خدمت دوستان عزیز. بریم سراغ ادامه بحث پلاس و این جلسه قراره در

رابطه با نحوه کانکت شدن به دیتابیس توی

پلار صحبت بکنیم. خب بیایم اینجا.

اول چیزایی که لازم دارم بذارید ایمپورت

کنم. بذارید این سه تا رو نمیخوام.

فرام

پتلی

ایمپورت بکن.

خب بریم شروع بکنیم اول باید یه میخوام یه

دونه دیتابیس اس کیو لایت درست بکنم که

باید بتونیم باهاش کار بکنیم خب

اول بریم فایل سی اسونو که داشتیم رو

بخونیم

دیف مساوی پی

ر سی ویal.csv

سی وی.

خب این دیتابیس اون فایل سی اس وی بود درسته؟ خب حالا

می‌خوایم بریم سراغ اینکه یه دونه دیتاب

درست بکنیم. اول باید چیکار بکنیم؟ استپسیلیو

مشخص بکنیم. یک دایرکتوری مشخص بکنیم که قراره اون دیتابیسمون اونجا ساخته بشه.

اون فایل دیتابیسمون میام میگم که اس کی

لایت

دی بی دایرکتوری

مساوی پت با پت این کارو می‌کنم مسیره رو اینجا مشخص می‌کنم میگم که توی دیتا

اس کیولایت

اسلش مثلاً

سمپل

[ __ ] استور چون این بالا یه دونه فروشگاهست دیگه خب

بعد ایف

اس امید دیآیآر

اینم می‌کنم تو. خب پس ما اون مسیری که قراره این ساخته

بشه رو می‌سازیم.

بعدش

میایم میگیم که

دی بی پت سایس با اسکلات اینی که ساختیم

اسلش

برای ساختن دیتابیس اس کیولایت ما از ابزار استفاده می‌کنیم به نام ایدی بی سی

ا بی سی

اس کی لایت اس کی لایتش

بذارید پیداش کنم ایناش اینو می‌خواستم دقیقا

این در حقیقت پکیج پایتونو بچه‌ها باید

نصب بکنیم اینو

خب ایدی بی سی درایور اسکیو لایت من اینو

کپی می‌کنم باید اول اینو نصبش بکنیم

اینجا فک کنم دستور نصبش هست اینهاشش

همین جا هست من اینو رو میارم اینجا توی

اینجا نصبش می‌کنم.

خب یه مدا می‌بره. خب این نصب شد دیگه اینو لازم ندارم. من اینو پاکش

می‌کنم. خب بریم سراغ که اسکیولا

دیتابیسشو بیاریم بالا.

من داکومنتشو نگاه بکنم خب میگیم که

اول یوآرآی رو مشخص می‌کنیم یآرآی به این شکل بچه‌ها باید باشه اس کیو لایت د نقطه

سه تا اسلش

به اضافه این آدرسی که این بالا مشخص کردید

از پوسیکس

چیزی که تو داکومنتش گفته

خروجیشو ببینیم یه همچین چیزی شد بچه‌ها

خب

حالا میگیم که

ما میخوایم رکوردای این دیتا فریممون رو

بریم تو این دیتابیس دیتابیسی که ساختیم

دقت وارد بکنیم خب

میام میگم

ایف نات اس دیپت

دایست

اگه وجود نداشت داشت

اگه وجود نداشت باید این دیتابیسو بسازید ف.س

خب بعد میگم که رایت

دیتابیس

یه تیبل نیم مشخص می‌کنم می‌ذارم مثلاً رکوردز

اف تیبل اگزیست میذارم ریپلیس کن

و انجینشم

این میشه دستورش بچه‌ها کلاً برای ساختن اون دیتابیسه و کپی کردن کل اطلاعاتمون

داخل دیتابیس منو رانش کنم

الان داره کل دیتا رو برد توی اون دیتابیس

اسکری لایتمو نشون داد خب حالا بریم از

دیتابیسمون بخونیم ببینیم آی واقعاً کار

می‌کنه یا نه میگم دیف مساویست با پیl.

[ __ ]

دیتابیس یآی

اول کووریمو می‌نویسم سلکت کن همه چیو از

جدول رکورس

لیمیت سه بذار فقط سه تاشو بیار

یوآرآی

مساوی یوآرآی

انجینم مساویست با دی بی سی

دی

دقیقاً بچه‌ها رفت سه تا رکورد اولو البته

با کاستوم آیدی سورت شده آورد چون موقع که

داشتیم رکورد ضپ در استور می‌کردیم ما

سورتش کردیم قبلش

پس این شد ساختن دیتابیس اس کیو لایت و

فقط بالا آوردنش حالا می‌تونیم همینو با

پستگرسم بچه‌ها انجام بدیم یعنی می‌تونیم

بریم یه دونه پستگرسم بیاریم بالا فقط

قبلش لازمه که پستگرسو کامل بریم نصب

بکنیم رو سیستممون

یه تی تیبل تو پورس بسازیم

بعد بریم بهش متصل بشیم

او

بذارید من داکومنتشو دارم نگاه می‌کنم ببینم چهجوریه

خب من پستو از قبل رو سیستمم نصب کردم پیجی ادمین ف رو باز می‌کنم میام اینجا یه

دیتابیس می‌سازم مثلاً

می‌ذارم اسمشو پلارز تست

سیو خب

تو اینجا میام توی اسکیما

میام توی تیبل

خب اینجا یه دونه تیبل میخوام بسازم

بذارید تصویرشو بنویسم کوششو بنویسم میگم که کریت

سریال و پرایمری کی

بعد یه دونه سم میدم از اون اینتیجر یه دپارتمان ما

دپارتمان

این ۵۰ و یه

هایر

دیت از نوع دیت

خب اینو ران می‌کنم میگم این تیبلمو بسازه

فقط اینکه اینو باید بره کجا بسازه

کوی تولزشو باز می‌کنم آ شد اینو می‌ندازم اینجا اینو ران می‌کنم و

یه اسپیس چیزی اشتباه اینجا زدم بذارم آیدی سریال

پرایمری کی آها یه ویرگول رو یادم رفته

بذارم

چی داشته نوشتم او او او این چیز نداره اینجوریه

خب تیبلمون سافته شد بریم یه سری دیتا

داخلش بزنیم

میام میگم که اینتو

امپلویز نیم

ایج

دپارتمان

سپیده ۳۰ سالشه

دپارتمان اچآر داره کار می‌کنه و جذبشم

مثلاً می‌زنم ۲۰۲۰۵۰۱

بعدی رو می‌ذارم علی ۲۵ سالشه دپارتیمن مهندسی

جذبشم مثلاً می‌زنیم ۲۱۸ همون تاریخ حالا زیادی وقتمون نره اینم می‌ذارم سارا

۱۸ سالشه

مارکتینگ ۲۰ ۲۲۴ اومد

اینم اینسرت کردیم میگه این رشتهو نوشتید چشم

خب اینم اوکی شد حالا

سلکت کن همه چیو فرام

امپلیس فقط ببینیم کار میکنه یا نه خب

حالا بریم به این دیتابیس پستگرسمون متصل

وصل بشیم و ببینیم که می‌تونیم کار بکنیم

باهاش یا نه.

بچه‌ها این بالا هم آدرسمون هستا. حالا میایم اینجا

متصل بشیم بریم

یه یوآرآی مشخص بکنم مساویست با پست اس کی

د نقطه اسش اسلش پست گرس

دو نقطه

رمزمونو می‌نویسیم

اد ساین لوکال هاست د نقطه ۵۴۳۲

پولارز تست

این آدرس پستگرسمونه

بعد

میگم که کوری

مساویست با سلکت استارت فرا

امپلویز

دی مساویست با پی. ریت دیتابیس یآوری

ی بعد

چی میگه کانکتوریکس نا فاند

خب یه کار بکنیم بریم سراغ جمنی ببینیم که جمنای چی به ما میگه بابت

این خطا اصلاً فرض کنیم که واقعاً

نمی‌دونیم راه حلش چیه خب خب

مثلا من خیلی رایتینگم خوب نیستا گیر بهم ندید

واقعاً افتضاحاً خب خب

این اینجا چیز دیگه هم که بلد نیستم پرامت

نویسی اینم بلد نیستم حالا پیج هستم یه

ذره یاد بگیرم ولی واقعاً وقت نمی‌خواد

کویم اینه

اینم اینه و اینم اینه

ارورمون چیه

فرض کنید میگم اصلاً نمی‌دونیم داستان چیه. می‌خوایم یه کمک بگیریم از

ابزارایی که الان هست

و البته منم از نوشتن راحت می‌کنه و من تو

همه دوره‌هام الان دارم از جمنای یا چت جی

بیتی استفاده می‌کنم به عنوان دستیاری که

به من کمک می‌کنه ننویسم.

میگه خیلی مرسومه خب میگه تو کانکتر دیتا درق درایور رو لحاظ

نکردی استفاده نکردی

اوکی خب از خطهای معلوم بودا ولی حالا

اک نتورکشن اوکی هم فیکس یون تو این میگه باید اینو نصب کنی میگم

چشم

حالا تا این دست میشه بیم ادامه رو بخونیم ژوپیتر پور خب آره دیگه من خودم حواسم بود

که این من تعجبو قبلش بذارم

میگه چرا پولارس از این استفاده می‌کنه

میگه کانکتور ایکس به راست نوشته شده و

خیلی راست بچه‌ها چیز خوبیه

و واقعاً تو فکرش هستم که آموزش راست رو

هم شروع بکنم الان خودم در حال یادگیریم

واقعیت و در حال تمرینم و

واقعاً چیز خوب و قدرتمندیه تو فکرش هستم

که شروع بکنم ولی الان واقعاً نمی‌رسم اول

یه ذره خودم بذا سر کله بزنم بعد

میگه مستقیماً میره از این دیتا رو می‌خونه ه می‌نویسه داخل اینجا و الی آخر

حالا میره جلو

میگه خیلی از پانداس و اس کی آرکمی

قوی‌تره این کانکتور ایکس من با اینم کار

کردم و حالا الان بریم مقایسه می‌کنیم

میگه راه جایگزین استفاده از ایدی بی سیه

که ما دیدیم

استفاده از ایدی بی‌ سی رو با این کار

کردیم الان برای اتصال به دیتابیس اس کیو

لایت

ولی خب برای چیز پستگرس میخوایم بریم سراغ

کانکتور ایکس بعد اینجا چیزی عوض کرده

نه خب این نصب شد

بله نصب شد

اینو برداریم اینو ران کنیم

ببینیم چی میشه بعد الان دور کار می‌کنه

اینم از اتصال به پستگرس اس

بعد

ببینم چیزی جا مونده یا نه اگه جا مونده بگیم نه که پروندهشو ببندیم

توی کوراتون بچه‌ها شما میتونید مثلا کو دیگه هم بزنید مثلاً اینجا مثلاً میگم بگم

که همه چیو انتخاب کن یه شرطم بذارم

انتهاش مثلا ور

ایج

بزرگتر از ۳۵ش

کیو میاره هیچ کدوم بزنیم ۲۵ که مثلاً فقط سفیده رو بیاره فقط سفیده

اومد پس اینجا شما می‌تونید ومانی که دد

کوی می‌زنید

توی کوریتون مثلاً هر حالی که توی اس کی

اینو بلدید رو انجام بدید

خب اینم از اتصال به دیتابیس‌های مختلف با

استفاده از پولارز بریم بریم بیایم جلسات

ببینیم سرا مبحث بعدی خداحافظ