متخصص مهندسی داده و بیگ دیتا - جلسه 1

سلام عرض می‌کنم خدمت دوستان عزیز. خب بریم سراغ یه دوره دیگه تو حوزه دیتا.

دوره‌ی که خیلی وقت بود میخواستم ضبطش کنم

و میخوایم در رابطه با

مهندسی داده و بیگ دیتا صحبت کنیم. تو این

دوره یه دوره مفصل طولانی

و مباحث خیلی زیادیو قراره کاور بکنیم.

اول بیم که اصلاً دیتا انجینرینگ یعنی چی

دیگه اول کارمون

میگه دیتا انجینرینگ مهندسی داده

فراآیندیه که طراحی میشه و ساخته میشه یا

یک سیستمیه که ساخته میشه برای جمع‌آوری

ذخیره پاکسازی تغییر شکل و تحویل دیتا یا

داده به یک آنالیزور یا کسی که مسئول

گزارش گزارش دادن ساختن گزارشه

و حالا ابزارهای ماشین لرنینگ و بعدم

تصمیم‌گیری

ما یه پوزیشن شغلی داریم به نام دیتا

آنالیست یا بیزینس دیتا آنالیست که الان

براش یه دوره هم داریم ضبط می‌کنیم برای

بیزینس دیتا آنالیس اینا برای اینکه بخوان

کارشونو انجام بدن نیاز به دیتا دارن یه

استپ قبل‌ترش دوستان مهندسی داده این دیتا

رو از سورسهای مختلف گرفتن ترتمیزش کردن

در اختیار دوستان قرار دادن که باهاش کار

بکنن.

میگه که مهندسین دیتا کاری می‌کنن که دیتای خام قابل اعتماد

سازماندهی شده قابل دسترس و مفید باشه.

یعنی باید این تغییراتو رو اون دیتایی بدن

که این ویژگیها رو داشته باشن.

میگه به عنوان مثال توی یک فروشگاه آنلاین

دیتاهایی که قابل دسترسیه ایناست برای

مهندس داته

ویزیت وب سایت اکانت مشتری سفارشات و حالا

اطلاعات دیگه‌ی که دارید اینجا می‌بینید

میگه که معمولاً این اطلاعات در جاهای مختلف و با فرمت‌های مختلف ذخیره میشه

مهندسین داده میان یه سیستمی رو درست درست

می‌کنن که همه این دیتاها رو یک جا جمع

بکنن.

حالا این یه مثالی زده کاری نداریم. ما راجع به اینو بعداً صحبت خواهیم کرد.

پس رد میشیم ازش و فقط گفتم یه تعریفی

داشته باشیم از کاری که می‌خوایم انجام

بدیم. اما بیگ دیتا چیه؟

میگه بیگ دیتا به دیتاستا اشاره داره که

خیلی بزرگن و سریع و پیچیده.

که ابزارهای دیتا پراسسینگ معمول متداور

نمی‌تونن اونا رو به صورت کارآمد مدیریت

بکنن.

یعنی انقدر حجم دیتا سنگینه که تو با

ابزار متداولی که الان دارش کار می‌کنیم

نمی‌تونی اینا رو مدیریت بکنی. باید بریم

سراغ یک تکنولوژی دیگه.

میگه بیگ دیتا فقط این نیست که شما

رکوردهای زیادی داشته باشید.

یه نگران دیگه که داره اینه که چهجوری به

سرعت شما بتونید دیتا رو جنریت بکنید و

در حقیقت

من یه عذرخواهی بکنم بچه‌ها یه کوچولو من سرما خوردم یهو صدام میره یعنی نفسم بندیا

مجبورم ویدیو رو پاز کنم داشتم می‌گفتم

بیگ دیتا

فقط این نیست که شما رکوردر زیادی داشته

باشید نگرانی دیگهش چیه اینه که شما چقدر

سریع می‌تونید دیتاها رو تولید بکنید

و البته یه نگرانی هم راجع به تنوع دیتا

هم داره

مثلاً سرچهای گوگل حجمش خیلی زیاده شما فکر کنید

کل مردم دنیا سرچهایی که انجام میدن

پستهای سوشیال مدیا ویدیوهاشون و چیزای

شبیه اینکه حجمش خیلی زیاده

ویژگی‌های بیگ دیتا اینه که بیگ دیتا میگه ۵ تا وی داره

اولیش والیومه حجمشه طبیعتاً خیلی زیاده

بعد ولاسیتیه خب سرعت ساخت و پردازش دیتا

وریتیه خب میگه که دیتاهاش امکان داره تو

فرمتهای مختلف وجود داشته باشه که حالا

می‌بینید اینجا

وراسیتیه

یعنی کیفیت و قابل اطمینان بودن دیتا و

ولیو چقدر اون اطلاعات بر اون سازمان مف

مفیده پس این ۵ تا وی مهمه توی بحث بیگ

دیتا از برقش می‌گذاریم چون قراره بعداً

در ادامه دورهمون مفصل راجع بهش صحبت کنیم

بریم یه ذره سرفصلای دوره رو بهتون بگم

چیاست

و

یه کوچولو

[صدای خرناس] آشنا بشیم توی فصل اول حالا

من همینجا می‌نویسم

راجع به لینوکس یه مقدار صحبت خواهیم کرد چون نیازه شما لینوکس رو بلد باشید برای

اینکه بتونید و یه مقدار حالا

یه کوچولو هم پایتون در حد یه جلسه شایدم

اصلاً نگم چون خیلی سادهست اون چیزی که

برای پایتون نیاز داریم تقریباً همتون

می‌تونم بلدید

بعد تو فصل سوم سوم

راجع به داده‌های توزیع شده و پایگاه داده صحبت

می‌کنیم.

فصل چهارم میریم سراغ

اس کی یعنی بهتر بگم داده‌هایی که بر مبنای اس

کی هستن [صدای خرناس]

حالا اسکریلشو اینور میندازه نذاشت توی فصل

پنجم

میریم سراغ نان اسکیور

بعد اینجا کمکم وارد بحث بیگ دیتا میشیم توی

فصل ششم

میریم سراغ هادوب یا هدوب حالا

تلفظ مختلف ازش من شنیدم

بعد

تو فصل هفتم

بعد تو فصل هشتم

میریم راجع به کوبردی تستبت می‌کنیم یم که

بحث خودکارسازی فرآینداست

بعد همین

این کل چیزیه که ما قراره راجع بهش صحبت

بکنیم

راجع به این هشت فصل می‌خوایم صحبت بکنیم

خب بریم شروع بکنیم همین جلسه یه ذره

مقدمه رو بگم سریعهم ازش رد بشیم بریم

سراغ بحث لینوکس

خب برگردم این بالا این چیزایی که رد

کردمو یه کوچولو راجع بهش صحبت کنیم و بعد

بریم سراغ فصل دوممون بحث لینوکسو شروع

بکنیم خب داشتیم میگفتیم که دیتا مهندسین

داده چیکار می‌کنن که اینجا مراحلشو داره

نشون میده

من اول بحث جمع‌آوری دیتا از منابع مختلفه مثل دیتابیسها وب سایتها اپلیکیشن ها

ایپیآی ی‌ها و حالا سنسورها، سوشال مدیا و

بقیه موارد

بعد بحث ذخیره کردن این دیتاست به صورت

کاملاً امن و کارآمد.

یکیش بحث ریلیشنال دیتابیس‌هاست. اون جداول متداولی که خیلیاتون باهاش کار

کردین مثل جداول اس کی

که جاهایی که شما دیتای ساختار یافته

دارید ازش استفاده می‌کنید. مثلاً ما اس

کی پست اس کی مایکروسافت اس کی سرور وراکر

یه دیتا ورهاوس داریم که بیشتر برای بحث آنالیز و گزارش ساختن گزارش استفاده میشه

یعنی یه پردازشی رو اون دیتای خام انجام

شده بعد اومده توی دیتا به ذخیره شده مثل

مثلاً اسکافا فلیک گوگل بیت کوری آمازون

رد شیفت و اجور

یه دیتا لیک یا دریاچه داده هم داریم.

زمانی که می‌خواید حجم زیادی دیتای خام رو

ذخیره بکنید شامل دیتا استراکچر یافته

یعنی سازمان یافته و سازمان نیافته

مثل آمازون استژتالک

استورج و گرود استورج

اینا مباحث مربوط به بیآی هستن بچه‌ها بیزنس اینتلیجنس یه دوره دیگه هست مربوط

به این دوره نمیشه [صدای خرناس]

مرحله سوم اینه که شما دیتا

پاکسازی بکنی یعنی دیتا معمولاً کلی

قسمتهای کرکثیف داره مشکلات داره باید

اینا ترتمیز بشه مثلاً بحث میسینگ ولیوها

باید حل و فصل بشه

اونا که دابلیکیت هستن درست اونا که غلطن

فرمت‌های مختلف امکان داره داشته باشن

تایپینگشون مشکل داشته باشه و در حقیقت

اون واحدشون مشکل داشته باشه

مثلاً تو این مثال سن نباید منفی باشه یا نباید امتی باشه

مثلاً تهران اینجا تیش کوچیکه اینا همه

بزرگن

اینا چیزایی که باید درست بشه

مبحث بعدی بحث ترنسفم کردن دیتا که درقل شما میا اون ظاهر یا فرمت دیتا رو

عوض می‌کنید برای اینکه راحت‌تر بشه باهاش

کار کرد

مثلا

یه دیتایی داریم که یه پرایس داریم یه

کوانتیتی

مهندس می‌تونه یه فیلد جدید اضافه کنه

اسمشو بذاره توتال پرایس اینو ضرب در این

کنه

این انگار یه ترنسفورم یه تغییر شکلی رو

دیتا دادن

روشهای دیگه هم داره مثلاً شما تیبلا رو

با هم ترکیب کنید دیتا تایپشونو عوض کنید

کارنسیها رو تغییر بدید

بعد این کاری که الان اینجا کردیم درقل

کلکولیتد کالمه یه ستون جدیدی که مبنا

ستونای دیگه ساخته میشه

گروه کردن رکوردا با همدیگه و استاندارد

کردن دیتاها و کت ک کتگوری کار کردن یعنی

گروهبندی [ __ ]

حالا این مثلاشو در آینده خواهیم دید

مرحله بعد اینه که شما یه دیتا پایپلاین درست بکنید که این فرا آینده اتومیت بشه

قرار نیست دستی انجام بشه

که در حقیقت میاد دیتا رو از مبد می‌رسونه

به مقصد

اگزمپلشو نگاه کنید یه دیتابیس آنلاین

دارید

خب هر شب دیتا رو ازش اکسترکت می‌کنید

استخراج می‌کنید

مقادیر اینولید و داپلیکیتو حذف می‌کنید

درآمد روزانه رو محاسبه می‌کنید ید بعد می‌برید اون درآمدی که محاسبه کردیدو

توی دیتا ویر هاوس ذخیره می‌کنید. گفتم

بهتون دیتا ویرهاس دیتا به صورت محاسبه

شده ذخیره میشه نه دیتای خام

و نتایج میاد روی داشبوردی نمایش داده

میشه.

ما د تا اصطلاح داریم ایتی و ایل تی. ایتیر یعنی اکسترکت

ترنسفورم لود یعنی شما یه دیتا رو استخراج

کنید تغییر شکلش بدید بعد ذخیرهش بکنید

خب

ای تی یه کوچولو فرق داره یه فرایند دیگهست یه مدل دیگهست میگه ما دیتا رو

استخراج می‌کنیم همون جوری که هست بدون

اینکه دست بهش بزنیم میاریم ذخیره می‌کنیم

بعد روش ترنسفم انجام میدیم

حالا

فرضشون چیه ای تی و ایتl ببینید توی ایتی

شما قبل از اینکه دیتا رو بخواید بیاید تو

دیتا بهش ذخیره کنید میاید اون دیتای

مفیدو استخراج می‌کنید

ترتمیزش می‌کنید بعد ذخیره می‌کنید

خب اما توی ایل تی

دیتا

همون جوری که هست ذخیره میشه بعداً بر حسب

نیاز میاد روش یه سری تغییرات داده میشه

یعنی چیزی رو شما میس نمی‌کنید تو

دیتابیستون عیناً میارید ذخیره می‌کنید

خب بریم یه ذره راجع بیگ دیتا صحبت کنیم اینا رو که گفتم

مثلاً مثلاً فرض کن یه دونه پلتفرم ویدیو استریمینگ دارید مثل مثلاً نتفلیکس مثلاً

تو ایران مثلاً مثل فیلمو

چه دیتایی هر روز داره جنریت میشه

اطلاعات واچ ویدیوها چه ویدیوهایی چقدر

واچ شده

سوابق سرچ

اینکه شما یه ویدیو رو پاز کردی دوباره پلی کردی خیلی مهمه این مثلاً شما توی

ویودیآر مثل نتفلیک ایکس وقتی یه ویدیو یه

فیلمی رو نگاه می‌کنه تا وسطا مثلاً میداو

برمی‌گردید نمیره از اول پلی کنه از همون

جا پلی می‌کنه

مدت

تماشای شما

دیوایسی که باهاش فیلم دیدید

لوکیشن یوزر شما کجاست حالا نتفلیکس تو

بعد کل دنیا تصور کنید مثلاً پلتفرمای

داخلی مثلاً مثل فیلمو صرفاً در حد مثلاً

اینکه شما تو کدوم شهر هستید

چه امتیازی به اون فیلم و سریال دادید؟ وضعیت اینترنتتون حالا شاید لزوماً همه

اینا تو همه پلتفرما ذخیره نشه ولی عمدهش

ذخیره میشه

حالا به چه دردی می‌خوره توی حوزه بیگ دیتا مثلاً می‌تونم ازش استفاده کنم به

شما ویدیو ریکامندنت کنم که تو همه جا

اینو دیدید یوتیوب داره اینستاگرام داره

نتفلیکس داره

محتوایی که محبوبنو دیتکت می‌کنید اینا رو

می‌ذارید جلو چش همه میگید اینا رو همه

دارن می‌بینن احتمالاً بقیه هم دوست دارن

می‌تونید دیتکت بکنید که این یوزری که احتمال داره سابسکریپشن یا اکانتشو کنسل

کنن

افزایش کیفیت استریم

تشخیص مشکلات فنی خیلی نکته مهمیه

بر مبنای دیتاها ت تشخیص میدید که محتوای بعدیتون چی باشه چی دوست دارم مردم

و حالا چیزای دیگه

اما ارتباط بین مهندسی داد و بیگ دیتا چیه؟

میگیم مهندسی دیتا تخصص و ففرآیند ساخت سیستم‌های مبتنی بر دیتاه.

بیگ دیتا

در حقیقت دیتا با دیتای خیلی بزرگ کار می‌کنه و سرعت بالا و پیچیدگی بالا.

پس مهندسین داده زیرساخت داده رو فراهم می‌کنن. بیگ دیتا میره رو بحث دیتای

سنگین.

حالا مهندسی داده امکان داره هم با اسمال

دیتا کار بکنه هم با بیگ دیتا امکان داره

با هر دو تاش کار بکنه.

فقط میگه که تو حوزه بیگ دیتا ابزارهای مهندسی خیلی خاص‌تری مورد نیازه

به نسبت

اسمال دیتا.

خب بریم یه ذره راجع به تکنولوژی‌هایی که توی بحث بیگ دیتا داریم

که الان اسماشونو همین چند دقیقه پیش من

توی بحث سرفصرا گفتم یکی داریم آپاچی

هادوپ داریم یا هدوب

میگه هدوب استور می‌کنه و پراسس می‌کنه

دیتاهای خیلی بزرگ رو روی چند تا کامپیوتر

مختلف

پس حدو وظیفه ذخیره‌سازی و پردازش دیتای

سنگین روی چند تا سیستم در رابطه داره

میگه به جای اینکه شما از یک سیستم قوی

استفاده بکنید می‌تونید با استفاده از حدو

اینو بیاید روی چند تا سیستم تقسیم بکنید

یه آپاچی اسپارک داریم برای پردازش سریع و توضیح یافته دیتا استفاده

میشه پس اینجا بحث سرعت وجود داره

میگیم برای اینجور کارم استفاده میشه ترنسفم کردن دیتا ماشین لرنینگ بعد مثلاً

استریمینگ کردن دیتا و چیزای دیگه اینم

نمونه کدوشو که دارید می‌بینید حالا بعداً

بهش می‌رسیم لحظه ولش کنید

یه آپاچی کافکا هم داریم که موضوع دوره ما

نیست خب

معمولاً برای پردازش دیتاهای ریل تایم

استفاده میشه

مثل این نمونه‌هایی که دارید اینجا می‌بینید

یه دیتا ویر هاوس داریم باز موضوع این دورهمونش گفتم برا دوره بیآی این دیتا ویر

هاوس چی چه دیتایی داخل دیتا ویرهاس ذخوره

میشه دیتایی که تری تمیز شده ارگنایز شده

برای چه کاری برای بحثهای بیزینسی تحلیلای

بیزینسی گفتم توی دیتا وبهاس دیتا یه

مرحله از دیتای خام جلوتره ره

یه دیتا لیک داریم که دقیقاً دیتای خام با همون فرمت اورجینالش داخلش ذخیره میشه

فایلای سی‌ اس وی جیسون ایمیج‌ها ویدیو و

همه چی عین همون فرمت ذخیره میشه توی دیتا

لیک یه دریاچه‌ایه که توش هر چیزی می‌تونه

وجود داشته باشه

خب به نظرم همین مقدمه کافیه بریم بریم بیو ادامه ادامهش باشه جلسه بعد

که میشه لینوکس فعلاً خداحافظ