PySpark را نصب کنید روی اوبونتو 22.04

اگر شما یک مهندس داده هستید، از نقشی که Apache Spark در پردازش مجموعه داده های بزرگ ایفا می کند قدردانی می کنید. چارچوب منبع باز از تجزیه و تحلیل داده های بزرگ پشتیبانی می کند و با زبان های مختلفی مانند پایتون در محیط های مختلف محاسبات خوشه ای کار می کند.

این پست شما را راهنمایی می کند روی مراحل نصب PySpark روی اوبونتو 22.04. ما PySpark را درک خواهیم کرد و یک آموزش مفصل ارائه خواهیم داد روی مراحل نصب آن نگاهی بیاندازید!

روش نصب PySpark روی اوبونتو 22.04

Apache Spark یک موتور منبع باز است که از زبان های برنامه نویسی مختلف از جمله پایتون پشتیبانی می کند. وقتی می خواهید از آن با پایتون استفاده کنید، به PySpark نیاز دارید. با نسخه‌های جدید آپاچی اسپارک، PySpark همراه با آن ارائه می‌شود که به این معنی است که نیازی به نصب جداگانه آن به عنوان کتابخانه ندارید. با این حال، شما باید پایتون 3 را در حال اجرا داشته باشید روی سیستم شما

علاوه بر این، باید جاوا را نصب کرده باشید روی اوبونتو 22.04 خود را برای نصب آپاچی اسپارک. با این حال، شما ملزم به داشتن اسکالا هستید. اما اکنون با بسته آپاچی اسپارک عرضه می شود و نیاز به نصب جداگانه آن را از بین می برد. بیایید حفاری کنیم روی مراحل نصب

ابتدا با باز کردن خود شروع کنید terminal و به روز رسانی مخزن بسته.

در مرحله بعد، اگر جاوا را قبلا نصب نکرده اید، باید آن را نصب کنید. Apache Spark به جاوا نسخه 8 یا بالاتر نیاز دارد. برای نصب سریع جاوا می توانید دستور زیر را اجرا کنید:

پس از اتمام نصب، نسخه جاوا نصب شده را برای تأیید موفقیت آمیز بودن نصب بررسی کنید:

ما openjdk 11 را همانطور که در خروجی زیر مشخص است نصب کردیم:

با نصب جاوا، کار بعدی نصب آپاچی اسپارک است. برای آن، ما باید بسته مورد نظر را از وب سایت آن دریافت کنیم. فایل بسته یک فایل tar است. ما آن را با استفاده از wget دانلود می کنیم. همچنین می توانید از curl یا هر روش دانلود مناسب برای کیس خود استفاده کنید.

از دانلودهای آپاچی اسپارک دیدن کنید page و آخرین یا نسخه ترجیحی را دریافت کنید. توجه داشته باشید که با آخرین نسخه، آپاچی اسپارک همراه با اسکالا 2 یا جدیدتر عرضه می شود. بنابراین، لازم نیست نگران نصب Scala به طور جداگانه باشید.

برای مورد ما، اجازه دهید Spark نسخه 3.3.2 را با دستور زیر نصب کنیم:

اطمینان حاصل کنید که دانلود کامل شده است. پیام “ذخیره” را مشاهده خواهید کرد تا تأیید کنید که بسته دانلود شده است.

فایل دانلود شده بایگانی می شود. همانطور که در زیر نشان داده شده است آن را با استفاده از تار استخراج کنید. نام فایل بایگانی را جایگزین کنید تا با فایلی که دانلود کرده اید مطابقت داشته باشد.

پس از استخراج، یک پوشه جدید که حاوی تمام فایل های Spark است در فهرست فعلی شما ایجاد می شود. ما می توانیم محتویات دایرکتوری را لیست کنیم تا تأیید کنیم که دایرکتوری جدید داریم.

سپس باید پوشه اسپارک ایجاد شده را به خود منتقل کنید /opt/spark فهرست راهنما. برای رسیدن به این هدف از دستور move استفاده کنید.

قبل از اینکه بتوانیم از آپاچی اسپارک استفاده کنیم روی سیستم، ما باید یک متغیر مسیر محیطی را تنظیم کنیم. دو دستور زیر را اجرا کنید روی شما terminal برای صادر کردن مسیرهای محیطی در فایل “bashrc.”:

برای ذخیره متغیرهای محیطی با دستور زیر فایل را Refresh کنید:

با این کار، اکنون Apache Spark را نصب کرده اید روی اوبونتو 22.04 شما. با نصب Apache Spark، به این معنی است که PySpark را نیز با آن نصب کرده اید.

بیایید ابتدا بررسی کنیم که Apache Spark با موفقیت نصب شده است. با اجرای دستور spark-shell پوسته جرقه را باز کنید.

اگر نصب با موفقیت انجام شود، یک پنجره Apache Spark را باز می کند که در آن می توانید با رابط Scala تعامل برقرار کنید.

بسته به اینکه رابط اسکالا انتخاب همه نیست روی وظیفه ای که می خواهید انجام دهید با اجرای دستور pyspark می توانید تأیید کنید که PySpark نیز نصب شده است روی شما terminal.

باید پوسته PySpark را باز کند، جایی که می‌توانید شروع به اجرای اسکریپت‌های مختلف و ایجاد برنامه‌هایی کنید که از PySpark استفاده می‌کنند.

فرض کنید PySpark را با این گزینه نصب نکرده اید، می توانید از آن استفاده کنید pip برای نصب آن برای آن، موارد زیر را اجرا کنید pip دستور:

پیپ را دانلود کرده و PySpark را راه اندازی می کند روی اوبونتو 22.04 شما. می توانید از آن برای کارهای تجزیه و تحلیل داده خود استفاده کنید.

هنگامی که پوسته PySpark را باز دارید، می توانید کد را بنویسید و آن را اجرا کنید. در اینجا، با ایجاد یک کد ساده که رشته درج شده را می گیرد، همه کاراکترها را برای یافتن موارد منطبق بررسی می کند و تعداد کل تعداد دفعات تکرار یک کاراکتر را برمی گرداند، آزمایش می کنیم که آیا PySpark در حال اجرا و آماده استفاده است یا خیر.

در اینجا کد برنامه ما آمده است:

با اجرای آن خروجی زیر را بدست می آوریم. این تایید می کند که PySpark نصب شده است روی اوبونتو 22.04 و می تواند هنگام ایجاد برنامه های مختلف پایتون و آپاچی اسپارک وارد و استفاده شود.

نتیجه

ما مراحل نصب آپاچی اسپارک و وابستگی های آن را ارائه کردیم. با این حال، ما روش تأیید نصب PySpark را پس از نصب Spark دیدیم. علاوه بر این، ما یک کد نمونه برای اثبات اینکه PySpark ما نصب شده و در حال اجرا است، داده ایم روی اوبونتو 22.04.

برای نگارش بخشهایی از این متن ممکن است از ترجمه ماشینی یا هوش مصنوعی GPT استفاده شده باشد
لطفا در صورت وجود مشکل در متن یا مفهوم نبودن توضیحات، از طریق دکمه گزارش نوشتار یا درج نظر روی این مطلب ما را از جزییات مشکل مشاهده شده مطلع کنید تا به آن رسیدگی کنیم