نصب هدوپ 2.3 روی سیستم عامل ویندوز

معرفی آپاچی هدوپ

پروژه آپاچی هدوپ نرم‌افزارهای متن باز را برای محاسبات مطمئن، مقیاس‌پذیر و توزیع شده توسعه می‌دهد.

کتابخانه نرم‌افزاری هدوپ یک چارچوب کاری نوشته شده به زبان برنامه‌نویسی جاوا است که با استفاده از یک مدل برنامه‌سازی ساده امکان پردازش توزیع شده روی مجموعه‌های عظیم داده روی کامپیوترهای به هم متصل را فراهم می‌آورد.

از ویژگی‌های مهم هدوپ، می‌توان به قابلیت مقیاس‌پذیری آن از یک سرویس‌دهنده به هزاران ماشین با حافظه و قدرت پردازش محلی اشاره کرد.

یک پروژه هدوپ شامل ماژول‌های زیر است:

• بسته عمومی هدوپ یا Common Hadoop: ابزارهای رایجی که سایر ماژول‌های هدوپ را پشتیبانی می‌کند.

• فایل سیستم توزیعی هدوپ یا HDFS: فایل سیستم توزیعی که توان محاسباتی بالایی برای دست‌یابی به داده‌های کاربردی فراهم می‌کند.

• هدوپ YARN: یک چارچوب کاری برای زمان‌بندی کارها و مدیریت منابع کلاسترها

• سیستم Hadoop MapReduce: سیستمی مبتنی بر YARN برای پردازش‌های مجازی بر روی مجموعه‌ داده‌های بزرگ

نصب هدوپ Hadoop روی سیستم عامل Windows

• برای نصب Hadoop روی Windows ابتدا نرم افزارهای زیر را آماده کنید:

  الف) Windows 7 / 8 / 8.1

  ب) Hadoop 2.3

  ج) فایل پیکربندی هدوپ 2.3 برای ویندوز 7 / 8 / 8.1

  د) Jdk1.6-u31

• فایل فشرده هدوپ (Hadoop-2.3.0.zip) را باز نموده و در یک دیسک محلی کپی کنید.

• فایل پیکربندی را باز نموده و از درون پوشه …\bin فایل yarn.cmd را در پوشه Hadoop-2.3.0 کپی (replace) کنید.

• پوشه …\etc\hadoop از فایل پیکربندی را باز نموده و فایل‌های زیر را از Hadoop-2.3.0 به پوشه …\etc\hadoop کپی کنید:

  yarn-site.xml

  mapredsite.xml

  https-site.xml

  hdfs-site.xml

  Hadoop-policy.xml

  core-site.xml

  capacity-scheduler.xml

• اکنون jdk1.6-u31 را نیز نصب نمایید.

• تنظیم متغیرهای محیطی از طریق Control Panel\System\Advanced System Settings. زبانه Advanced را انتخاب نمایید و با فشردن دکمه Environment Variables متغیرها را تنظیم کنید.

  • یک متغیر جدید مثلا به‌نام HADDOP_HOME تعریف کرده و آن‌را با مقدار C:\hadoop-2.3.0 مقداردهی کنید.
  • یک متغیر جدید مثلا به‌نام JAVA_HOME تعریف کرده و آن‌را با مقدار C:\hdp\java مقداردهی کنید.
  • مسیرهای C:\hadoop-2.3.0\bin و C:\hdp\Java\jdk1.6.0_31\bin را نیز از system variables به path اضافه کنید.

   

  نرم افزار Kyvos Insights

  یکی از چالش‌ها در به‌کارگیری مجموعه داده‌های Hadoop آن است که هنگامی که می‌خواهد داده‌ها را به داده‌های قابل استفاده برای کاربران BI تبدیل کند، نوعی تداخل با IT روی می‌دهد.

  در گذشته، این امر به معنای یکپارچه‌سازی و یا انتقال داده‌های اصلی بهmartهای داده یا انباره‌ی داده‌های OLAP جهت کار با ابزار BI بود.

  نرم افزار Kyvos Insights با توسعه‌ی نرم‌افزار OLAP که مستقیماً روی هدوپ کار می‌کند، این مشکل را حل کرده است.

  رابط کاربری drag-and-drop بصری این نرم‌افزار، نیاز به کدگذاری ندارد و کابران را قادر می‌سازد که cubes را مستقیماً روی هدوپ ایجاد و تحلیل کنند.

  توانایی پشتیبانی از تحلیل‌ ابعادی کلان داده‌ها برمبنای OLAP روی Hadoop این نرم افزار را منحصر به‌فرد کرده است.

  Kyvos با تمام بخش های هدوپ کار می‌کند و Excel و Tableau را پشتیبانی می‌کند

  مجله‌ی CRN، Kyvos را به‌عنوان یکی از جالب‌ترین محصولات سال در حوزه‌ی کلان داده معرفی کرده است.

  

  در کانال تلگرامی ما بخوانیدمعرفی نرم‌افزارهای متن باز یاOpen Source برایBI - @placabi

   

• فایل Hadoop-env.cmd را از مسیر C:\hadoop-2.3.0\etc\hadoop\ باز کرده و JAVA_HOME را با مسیر که JDK1.6 را نصب کردید یعنی C:\hdp\Java مقداردهی کنید.

• اکنون با باز کردن یک پنجره (as Admin) cmd به مسیر C:\hadoop-2.3.0\bin بروید و فرمان زیر را اجرا کنید:

  start-dfs.cmd

  start-yarn.cmd

  پس از اجرای این دو فرمان، چهار پروسه به‌نام‌های resourcemanager, datanode, namenode و nodemanager باید اجرا شود.

  اکنون هدوپ بر روی سیستم عامل ویندوز شما نصب شده و قابل استفاده می‌باشد.