Luigi

Luigi

هدف لوئیجی پرداختن به تمام لوله کشی هایی است که به طور معمول با فرآیندهای دسته ای طولانی مدت در ارتباط است.شما می خواهید کارهای زیادی را زنجیر کنید ، آنها را خودکار کنید و خرابی ها اتفاق می افتد.این وظایف می توانند هر کاری باشند ، اما معمولاً موارد طولانی مانند شغل Hadoop ، پرش داده به داده ها از / از پایگاه داده ، الگوریتم های یادگیری ماشین در حال اجرا یا هر چیز دیگری هستند.بسته های نرم افزاری دیگری نیز وجود دارند که بر جنبه های سطح پایین پردازش داده ها مانند Hive ، Pig یا Cascading تمرکز دارند.لوئیجی چارچوبی برای جایگزینی این موارد نیست.درعوض ، به شما کمک می کند تا بسیاری از وظایف را در کنار هم قرار دهید ، جایی که هر کار می تواند یک عبارت Hive ، یک کار Hadoop در جاوا ، یک کار Spark در Scala یا یک Python snippet از Python باشد ، یک جدول از یک پایگاه داده یا هر چیز دیگری را بیرون بیاندازد.ساخت خطوط لوله طولانی مدت که شامل هزاران کار است آسان است و چند روز یا هفته طول می کشد.لوئیجی برای مدیریت گردش کار زیادی مراقبت می کند تا بتوانید روی وظایف خود و وابستگی های آنها متمرکز شوید .... می توانید تقریباً هر وظیفه ای را که می خواهید بسازید اما لوئیجی همچنین با جعبه ابزار از چندین الگوی کار مشترک است که شما در آن قرار دارید.استفاده کنید.این برنامه شامل پشتیبانی برای اجرای مشاغل نقشه برداری Python در Hadoop و همچنین Hive و Pig می باشد.همچنین دارای انتزاعات سیستم فایل برای HDFS است ، و فایلهای محلی که کلیه عملکرد سیستم فایل را تضمین می کند اتمی است.این مهم است زیرا این بدان معناست که خط لوله داده شما در حالت حاوی داده های جزئی خراب نمی شود.
luigi

سایت اینترنتی:

دسته بندی ها

گزینه های دیگر برای Luigi برای Self-Hosted