0
Luigi
هدف لوئیجی پرداختن به تمام لوله کشی هایی است که به طور معمول با فرآیندهای دسته ای طولانی مدت در ارتباط است.شما می خواهید کارهای زیادی را زنجیر کنید ، آنها را خودکار کنید و خرابی ها اتفاق می افتد.این وظایف می توانند هر کاری باشند ، اما معمولاً موارد طولانی مانند شغل Hadoop ، پرش داده به داده ها از / از پایگاه داده ، الگوریتم های یادگیری ماشین در حال اجرا یا هر چیز دیگری هستند.بسته های نرم افزاری دیگری نیز وجود دارند که بر جنبه های سطح پایین پردازش داده ها مانند Hive ، Pig یا Cascading تمرکز دارند.لوئیجی چارچوبی برای جایگزینی این موارد نیست.درعوض ، به شما کمک می کند تا بسیاری از وظایف را در کنار هم قرار دهید ، جایی که هر کار می تواند یک عبارت Hive ، یک کار Hadoop در جاوا ، یک کار Spark در Scala یا یک Python snippet از Python باشد ، یک جدول از یک پایگاه داده یا هر چیز دیگری را بیرون بیاندازد.ساخت خطوط لوله طولانی مدت که شامل هزاران کار است آسان است و چند روز یا هفته طول می کشد.لوئیجی برای مدیریت گردش کار زیادی مراقبت می کند تا بتوانید روی وظایف خود و وابستگی های آنها متمرکز شوید .... می توانید تقریباً هر وظیفه ای را که می خواهید بسازید اما لوئیجی همچنین با جعبه ابزار از چندین الگوی کار مشترک است که شما در آن قرار دارید.استفاده کنید.این برنامه شامل پشتیبانی برای اجرای مشاغل نقشه برداری Python در Hadoop و همچنین Hive و Pig می باشد.همچنین دارای انتزاعات سیستم فایل برای HDFS است ، و فایلهای محلی که کلیه عملکرد سیستم فایل را تضمین می کند اتمی است.این مهم است زیرا این بدان معناست که خط لوله داده شما در حالت حاوی داده های جزئی خراب نمی شود.
سایت اینترنتی:
https://github.com/spotify/luigiدسته بندی ها
گزینه های Luigi برای همه سیستم عامل های دارای مجوز
5
Zenaton
سازنده گردش کار برای توسعه دهندگان.به جای ماهها فرآیندهای محور را در روز بسازید.
1
StackStorm
StackStorm یک سیستم عامل اتوماسیون منبع باز قدرتمند است که همه برنامه ها ، خدمات و گردش های کاری شما را به هم وصل می کند.قابل گسترش ، انعطاف پذیر و با عشق به DevOps و ChatOps ساخته شده است.
- نرم افزار رایگان
- Linux
1
ProActive Workflows & Scheduling
گردش کار و برنامه ریزی ProActive به شما امکان می دهد تا به راحتی تمامی مشاغل شرکت و برنامه های تجاری خود را اجرا کنید ، فعالیت را نظارت کنید و به سرعت به نتایج شغلی دسترسی پیدا کنید.
1
Apache Airflow
جریان هوا سکویی برای نویسنده برنامه نویسی ، برنامه ریزی و نظارت بر خطوط لوله داده است.
- نرم افزار رایگان
- Linux