StormCrawler یک SDK منبع باز برای ساختن وب سایتهای توزیع شده با Apache Storm است.این پروژه تحت لیسانس آپاچی v2 است و از مجموعه ای از منابع و مؤلفه های قابل استفاده مجدد تشکیل شده است که بیشتر در جاوا نوشته شده است.هدف از StormCrawler کمک به ایجاد خزنده های وب است که عبارتند از: تأخیر پذیری کم مقیاس پذیر مقرون به صرفه و آسان برای گسترش مودب اما در عین حال کارآمد StormCrawler یک کتابخانه و مجموعه ای از منابعی است که توسعه دهندگان می توانند از آنها برای ساخت خزنده های خود استفاده کنند.خبر خوب این است که انجام چنین کاری می تواند بسیار سرراست باشد.اغلب ، همه شما باید انجام دهید این است که طوفان خزنده را به عنوان یک وابستگی Maven اعلام کنید ، کلاس توپولوژی خود را بنویسید (نکته: می توانید ConfigurableTopology را گسترش دهید) ، از مؤلفه های ارائه شده توسط این پروژه استفاده مجدد کنید و شاید چند مورد دلخواه بنویسیدبرای سس مخفی خود راکمی به تنظیمات پیکربندی می کنید و می خواهید! ... جدا از مؤلفه های اصلی ، ما منابع خارجی را نیز در اختیار شما قرار می دهیم که می توانید در پروژه خود از آنها استفاده مجدد کنید ، به عنوان مثال اسپوت و پیچ های ما برای ElasticSearch یا یک ParserBolt که از Apache Tika استفاده می کندبرای تجزیه فرمت های مختلف سند.StormCrawler کاملاً مناسب است تا از مواردی استفاده کند که نشانی اینترنتی برای واکشی و تجزیه به عنوان جریان درآید ، اما همچنین راه حل مناسبی برای خزیدنهای بازگشتی در مقیاس بزرگ است ، به خصوص در مواردی که تأخیر کم است.این پروژه در تولید توسط چندین شرکت استفاده می شود و بطور فعال توسعه و نگهداری می شود.