خط لوله جمع آوری

خط لوله جمع آوری چارچوبی برای جمع آوری داده ها است که بر روی مفهوم خطوط لوله پردازش داده ها مدل شده است. اسناد وارد یک خط لوله چند مرحله ای می شوند که اسناد را به نتایج جمع تبدیل می کند.

خط لوله تجمع جایگزینی برای کاهش نقشه را فراهم می کند و ممکن است راه حل ارجح برای کارهای تجمیعی باشد که در آن پیچیدگی MAP-LEDUCE ممکن است غیرقانونی باشد.

خط لوله تجمع محدودیت هایی در انواع ارزش و اندازه نتیجه دارد. برای جزئیات بیشتر در مورد محدودیت ها و محدودیت ها در خط لوله تجمع ، به محدودیت خط لوله جمع آوری مراجعه کنید.

خط لوله

خط لوله تجمع MongoDB از مراحل تشکیل شده است. هر مرحله با عبور از خط لوله ، اسناد را تغییر می دهد. مراحل خط لوله نیازی به تولید یک سند خروجی برای هر سند ورودی ندارد. به عنوان مثال ، برخی از مراحل ممکن است اسناد جدید ایجاد کند یا اسناد را فیلتر کند. مراحل خط لوله می تواند چندین بار در خط لوله ظاهر شود.

MongoDB فراهم می کندdb. collection. aggregate ()روش درگودالپوسته وتجمیعفرماندهی خط لوله جمع آوری. برای مراحل موجود به اپراتورهای مرحله مراجعه کنید.

عبارات خط لوله

برخی از مراحل خط لوله بیان خط لوله را به عنوان عملگر آن می گیرد. عبارات خط لوله تحول را برای اعمال اسناد ورودی مشخص می کند. عبارات ساختار سند دارند و می توانند حاوی بیان دیگری باشند.

عبارات خط لوله فقط می توانند بر روی سند فعلی موجود در خط لوله کار کنند و نمی توانند به داده های سایر اسناد مراجعه کنند: عملیات بیان باعث تحول در حافظه اسناد می شود.

به طور کلی ، عبارات بدون تابعیت هستند و فقط وقتی توسط فرآیند جمع آوری با یک استثنا مشاهده می شوند: بیان کننده های جمع کننده.

باتری های مورد استفاده درگروه $مرحله ، با پیشرفت اسناد از طریق خط لوله ، وضعیت خود (به عنوان مثال کل ، حداکثر ، حداقل و داده های مرتبط) را حفظ کنید.

در نسخه 3. 2 تغییر کرده است: برخی از باتری ها در$صحنه؛با این حال ، هنگامی که در$مرحله ، باتری ها وضعیت خود را در سراسر اسناد حفظ نمی کنند.

برای اطلاعات بیشتر در مورد عبارات ، به عبارات مراجعه کنید.

رفتار خط لوله تجمع

در MongoDB ،تجمیعCommand بر روی یک مجموعه واحد کار می کند ، و منطقی کل مجموعه را به خط لوله جمع آوری منتقل می کند. برای بهینه سازی عملیات ، هر جا ممکن است ، از استراتژی های زیر برای جلوگیری از اسکن کل مجموعه استفاده کنید.

اپراتورهای خط لوله و ایندکس

درمسابقهوت$اپراتورهای خط لوله می توانند در ابتدای خط لوله از یک شاخص استفاده کنند.

جدید در نسخه 2. 4:$ geonearاپراتور خط لوله از یک شاخص جغرافیایی استفاده می کند. هنگام استفاده از$ geonear،$ geonearعملکرد خط لوله باید به عنوان اولین مرحله در یک خط لوله تجمع ظاهر شود.

تغییر در نسخه 3. 2: با شروع از MongoDB 3. 2 ، شاخص ها می توانند یک خط لوله تجمع را پوشش دهند. در MongoDB 2. 6 و 3. 0 ، شاخص ها نمی توانند خط لوله تجمع را پوشش دهند ، زیرا حتی وقتی خط لوله از یک شاخص استفاده می کند ، جمع آوری هنوز هم نیاز به دسترسی به اسناد واقعی دارد.

فیلتر زودرس

اگر عملیات جمع آوری شما فقط به زیر مجموعه ای از داده ها در یک مجموعه نیاز دارد ، از آن استفاده کنیدمسابقه , حد مجازوت$ پرشمراحل محدود کردن اسنادی که در ابتدای خط لوله وارد می شوند. هنگامی که در ابتدای خط لوله قرار می گیرد ،مسابقهعملیات از فهرست های مناسب برای اسکن اسناد مطابق در یک مجموعه استفاده می کند.

قرار دادنمسابقهمرحله خط لوله به دنبال آن$مرحله در شروع خط لوله از نظر منطقی معادل یک پرس و جو واحد با یک نوع است و می تواند از یک فهرست استفاده کند. در صورت امکان ، قرار دهیدمسابقهاپراتورها در ابتدای خط لوله.

ویژگی های اضافی¶

خط لوله جمع آوری یک مرحله بهینه سازی داخلی است که عملکرد بهبود یافته را برای توالی های خاصی از اپراتورها فراهم می کند. برای جزئیات بیشتر ، به بهینه سازی خط لوله جمع آوری مراجعه کنید.

خط لوله جمع آوری از عملیات در مجموعه های Sharded پشتیبانی می کند. به مجموعه های جمع آوری و مجموعه های Sharded مراجعه کنید.

• بهینه سازی خط لوله تجمع
• محدودیت خط لوله تجمع
• خط لوله جمع آوری و مجموعه های Sharded
• مثال با داده های کد پستی
• مثال با داده های اولویت کاربر

منابع اضافی¶

• تجزیه و تحلیل MongoDB: جمع آوری یادگیری به عنوان مثال: تجزیه و تحلیل اکتشافی و تجسم با استفاده از داده های پرواز
• MongoDB برای داده های سری زمانی: تجزیه و تحلیل داده های سری زمانی با استفاده از چارچوب جمع آوری و Hadoop
• چارچوب تجمع
• وبینار: کاوش در چارچوب جمع آوری
• کارتهای مرجع سریع