چرا OpenSearch 3.0 منبع باز بیش از یک ارتقا است

OpenSearch 3.0 فراتر از یک نسخه دیگر است. پروژه منبع باز، که به عنوان فورک Elasticsearch آغاز شد، اکنون به یک پلت فرم جستجو و تجزیه و تحلیل کاملا متمایز و مبتنی بر جامعه تبدیل شده است. OpenSearch 3.0 با جهش در عملکرد، معماری ماژولار و پذیرش عمیق‌تر بارهای کاری هوش مصنوعی، تغییر عمده‌ای را به سمت یک موتور منبع باز مقیاس‌پذیرتر، انعطاف‌پذیرتر و آماده‌تر برای آینده نشان می‌دهد.

برای بازگشایی چیزهای جدید و آینده، با آنیل اینامدار، رئیس جهانی خدمات داده در NetApp Instaclustr صحبت کردم. Anil چندین دهه تجربه دارد که به شرکت‌ها کمک می‌کند تا فناوری‌های داده منبع باز را در مقیاس مقیاس پذیرفته و مدیریت کنند. در این سخنرانی، او توضیح می دهد که چرا 3.0 فقط برای توسعه دهندگان مهم نیست در حال حاضر از OpenSearch، اما برای هر تیم مهندسی که درباره نحوه جستجو، نظارت و تجزیه و تحلیل داده ها در دنیای توزیع شده تجدید نظر می کند.

آنچه OpenSearch 3.0 را به نقطه عطفی برای توسعه پروژه تبدیل می کند?

3.0 تغییری است در آنچه که پروژه تبدیل شده است و به کجا می رود. این نسخه بیش از مجموعه ای از پیشرفت های افزایشی است. این نتیجه سال ها تلاش برای ساخت موتور جستجوی متن باز ماژولارتر، مقیاس پذیرتر و کارآمدتر است. این تکامل پروژه را از یک فورک Elasticsearch به یک پلتفرم کاملاً متمایز، با راه‌حل‌های معماری و نقشه راه خود، برجسته می‌کند. تیم های مهندسی باید این را به عنوان یک سیگنال واضح در نظر بگیرند که OpenSearch مسیر خود را تعیین می کند.

جامعه چه نقشی در شکل‌دهی مسیر OpenSearch ایفا می‌کند و 3.0 چگونه این ورودی را منعکس می‌کند?

OpenSearch یکی از فعال ترین و شفاف ترین جوامع منبع باز را در فضای جستجو دارد. بسیاری از آنچه در نسخه 3.0 وجود دارد (از به روز رسانی داشبورد گرفته تا بازسازی معماری) از بازخورد کاربران و همکاری باز است. جامعه فقط روابط عمومی را ارسال نمی کند. آنها همچنین موارد لبه را آزمایش می کنند، قابلیت های جدید را پیشنهاد می کنند و به شکل گیری نقشه راه در زمان واقعی کمک می کنند. این سطح از تعهد چیزی است که باعث می شود پروژه احساس پایداری و پاسخگویی داشته باشد.

انتظار توسعه دهندگان از انتقال به Lucene 10، به خصوص از نظر تاخیر و عملکرد نمایه سازی چیست?

Lucene 10 گام مهمی را در عملکرد، به ویژه از طریق ویژگی هایی مانند نمایه سازی پراکنده، باز می کند. به جای اسکن هر بلوک داده، موتور می تواند به طور هوشمند از بخش های نامناسب بر اساس مقادیر حداقل و حداکثر عبور کند. این کار ورودی/خروجی را کاهش می دهد، استفاده از CPU را کاهش می دهد و پرس و جوها را سرعت می بخشد. همچنین به دلیل مدیریت هوشمندتر حافظه و موازی سازی بهبود یافته، نمایه سازی کارآمدتر می شود. وقتی می گویم تیم هایی که با حجم زیادی از داده ها کار می کنند، به من اعتماد کنید تقریباً بلافاصله متوجه تفاوت خواهند شد.

بهبودهای تأخیر در OpenSearch 3.0 از کجا می آیند و چه نوع بارهای کاری بیشترین تأثیر را دارند?

جهش در عملکرد پرس و جو (تا 60٪ تاخیر کمتر در برخی معیارها) از ترکیبی از پیشرفت های Lucene 10 و بهینه سازی معماری عمیق تر ناشی می شود. داشبوردهایی با فیلترهای زیاد، حجم کاری سری های زمانی و کانال های مانیتورینگ بیشترین سود را دارند، به خصوص زمانی که تحت بار کار می کنند. برای کسانی که حجم بالایی از درخواست‌ها را پردازش می‌کنند یا به نتایج با تأخیر کم برای نظارت در زمان واقعی یا تجزیه و تحلیل گزارش نیاز دارند، افزایش عملکرد به سرعت افزایش می‌یابد.

چگونه پیشرفت‌ها در پردازش موازی از موارد استفاده از هوش مصنوعی جدیدتر مانند KNN یا جستجوی برداری پشتیبانی می‌کنند?

موازی سازی برای جستجوی مبتنی بر هوش مصنوعی بسیار مهم است، و این به ویژه برای بارهای کاری که شامل داده های برداری با ابعاد بالا است، صادق است. OpenSearch 3.0 threading و پردازش داده های داخلی را بهبود می بخشد، که به کاهش تأخیر صف در طول عملیات محاسباتی سنگین مانند KNN کمک می کند. این امر ساخت برنامه های جستجوی برداری یا ادغام با سیستم های بازیابی مبتنی بر LLM را که در آن سرعت و مقیاس بسیار مهم است، عملی تر می کند. بهبودهایی که در اینجا انجام شده است، OpenSearch را به پایه ای توانمندتر برای موارد استفاده مدرن از هوش مصنوعی تبدیل می کند.

موارد استفاده نوظهور که در آن OpenSearch 3.0 به ویژه مناسب است چیست؟?

OpenSearch 3.0 به ویژه در موارد استفاده از مشاهده پذیری، تجزیه و تحلیل گزارش و تله متری امنیتی قوی است. بهبود عملکرد و ذخیره سازی آن را برای تیم هایی که حجم زیادی از داده های سری زمانی را دریافت می کنند یا گزارش های پیچیده بین سیستم ها را به هم مرتبط می کنند، ایده آل می کند. همچنین در حال تبدیل شدن به یک رقیب جدی برای جستجوی مبتنی بر هوش مصنوعی است، به خصوص با بهبود پردازش برداری و نمایه سازی با تاخیر کمتر. بنابراین اگر در حال ساخت پلتفرم‌های توسعه‌دهنده داخلی (IDP)، سیستم‌های هشدار بی‌درنگ، یا به‌دنبال محتوای ساختاریافته و بدون ساختار هستید، 3.0 احتمالا یک راه‌حل عالی است.

چه نوع تغییرات قابلیت استفاده در داشبوردها اولویت بندی می شوند و چگونه بر گردش کار توسعه دهندگان تأثیر می گذارند?

تجربه داشبورد یک طراحی مجدد متفکرانه دریافت کرده است. فضاهای کاری به کاربران یا تیم‌های مختلف اجازه می‌دهند تا داشبوردها را بدون تنظیمات متضاد سفارشی کرده و به اشتراک بگذارند، که برای سازمان‌های بزرگ‌تر با نقش‌های متفاوت عالی است. ابزار بازطراحی شده Discover کاوش داده ها را سریعتر می کند و احساس پاسخگویی بیشتری می دهد. برای توسعه‌دهندگان و تحلیلگران، این به معنای اصطکاک کمتر و تکرار سریع‌تر است، چه در حال ساخت داشبورد مشتری یا اشکال‌زدایی رفتار زیرساختی در داخل باشید.

معنای معماری مدولار جدید در عمل برای مشارکت کنندگان شرکت هایی که OpenSearch را سفارشی می کنند چیست?

ماژولار بودن تفاوت بزرگی ایجاد می کند زیرا شکستن پایگاه کد به مؤلفه های واضح تر مانع توسعه دهندگانی می شود که می خواهند در OpenSearch مشارکت یا ایجاد کنند. همچنین به تیم ها اجازه می دهد تا بخش هایی از سیستم را برای اشکال زدایی، تنظیم عملکرد یا سفارشی سازی جدا کنند. از دیدگاه DevOps، این به معنای ساخت‌های تمیزتر و رابط‌های با تعریف بهتر است. در دراز مدت، این امر باید با تسهیل و پایدارتر کردن مشارکت، نوآوری اکوسیستم را تسریع بخشد.

چگونه تیم ها باید در مورد ارتقا از نسخه های قدیمی تر مانند 1.x یا 2.x اولیه فکر کنند?

هر نسخه از OpenSearch دستاوردهای عملکرد قابل اندازه گیری را به ارمغان آورده است، اما 3.0 نوار را بالا می برد. در مقایسه با 1.x، بسته به حجم کار، شاهد بهبودهایی از 5 برابر تا 8 برابر هستیم. حتی حرکت از وسط 2.x به 3.0 دستاوردهای ملموسی را به همراه دارد. برای کسانی که در محیط های تولیدی هستند که سرعت، هزینه و مقیاس مهم است، ارتقا یک حرکت استراتژیک است. همچنین، با ابزارهای بالغ و گزینه های سرویس مدیریت شده OpenSearch در دسترس، فرآیند مهاجرت اغلب ساده تر از حد انتظار است.

هزینه واقعی انتظار برای مهاجرت از Elasticsearch چقدر است?

اساسا، هر چه تیم ها بیشتر منتظر بمانند، انتقال دشوارتر می شود. OpenSearch نه تنها در کد، بلکه در معماری و ویژگی‌ها نیز به‌سرعت متفاوت است. شکاف‌های سازگاری همچنان رو به افزایش است و مهاجرت‌های آینده را پیچیده‌تر می‌کند. مهمتر از آن، تأخیر به معنای از دست دادن عملکرد واقعی، قابلیت استفاده و مزایای هزینه امروز است. با نسخه 3.0، انگیزه های حرکت قوی تر از همیشه است، به ویژه برای تیم هایی که ابزارهای باز، قابلیت مشاهده یا ادغام هوش مصنوعی را در اولویت قرار می دهند.

برای چه چیزی در سری 3.x بیشتر از همه هیجان زده هستید?

ماژولاریت ارائه شده در 3.0 نوآوری حتی سریعتر را ارائه می دهد. آنچه در راه است (چیزهایی مانند مقیاس خودکار، مدیریت شاخص هوشمندتر، و ادغام عمیق تر هوش مصنوعی) بر این پایه خواهد بود. فشار واضحی برای تطبیق و هوشمندسازی OpenSearch بدون کنار گذاشتن کنترل یا شفافیت وجود دارد. من فکر می کنم چند نسخه بعدی مردم را با سرعت حرکت همه چیز شگفت زده می کند.