جریان داده های بلادرنگ را در خطوط لوله هوش مصنوعی مدیریت کنید

در سیستم های مبتنی بر هوش مصنوعی امروزی، داده های بلادرنگ به جای اختیاری ضروری است. جریان داده در زمان واقعی تأثیر مهمی بر مدلهای هوش مصنوعی مدرن برای برنامههایی دارد که به راهحلهای سریع نیاز دارند. با این حال، با افزایش پیچیدگی و سرعت جریان داده ها، اطمینان از سازگاری داده ها یک چالش مهندسی مهم است. همانطور که می دانیم، مدل های هوش مصنوعی به شدت به داده های ورودی مورد استفاده برای آموزش آنها وابسته هستند. کیفیت این ورودی ها بسیار مهم است و نباید خراب یا حاوی خطا باشد. دقت، قابلیت اطمینان و عادلانه بودن پیشبینیهای مدل میتواند به طور قابلتوجهی تحت تأثیر قرار گیرد اگر کیفیت دادههای ورودی به خطر بیفتد.
بیانیه فوق خاص است زیرا مدلهای هوش مصنوعی توسعه یافته و متعاقباً آماده شناسایی الگوها، انجام پیشبینی بر اساس دادههای ورودی هستند. اگر این مدلهای توسعهیافته و آزمایششده هوش مصنوعی را با خطوط لوله پردازش جریان داده در زمان واقعی ادغام کنیم، میتوان پیشبینیها را در لحظه به دست آورد. از آنجا که جریان داده در زمان واقعی نقش کلیدی را برای مدلهای هوش مصنوعی ایفا میکند، زیرا به آنها اجازه میدهد به جای استفاده از مجموعه دادههای ثابت قدیمی، دادهها را همانطور که وارد میشوند پردازش کرده و به آنها پاسخ دهند. می توانید مقاله قبلی من را اینجا بخوانید، “هوش مصنوعی در حال پرواز: استریم داده های بلادرنگ از آپاچی کافکا به داشبوردهای زنده.“ اما سوال بزرگ این است که چگونه میتوانیم اطمینان حاصل کنیم که دادههای بلادرنگی که به صورت جریانی از منابع مختلف میآیند، بدون خطا بوده و اصلاً دادههای بدی نیستند. با کشف الگوها و داده های آموزشی، سیستم های هوش مصنوعی تصمیم می گیرند. اگر این داده ها حاوی خطا باشد، جمع آوری نشود یا اشتباه گرفته شود، مدل ممکن است الگوهای اشتباهی را ثبت کند. این می تواند منجر به نتایج مغرضانه، نادرست یا حتی خطرناک شود.
با این حال، با پیچیده تر شدن جریان داده ها و رسیدن به سرعت بیشتر، مدیریت سازگاری داده ها و تکامل طرح واره یک چالش مهندسی بزرگ است. اینجاست که Schema Registry وارد میشود. این مکان مرکزی برای همه تعاریف طرحواره داده است و بنابراین نقشی حیاتی در حفظ یکپارچگی در خطوط لوله بلادرنگ، سازگاری بین برنامههای مختلف پایین دستی (جدا از منابع خام) و رفع نیازهای مقیاسپذیری همان خطوط لوله دارد.
Schema Registry چه کاری انجام می دهد؟
رجیستری طرحواره برای مدیریت داده ها و ثبات در پلتفرم استریم ضروری است، و تضمین می کند که پیام ها قبل از انتشار در یک موضوع آپاچی کافکا، از ساختاری از پیش تعریف شده پیروی می کنند. با استفاده از آن برای اعتبارسنجی هر پیام دریافتی در برابر یک طرح شناخته شده، رجیستری می تواند ما را از ارسال داده های خراب، نامعتبر و متناقض به کافکا که می تواند پردازش پایین دستی را مختل کند، کاربران را خراب کند یا به کیفیت داده ها آسیب برساند، نجات دهد. تاریخچه نسخه تمام طرحواره های جریان داده ثبت شده و تاریخچه تغییرات طرحواره را ذخیره می کند.
قبل از ساخت خط لوله داده مبتنی بر کافکا، باید اطلاعات طرحواره را برای داده های موجود در مبدا ثبت کنیم یا به رجیستری طرحواره اختصاص دهیم. Schema Registry یک لایه ذخیره سازی طرحواره توزیع شده با استفاده از موتور ذخیره سازی کافکا است. به هر طرح ثبت شده یک شناسه منحصر به فرد اختصاص می دهد. به جای اضافه کردن تمام اطلاعات طرحواره، تنها باید شناسه طرحواره با هر رکوردی که توسط تولیدکننده تنظیم می شود، در حین ارسال پیام به موضوع کافکا تنظیم شود.
کجا برای ادغام ثبت طرح
ترجیحاً میتوانیم از آپاچی کافکا بهعنوان یک ابزار جذب داده در سراسر اکوسیستم پردازش جریانی استفاده کنیم و رجیستری طرحواره باید در نقطهای که دادهها تولید میشوند یکپارچه شود. همچنین، بین مصرف کنندگان پایین دستی که به طور مداوم پیام/داده های موضوع کافکا را مصرف می کنند و متعاقباً به موتورهای پردازشی مانند Flink و غیره ارسال می کنند. البته، Flink-1.18.1 می تواند مستقیماً پیام های موضوع کافکا را بدون وابستگی به مصرف کنندگان اضافی مصرف کند. می توانید اینجا بخوانید. قبل از پذیرش جریان از منابع به مبحث کافکا، باید طرحواره را در رجیستری طرحواره، که شامل شناسه طرحواره در بار پیام است، ثبت کنیم. از طریق این شناسه، همه کاربران پایین دستی طرح درست را از رجیستری طرحواره ثبت شده قبلی بازیابی میکنند و متعاقباً دادههای دریافتی را از فهرست و اعتبارسنجی میکنند. به این ترتیب، سازگاری طرحواره تضمین میشود، سازگاری به عقب/پیش فعال میشود، و قالبهای داده میتوانند با گذشت زمان به طور ایمن تکامل یابند و خطر خطاهای زمان اجرا به دلیل دادههای ناسازگار را کاهش دهند.
از کدام ثبت طرحواره استفاده کنید
رجیستری طرحواره یک فرآیند خارجی است که بر روی سروری خارج از کلاستر آپاچی کافکا اجرا می شود و اساسا یک پایگاه داده طرحواره است. انواع مختلفی از ثبتهای طرحواره موجود است که از فرمتهای سریالسازی دادههای مختلف مانند Avro، JSON یا Protobuf پشتیبانی میکنند. برخی از آنها بومی ابر با اشتراک مجوز هستند و برخی دیگر منبع باز هستند.
ثبت طرح تلاقی
Confluent Schema Registry محبوب ترین و پرکاربردترین رجیستری طرحواره است. توسط Confluent برای استفاده با آپاچی کافکا توسعه یافته است. می توان آن را برای اجرا به عنوان یک سرویس مستقل یا با پلتفرم Confluent مستقر کرد. علاوه بر این، یک API REST برای ثبت و بازیابی طرحواره ها ارائه دهید. Avro، JSON Schema و Protobuf فرمت های داده پشتیبانی شده هستند. تحت مجوز انجمن Confluent و همچنین مجوز Confluent Enterprise (اشتراک) با ویژگی های پیشرفته اضافی در دسترس است.
ثبت نام Apicurio
یک رجیستری طرحواره مبتنی بر ابر منبع باز که توسط Red Hat توسعه یافته است. رجیستری Apicurio دارای چندین گزینه ذخیره سازی است که می توانیم بسته به مورد استفاده، آن را برای ذخیره داده ها در سیستم های ذخیره سازی back-end پیکربندی کنیم. گزینه های ذخیره سازی شامل Apache Kafka، PostgreSQL یا Microsoft SQL Server است. از افزودن، حذف و به روز رسانی انواع مصنوعات زیر پشتیبانی می کند:
- OpenAPI
- AsyncAPI
- GraphQL
- آپاچی آورو
- بافرهای پروتکل گوگل
- طرحواره JSON
- طرحواره اتصال کافکا
- WSDL
- طرحواره XML (XSD)
- AWS Glue Schema Registry
این یک رجیستری طرحواره کاملاً مدیریت شده است که توسط AWS ارائه شده است که به شدت با خدمات AWS مانند Kinesis، MSK (جریان مدیریت شده برای کافکا) و لامبدا یکپارچه شده است. دارای ویژگی های ثبت خودکار طرحواره و تکامل است. علاوه بر این، با مشاغل AWS Glue ETL و خدمات پخش ادغام شده است. این رجیستری طرحواره زمانی می تواند مورد استفاده قرار گیرد که شما به طور کامل در AWS در حال اجرا هستید و به دنبال مدیریت طرحواره مدیریت شده بدون سرور هستید.
کاراپاس
رجیستری طرحواره Karapace یک ابزار منبع باز رایگان و دارای مجوز Apache 2.0 است. Karapace یک جایگزین 1 به 1 برای Confluent’s Schema Registry و پروکسی Apache Kafka REST است. از ذخیره طرحوارهها در یک مخزن مرکزی پشتیبانی میکند که مشتریان میتوانند برای سریالسازی و سریالزدایی پیامها به آن دسترسی داشته باشند. طرحواره ها همچنین تاریخچه نسخه خود را حفظ می کنند و می توانند برای سازگاری بین نسخه های مربوطه بررسی شوند. Karapace از فرمت های داده Avro، JSON Schema و Protobuf پشتیبانی می کند.
غذا برای بردن به خانه
در خطوط لوله هوش مصنوعی امروزی، که نیازمند دریافت دادهها با تأخیر کم و استنتاج بلادرنگ هستند، ثبتهای طرحواره یک عنصر کلیدی برای اطمینان از دستیابی به سازگاری و قابلیت همکاری در تعداد زیادی از سیستمهای توزیعشده هستند. با تبدیل دانش تولیدکنندگان و مصرف کنندگان داده از طریق یک قرارداد متمرکز (شما)، ثبت ها اعتبارسنجی دقیق، محدودیت های سازگاری به عقب و جلو و تکامل کنترل شده را امکان پذیر می کنند. این تضمین میکند که تغییرات بالادستی کاربران پاییندستی را که یکی از مهمترین ویژگیهای معماری استریم مبتنی بر فناوریهایی مانند آپاچی کافکا یا فلینک است، از بین نبرد.
علاوه بر این، رجیستریهای طرحواره، نسخهسازی، مدیریت ابرداده و اتصال جعبه ابزار را امکانپذیر میسازند – که قابلیت مشاهده، نظارت و قابلیت اطمینان عملیاتی لایه داده را افزایش میدهد. از آنجایی که سیستمهای هوش مصنوعی برای تصمیمگیری همزمان بیشتر و بیشتر بر دادههای جریانی تکیه میکنند، ثبت طرحواره نه تنها باید بهترین شیوهها در نظر گرفته شود، بلکه باید یک اصل طراحی اساسی برای ساخت زیرساختهای ML مقیاسپذیر، مقاوم در برابر خطا و درجه تولید باشد.
با تشکر از شما برای خواندن! اگر این مقاله را ارزشمند دیدید، لطفاً آن را لایک و به اشتراک بگذارید.

