حوّل ملفات Parquet و Delta إلى واجهات برمجة تطبيقات HTTP سريعة وقابلة للاستعلام
اختبر خادمًا مدفوعًا بالتكوين يكشف عن ملفات Parquet و Delta و Iceberg كواجهات برمجة تطبيقات HTTP ذات نوع محدد مع مخرجات Arrow أو JSON. يستهدف DataPress، من مطور DataPress، مهندسي البيانات ومطوري التطبيقات الذين يحتاجون إلى وصول منخفض الكمون إلى مجموعات البيانات العمودية. يقدم محركات تنفيذ مزدوجة (DuckDB و DataFusion)، وإعادة تحميل ساخنة لمجموعات البيانات في الذاكرة، ومقاييس مدمجة، مما يجعله مناسبًا للنشر في الحاويات والتحكم البرمجي من Python أو CLI.
ماذا تنشر DataPress فعليًا وكيف؟
تنشر DataPress بيانات عمودية كنقاط نهاية HTTP. تقوم بتحويل مجموعات بيانات Parquet وDelta وIceberg إلى واجهات برمجة تطبيقات من نوع محدد تعيد JSON أو Arrow IPC. يستنتج الخادم المخطط عند بدء التشغيل حتى لا تحتاج إلى تعيين الأعمدة يدويًا، ويعرض نقطة نهاية SQL الخام الاختيارية التي تتحقق من صحة وتنفيذ عمليات الانضمام، ووظائف النوافذ، والاختيارات الفرعية ضد الملفات الأساسية.
كيف يؤثر ذلك على أداء النظام أثناء الاستعلامات؟
يركز الأداء على الذاكرة العمودية ومسارات النسخ الصفري. تم بناؤه بلغة Rust، يستخدم الأداة Arrow IPC لتجنب عبء تسلسل JSON للنقل الكبير ويعتمد على التنسيقات العمودية لتقليل ضغط الذاكرة. يمكنك التبديل بين DuckDB وDataFusion لمقارنة الكمون تحت عقود API المتطابقة، وتقوم إعادة تحميل التحديثات الساخنة بتحديث مجموعات البيانات في الذاكرة دون إعادة تشغيل الخادم.
هل من الآمن نشره في بيئة الإنتاج؟
تشمل ميزات الإنتاج الرؤية والتحكم في الوصول. يكشف الخادم عن مقاييس ونقاط نهاية فحص الصحة للمراقبة ويدعم OAuth2 وOIDC للوصول إلى مجموعات البيانات. كما يوفر اختبارات حيوية وجاهزية Kubernetes ودعم تخزين كائنات S3 الأصلي، والتي تتناسب مع أنماط نشر الحاويات ومتاجر الكائنات السحابية الشائعة.
هل أحتاج إلى مهارات عميقة في Rust أو SQL لتشغيله؟
تميل التعقيدات التشغيلية نحو التكوين والألفة مع SQL. تدير الخدمة من خلال واجهة سطر الأوامر المستقلة أو حزمة Python للتحكم البرمجي، ويستخدم الخادم ملف تكوين واحد لنشر مجموعات البيانات. سيحتاج المستخدمون العاديون إلى تعلم مخطط التكوين؛ بينما تحصل فرق التحليلات والمهندسون على تحكم مباشر من خلال نقطة نهاية SQL الخام الاختيارية واختيار محرك الخلفية.
ملائم جيد للمهندسين الذين يحتاجون إلى واجهات برمجة تطبيقات بيانات سريعة ومنخفضة التكلفة
تتناسب DataPress مع مهندسي البيانات والمطورين الذين ينشرون مجموعات بيانات عمودية إلى HTTP بسرعة ويحتاجون إلى مراقبة الإنتاج والمصادقة. توقع أن تستثمر الوقت في التكوين ومقارنة الخلفية عند ضبط الأحمال المحددة. المقايضة هي أن السيطرة التشغيلية تعتمد على التكوين ومهارات SQL بدلاً من واجهة إدارة رسومية، لذا فهي الأفضل للفرق المريحة مع الكود والبنية التحتية.
