مستودع البيانات، جودة البيانات وتنظيفها

أ.د. مرتضى محمد حمد / اختصاص علوم حاسبات

رئيس لجنة التربية والتعليم العالي والبحث العلمي

المنتدى العراقي للنخب والكفاءات

 يمكن أن يؤدي وجود بيانات غير صحيحة أو غير متسقة إلى تشويه نتائج التحليلات بشكل كبير، مما يؤدي غالبًا إلى إبطال الفوائد المحتملة للنهج القائم على المعلومات.

يتعامل تنظيف البيانات، المعروف أيضًا باسم تنقية البيانات أو تنقيتها، مع اكتشاف وإزالة الأخطاء والتناقضات من البيانات من أجل تحسين جودة البيانات.

أحد الأسئلة الفنية المركزية المرتبطة بتنظيف البيانات هو كيفية وصف تناسق البيانات؟ على سبيل المثال ، كيف تتحقق مما إذا كانت البيانات نظيفة أم متسخة؟ تعتمد معظم أدوات تنظيف البيانات اليوم ، بما في ذلك تلك المضمنة في أدوات Extraction-Transformation Loading(ETL) التجارية (الاستخراج والتحويل والتحميل) ، بشكل كبير على الجهد اليدوي والبرامج منخفضة المستوى التي يصعب كتابتها وصيانتها .

بالطبع ، بالنسبة لأي مجموعة بيانات في العالم الحقيقي، فإن القيام بهذه المهمة “يدويًا” أمر غير وارد تمامًا نظرًا لعدد الساعات التي يستغرقها الشخص. تنفق بعض المؤسسات ملايين الدولارات سنويًا لاكتشاف أخطاء البيانات. تعتبر العملية اليدوية لتنقية البيانات عملية شاقة وتستغرق وقتًا طويلاً وعرضة بحد ذاتها للأخطاء. تعد الحاجة إلى أدوات مفيدة وقوية تعمل تلقائيًا أو تساعد بشكل كبير في عملية تنقية البيانات أمرًا ضروريًا وقد تكون الطريقة العملية والفعالة من حيث التكلفة لتحقيق مستوى جودة معقول في مجموعة بيانات موجودة .

 لتنظيف البيانات، تكرارًا كبيرًا لمراجعة البيانات للعثور على الأخطاء والتحويلات طويلة الأمد لإصلاحها، يحتاج المستخدمون إلى تحمل فترات الانتظار الطويلة ، وغالبًا ما يكتبون نصوص تحويل معقدة. فيجب دمج جميع الأساليب الحالية لأداء أعمال تنظيف البيانات بترتيب تسلسلي.

سيكون تطوير نظام دعم القرار هو محور مهم لتحسين جودة البيانات. فيمكننا تحقيق جودة عالية للبيانات من خلال تطوير عملية تنظيف البيانات.