أطلس الوثائق العربية من Bayanat Labs

Arabic OCR real scanned pages document understanding word geometry source provenance historical print training data

أرقام رئيسية

تُحسب آليًا من الملفات المنشورة. تُستخرج الأعداد آليًا من ملفَي إحصاءات الإصدار وتقرير التغطية المرتبطين بوسم الإصدار الثابت. وتربط قيمة SHA-256 لسجل الملفات البيانات المنشورة. ومجموع الصور هو اتحاد بحسب بصمات البكسلات بعد فك ترميز الصور؛ ولا تُعد النصوص المجتمعية أو سجلات الكلمات أو صفحات جرد المصدر صورًا إضافية.

التنزيل والمعرّفات

ابدأ الاستخدام

اقرأ مجموعة الصفحات المنشورة بالتدفق

from datasets import load_dataset

pages = load_dataset(
    'Bayanat-Labs/arabic-document-atlas',
    'pages',
    split='train',
    revision='v0.3.0',
    streaming=True,
)
page = next(iter(pages))

# Separate text resource; contains no page images.
community_text = load_dataset(
    'Bayanat-Labs/arabic-document-atlas',
    'community_text',
    split='train',
    revision='v0.3.0',
    streaming=True,
)

# Separate source-associated references; no OCR or word boxes.
reference_pairs = load_dataset(
    'Bayanat-Labs/arabic-document-atlas',
    'reference_pairs',
    split='train',
    revision='v0.3.0',
    streaming=True,
)

# Source lineage for excluded exact-pixel repeats; no new images.
duplicate_occurrences = load_dataset(
    'Bayanat-Labs/arabic-document-atlas',
    'duplicate_occurrences',
    split='train',
    revision='v0.3.0',
    streaming=True,
)

ما الذي يتضمنه الإصدار

صيغة النسبة: Bayanat Labs, Arabic Document Atlas. Source institutions and source-page attribution are retained per record. https://www.bayanatlabs.com/open/arabic-document-atlas

الاستخدامات المقصودة

• تدريب أنظمة التعرّف البصري ومعالجة الوثائق باستخدام صور صفحات حقيقية وتوسيمات آلية موضّحة.
• إبقاء إحالات الصفحات ومعرّفات المصادر وإحداثيات الكلمات مرتبطة عند بناء عارض للوثائق أو مقاطع للاسترجاع.
• تدقيق أخطاء التعرّف وتطبيق مرشحات أشد حسب المجال المستهدف.
• استخدام النصوص المجتمعية موردًا نصيًا مستقلًا وفق شروط النسبة والترخيص بالمثل.

خارج النطاق

• اعتبار النصوص المستخرجة آليًا تفريغًا موثّقًا للتقييم.
• الادعاء بأن إصدار التدريب يتضمن اختبارًا معزولًا بحسب الطبعة.
• تعميم ترخيص التوسيمات على جميع صور المصادر أو النصوص المجتمعية.
• افتراض أن صور الكتب التاريخية تمثل الفواتير والنماذج الحديثة أو جميع مجالات الوثائق العربية.

الحقوق باختصار

التدريب والعرض وإعادة التوزيع وإنشاء الأصوات الاصطناعية أذونات منفصلة.

القيود

• يوفّر Apple Vision نصوص OCR آلية وإحداثيات تقريبية للكلمات وترتيب قراءة مفترضًا. وتكرّر درجات الكلمات درجة الثقة غير المُعايرة للسطر الذي تنتمي إليه، ولا تمثّل احتمال صحة الكلمة. ولم يُقَس معدل أخطاء الحروف أو دقة ترتيب القراءة الدلالي أو دقة الإطارات بمراجعة بشرية. وتتطلب إعادة إنتاج التعرّف الأصلي نظام macOS متوافقًا مع Apple Vision؛ ونموذج التعرّف في النظام مملوك وغير مفتوح المصدر.
• العناوين وسنوات الطبعات من فهرس المصدر. وقد يجمع المجلد الواحد أعمالًا مختلفة؛ ومرشّح الفهرس الذي يقبل ما قبل 1931 فرز أولي للحقوق، وليس تحققًا مستقلًا من تاريخ كل صفحة.
• قد تتضمن الكتب مقدمات وأختامًا وحواشي ولغات أخرى؛ ووسم العربية على مستوى الكتاب من بيانات المصدر.
• تحتفظ النصوص المجتمعية بوسوم الجودة في ويكي مصدر؛ ولم تُعِد Bayanat Labs التحقق من كل حرف. وتمثّل النصوص المجتمعية متن الصفحة بعد عرضه آليًا، مع استبعاد أقسام الترويسة والتذييل؛ وقد يكون تاريخ نسخة ملف المسح الضوئي المرتبط أحدث من تاريخ تنقيح النص.
• تصف الأعداد هذا الإصدار الثابت. لجرد صفحات المصدر والصور المنشورة والصفوف التي اجتازت الفحوص الآلية تعريفات منفصلة.
• تحتفظ الأزواج المرجعية بوسوم المراجعة الأصلية ونطاق المتن ونسخة ملف المصدر الثابتة. وقد تكون ملفات PDF رقمية المنشأ؛ ولا يعني ربط المصدر تحققًا مستقلًا من مطابقة الصورة والنص أو تفريغًا خاليًا من الأخطاء.
• يسجّل تقرير التغطية 768 سجلًا لكتب ACO: منها 389 بحالة اكتمال المعالجة، و287 بحالة المعالجة الجزئية، و92 بحالة خطأ. وقد تتضمن السجلات ذات حالة الخطأ صفحات منشورة؛ ويساهم 679 كتابًا بصور، بينما لا تضم 89 سجلًا أي موضع مصدر ناجح. وتختلف محاولات المعالجة الفاشلة عن صفحات المصدر المتميّزة وعن الصفحات التي لم تُحاول معالجتها. ولا يعني تفرد الصور بحسب البكسلات أن الأعمال أو الطبعات متميزة عالميًا.

المصادر والتراخيص

يحتفظ أرشيف الجمع باستجابات المصادر وقيم التحقق ومعرّفات الصفحات الأصلية. وترتبط الصفحات المنشورة بقيمة التحقق لملف PDF وفهرس صفحته الذي يبدأ من الصفر. وتستند روابط صفحات المصدر بصفحات PDF إلى ترتيب الناشر وتساوي عدد الصفحات؛ ولم يُتحقَّق بصورة مستقلة من كل زوج من صفحة المصدر وصفحة PDF. وتحتفظ النصوص المجتمعية المستقلة بسجل مصدرها وحقوقها. وتُحفظ العناوين والتواريخ كما يذكرها الفهرس؛ ولا تُستخدم النصوص المستخرجة آليًا لتغيير بيانات الطبعة ضمنيًا. وتشترط مجموعة الصور المرجعية تراخيص ملفات صريحة وأدلة محفوظة لتصريح صاحب الحقوق عبر فريق VRT؛ وتستبعد ملفات PDF ذات إشعارات الحقوق المتعارضة المعروفة ونسخ الملفات الأحدث من تنقيح نصوصها. تفاصيل المصادر (بالإنجليزية)

طريقة الاستشهاد

صيغة الاستشهاد:

Bayanat Labs (2026). Arabic Document Atlas, v0.3.0. Bayanat Labs. https://www.bayanatlabs.com/open/arabic-document-atlas

• ملف CITATION.cff

لا يوجد معرّف DOI. استشهد بالرابط الوارد في صيغة الاستشهاد أعلاه وبتاريخ اطلاعك عليه.

@misc{bayanatlabs2026arabicdocumentatlas,
  author       = {{Bayanat Labs}},
  title        = {Arabic Document Atlas, v0.3.0},
  year         = {2026},
  month        = oct,
  howpublished = {\url{https://www.bayanatlabs.com/open/arabic-document-atlas}}
}

كيف نتعامل مع الاستشهاد (بالإنجليزية)

سجل التغييرات

التصحيح وطلبات الإزالة

إذا وجدت في هذا الإصدار ما لا ينبغي وجوده أو ما يحتاج إلى تصحيح، فراسلنا على hello@bayanatlabs.com. نعالج طلبات الإزالة خلال 30 يومًا، وطلبات المنصات خلال 24 ساعة. كيف تعمل طلبات الإزالة

المنتج المرتبط: Bayanat Documents