vioBERT: أول نموذج لغوي طبي عربي

النص الطبي العربي ظل نقطة عمياء في معالجة اللغة الطبيعية. النماذج العربية العامة مدرَّبة على الأخبار ووسائل التواصل، والنماذج الطبية الإنجليزية مثل BioBERT لا ترى العربية إطلاقًا. والنتيجة: تنهار الدقة فور توجيه النموذج إلى تقرير أشعة أو ملخص خروج أو شكوى مريض مكتوبة بالعربية.

vioBERT هو ردّنا — أول نموذج BERT طبي عربي، منشور بشكل مفتوح على Hugging Face.

النموذج: Vionex-digital/vioBERT-v3 · رخصة Apache-2.0

ما هو

vioBERT نموذج ترميز عربي مُكيَّف على المجال الطبي. أخذنا نماذج عربية أساسية قوية وأجرينا تدريبًا تكيُّفيًا على المجال (DAPT) على 1.12 مليون وثيقة طبية — ملاحظات سريرية، مراجع أدوية، ومحتوى طبي عربي.

• vioBERT-v2 — أساس AraBERT v02 مع إخفاء الكلمة الكاملة (WWM) ليتعلم المصطلح الطبي كاملًا لا أجزاءه.
• vioBERT-v3 — النسخة الرئيسية المبنية على MARBERT، وهي المنشورة على Hugging Face.

النتائج المهمة

المقياس	الأساس	vioBERT	الفرق
دقة Fill-mask (أعلى 5)	0.86	0.98	+12 نقطة
حيرة المجال (Shifaa)	10.54	8.36	−21%

نلتزم بمعيار أدلة صارم: المكاسب الجوهرية كبيرة وتتكرر عبر البذور، ولا نعلن أي نتيجة تطبيقية إلا إذا صمدت أمام فترات الثقة.

الاستخدام

from transformers import pipeline
fill = pipeline("fill-mask", model="Vionex-digital/vioBERT-v3")
fill("المريض يعاني من ارتفاع [MASK] الدم.")

الأوزان وبطاقة النموذج كاملة: https://huggingface.co/Vionex-digital/vioBERT-v3

إلى أين

vioBERT هو أساس الترميز في منظومتنا الطبية العربية، والطبقة التالية هي Hakeem-7B — نموذج استدلال طبي عربي أصيل. المبدأ ثابت: العربية من الرمز الأول، قياس أمين، ونشر مفتوح.

النظرية وراءه

vioBERT هو AraBERT v02 مع تدريب مُكيَّف على المجال (DAPT) إضافةً إلى إخفاء الكلمة الكاملة، تحت ثابتٍ واحد سنُحدِّده بدقّة. وإليك لماذا ينجح — ولماذا فشلت النسخة الأولى.

الإطار. النموذج المُقنَّع يُعرّف $q_\theta(x_i \mid c)$: احتمال الرمز المُقنَّع بمعلومية سياقه $c$. التدريب العام يُقارب توزيعًا عامًا $P_G$، والعربية الإكلينيكية توزيع مختلف $P_D$. الإنتروبيا المتقاطعة لكل رمز على المجال الطبي تتفكّك تمامًا إلى

$$H(P_D, q_\theta) = H(P_D) + \mathrm{KL}\!\left(P_D(\cdot \mid c)\,\|\,q_\theta(\cdot \mid c)\right),$$

والحَيْرة (pseudo-perplexity) هي $\mathrm{PPL}_D(\theta) = \exp H(P_D, q_\theta)$. أوزان الأساس $\theta_G$ صغّرت الإنتروبيا تحت $P_G$، فيكون الفرق $\mathrm{KL}$ كبيرًا كلّما اختلف $P_G$ عن $P_D$.

لماذا يفيد DAPT. متابعة التدريب المُقنَّع على نصّ طبي تُصغّر $H(P_D, q_\theta)$ تجريبيًا، فتدفع $q_\theta \to P_D$ وتُقلّص حدّ $\mathrm{KL}$. وبما أنّ $H(P_D)$ ثابت بالنسبة لـ $\theta$ ودالة $\exp$ رتيبة،

$$\mathrm{PPL}_D(\theta_D) \le \mathrm{PPL}_D(\theta_G) \iff \mathrm{KL}(P_D \,\|\, q_{\theta_D}) \le \mathrm{KL}(P_D \,\|\, q_{\theta_G}).$$

تجريبيًا: حَيْرة Shifaa من $10.54$ إلى $8.36$ (انخفاض $21\%$)، وملء القناع Top-5 من $0.86$ إلى $0.98$.

المكاسب الجوهرية: ملء القناع Top-5 من 0.86 إلى 0.98، وحَيْرة Shifaa من 10.54 إلى 8.36 (−21%).

لماذا إخفاء الكلمة الكاملة. العربية اشتقاقية — الكلمة الواحدة عدّة رموز فرعية. أخفِ رمزًا فرعيًا واحدًا ويبقى رمزٌ شقيق من نفس الكلمة ظاهرًا، فيُصغّر النموذج الخسارة عبر اختصار إملائي بدل تعلّم المعنى. إخفاء الكلمة الكاملة يُخفي كل رموزها الفرعية، فيُجبر التنبّؤ على سياق إكلينيكي حقيقي ويشدّ حدّ $\mathrm{KL}$ أعلاه.

الثابت الذي يحسم كل شيء. ليكن $\pi$ معالجة النصّ و$\pi_T$ المعالجة التي يتوقّعها مُجزّئ الأساس. عرّف فجوة توزيع الرموز بين التدريب والاستدلال $\Delta = \mathrm{TV}(T \circ \pi_{\text{train}},\, T \circ \pi_{\text{infer}})$. إذا كان $\pi_{\text{train}} \neq \pi_T$ — مثل تطبيع الهمزة على النصّ بينما AraBERT v02 يتوقّع الهمزة الخام — فإنّ $\Delta > 0$، وتكتسب إنتروبيا الاستدلال أرضيةً غير قابلة للإزالة:

$$H_{\text{infer}}(P_D, q_\theta) \ge H(P_D) + \mathrm{KL}(P_D \,\|\, q_\theta) + c\,\Delta, \qquad c > 0.$$

لا يُزيل أيُّ قدر من DAPT الحدَّ $c\,\Delta$ — لأنّ المُحسِّن ينحدر على متعدّد الرموز الخطأ. لهذا تحديدًا كانت النسخة الأولى من DAPT معطوبة (النصّ مُطبَّع الهمزة، ومُجزّئ v02 يتوقّع الخام)، ولهذا استعادت النسخة الثانية — بلا تطبيع همزة — كامل المكسب. محاذاة المعالجة ليست تفصيلًا؛ هي تُحدّد $\Delta$، و$\Delta$ يَسقُف كل رقم لاحق. افرض $\pi = \pi_T$ ليكون $\Delta = 0$؛ عندها فقط يصحّ برهان الحَيْرة أعلاه.

تخطيطي: مع π = π_T (Δ = 0) يصل DAPT إلى exp H(P_D)؛ أمّا π غير المحاذية فتستقر عند الأرضية c·Δ مهما طال التدريب.