أعلنت شركة DeepSeek الصينية عن نموذج ذكاء اصطناعي تجريبي يحمل اسم DeepSeek-V3.1-Exp، تستبدل فيه تقنية الانتباه المستخدمة في كافة نماذج الذكاء الاصطناعي بطريقة جديدة.

عندما تحلل نماذج اللغة الكبيرة النص لفهم معناه بشكل كامل، تنتبه إلى السياق، وهذا يعني أنها تقوم بحساب درجة الارتباط بين كل كلمة (توكن) وكل الكلمات الأخرى في النص، وهو أمر مكلف حسابياً، خاصة في النصوص الطويلة. وتُعرف هذه التقنية باسم "الانتباه الكامل".

تقترح ديب-سيك في هذا الإصدار التجريبي استخدام تقنية أطلقت عليها اسم DeepSeek Sparse Attention (DSA)، وفي هذه الحالة، لا يتم الانتباه إلى كل كلمة في السياق، بل تُحسب درجة الارتباط بين كل كلمة وجزء مختار من الكلمات، على افتراض أنها الأكثر تأثيراً في فهم السياق، بينما تُعتبر باقي الكلمات غير مؤثرة ولا تضيف جديداً لفهم الكلمة الحالية. وبهذا، ينخفض عدد الحسابات بشكل كبير جداً.

هذه الفكرة موجودة وحولها الكثير من الأبحاث، لكنها المرة الأولى التي تُستخدم فيها على نطاق واسع وتحقق نتائج أفضل من حيث الأداء في السياقات الطويلة، كما أنها أسرع بعدة أضعاف في توليد الإجابات، وأسرع بكثير في التدريب.

وقالت الشركة إنها تعتمد على شرائح من شركات تصنيع صينية، وجعلت هذه الشرائح أكثر كفاءة في تدريب مثل هذا النموذج. ولا تكتفي الشركة بذلك، بل تعتبر أن هذه التقنية تمثل "مرحلة وسيطة" ضمن مسار تطوير معمارية نماذجها، وستعلن قريباً عن معمارية جديدة التي يبدو أنها ستتضمن تطوراً أكثر قوة.