أعلنت إنفيديا في مؤتمر SIGGRAPH 2024 عن مجموعة من الأدوات والخدمات التي تساعد مطوري الروبوتات على تدريب روبوتاتهم بسهولة وسرعة أكبر، مما يختصر زمن التطوير و يُمكّن الانتقال السريع لنشر الروبوتات واختبارها العملي.

وقد ظهر فيفيديو عرضته الشركة أنه يتم التحكم بأحد الروبوتات بواسطة نظارة أبل فيجن برو، فالمستخدم يرى ما يراه الروبوت لكنه لا يشعر بملمس الأشياء التي يلتقطها، ورغم ذلك بدا وكأنه يتحكم بأذرع وأيدي الروبوت ليقوم بالتقاط بعض الأشياء.

من المحتمل أن يُقدر المستخدم مدى الضغط الذي يجب أن يوجهه ليد الروبوت، لكن الخطأ هنا كبير فهو لا يشعر حقاً بالمواد التي يمسكها الروبوت، لذا من المحتمل أن أدوات إنفيديا تساعد في ملئ هذه الفجوة وتقوم بتقدير الضغط الذي يجب تطبيقه على الأشياء حسب نوعها.

ثم تقوم إنفيديا بفضل مجموعة من الأدوات والخدمات بتدريب نماذج ذكاء اصطناعي للروبوت اعتماداً على ماتم تسجيله عبر النظارة، فتاخذ تجارب التدريب هذه وتقوم بالاستفادة منها بإنشاء حالات متعددة اصطناعية بفضل خدمة تسمى MimicGen NIM، ثم تقوم خدمة ثانية تسمى Robocasa بإنشاء مهام لتدريب الروبوت في محاكاة افتراضية، فتتولى مهمة إنشاء المحاكاة والسيناريوهات التي سينفذها الروبوت، ومن خلال تجربة السيناريوهات في المحاكاة يتم تدريبه على إتقان المهام باستخدام التعلم المعزز.

يتم إنشاء المحاكاة بالاعتماد على Isaac Sim التي تراعي قوانين الفيزياء، فاستجابة الروبوت وتفاعله مع البيئة في المحاكاة يماثل إلى حد كبير ما يمكن أن يحدث في العالم الفيزيائي الحقيقي. وبعد انتهاء عملية التدريب في المحاكاة يتم تشغيل أنظمة الروبوت على الروبوت الحقيقي ليتم اختبارها عملياً.

وهكذا تسهل إنفيديا عملية الانتقال من التحكم بالروبوت عبر نظارة أبل فيجن برو للقيام بأداء بعض المهام، إلى بناء نموذج يمكن من خلاله أن يتقن الروبوت تأدية المهمة المطلوبة.

بالطبع هذا ليس حكراً على نظارة فيجن برو، فيمكن استخدام نظارات أخرى إن تم إعدادها، كما يمكن تدريب الروبوت باستخدام بيانات تأتي من مصادر أخرى كالفيديو أو تجارب الروبوت في العالم الحقيقي.