علماء من جامعة براون (الولايات المتحدة الأمريكية) متطور طريقة PackUV جديدة تحل مشكلة الحجم الكبير للفيديو الحجمي، مما يجعلها مناسبة للبث العام. يتم تقديم الدراسة في المؤتمرات IEEE/CVF حول رؤية الكمبيوتر والتعرف على الأنماط.

الفيديو الحجمي هو تنسيق جديد بشكل أساسي. يتم التصوير في وقت واحد من خلال عشرات الكاميرات المتزامنة المحيطة بالمسرح. تقوم الخوارزميات بعد ذلك بإعادة إنشاء نموذج ثلاثي الأبعاد كامل للمكان مع الوقت، مما ينتج عنه فيديو رباعي الأبعاد. يستطيع المشاهد التحرك بحرية داخل المشهد، واختيار أي زاوية وزاوية عرض، كما لو كان هو نفسه داخل ما يحدث.

هذه التكنولوجيا مثيرة للاهتمام بشكل خاص للرياضة والسينما والواقع الافتراضي والتعليم. على سبيل المثال، يمكنك مشاهدة مباراة كرة قدم من موقع اللاعب في الملعب أو الوقوف على خشبة المسرح أثناء حفل موسيقي.

حتى الآن، ظل الفيديو الحجمي “ثقيلًا” جدًا بحيث لا يمكن استخدامه على نطاق واسع. يمكن أن يستهلك مقطع فيديو مدته 30 دقيقة تيرابايت من البيانات، وكان تنسيقه غير متوافق مع خدمات وأجهزة الفيديو التقليدية. لذلك، تم عرض هذه التسجيلات بشكل رئيسي في المعارض، في استوديوهات الواقع الافتراضي ومختبرات الأبحاث.

“باستخدام الفيديو الحجمي، يمكنك استكشاف مشهد من أي نقطة مراقبة تريدها تقريبًا. فهو يلتقط ثلاثة أبعاد للمكان والزمان، ويحولها إلى فيديو رباعي الأبعاد. في عملنا، نقوم بشكل أساسي بتحويل هذا المشهد رباعي الأبعاد بالكامل إلى فيديو عادي يمكن دفقه عبر الإنترنت،” يوضح آشيش راي، وهو طالب دراسات عليا في قسم علوم الكمبيوتر بجامعة براون والذي قاد العمل.

اقترح باحثون من مختبر الرؤية والتعلم التفاعلي ثلاثي الأبعاد، بقيادة البروفيسور المشارك سريناث سريدهار، طريقة PackUV. يعتمد على تقنية Gaussian Splatting ثلاثية الأبعاد الحديثة. جوهر هذه الطريقة هو أن المشهد ثلاثي الأبعاد يتم تمثيله بملايين النقاط غير الواضحة – غاوس، كل منها يشفر اللون والشكل والشفافية.

الابتكار الرئيسي هو طريقة ذكية “لعرض” هذا المشهد المعقد رباعي الأبعاد بالكامل على صور ثنائية الأبعاد عادية. والنتيجة هي تمثيل منظم ومتعدد المقاييس يمكن ضغطه بكفاءة بواسطة برامج ترميز الفيديو القياسية التي تستخدمها Netflix وYouTube ومعظم الأنظمة الأساسية الأخرى.

تعمل الطريقة الجديدة بشكل أفضل مع مقاطع الفيديو الطويلة. فهو يقسم التسجيل إلى أجزاء قصيرة، وفي بداية كل منها، يقوم “بإعداد” تتبع الكائن مرة أخرى. يتيح ذلك للنظام التعامل بشكل أفضل مع المواقف التي يختفي فيها الكائن مؤقتًا عن الأنظار أو يظهر في منتصف المشهد.

ومن أجل الاختبار، جمع العلماء واحدة من أكبر مجموعات الفيديو متعدد الزوايا. تشمل الإدخالات الأشخاص الذين يلعبون كرة السلة وكرة المخلل والطبخ والنجارة. تم جعل جميع البيانات مفتوحة للباحثين الآخرين.

يقول سريناث سريدهار: “سيسمح لنا الفيديو المجمع بإنشاء توائم رقمية للعالم الحقيقي”.

يمكن لهذه التكنولوجيا أن تجد تطبيقًا في الرياضة والسينما والتعليم عن بعد والتصنيع والطب. في الوقت الحالي، يعد PackUV إنجازًا علميًا، وليس منتجًا استهلاكيًا نهائيًا. ومع ذلك، فهو يقربنا كثيرًا من النقطة التي ستصبح فيها مشاهدة الفيديو ثلاثي الأبعاد أمرًا شائعًا مثل مشاهدة الفيديو العادي اليوم.