Intern Compression-Aware Fine-Tuning Of 3D Gaussian Splatting Models H/F - InterDigital

About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence (AI), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today's most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.

InterDigital is a registered trademark of InterDigital, Inc.

À propos d'InterDigital

InterDigital est une entreprise mondiale de recherche et de développement qui se concentre principalement sur les technologies sans fil, vidéo, d'intelligence artificielle ("AI") et les autres technologies connexes. Nous concevons et développons des technologies fondamentales qui permettent des expériences connectées et immersives dans une large gamme de produits et de services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui fournissent de tels produits et services, notamment des fabricants d'appareils de communication sans fil, d'appareils électroniques grand public, d'appareils IoT, de voitures et d'autres véhicules à moteur, ainsi que des fournisseurs de services basés sur le cloud, tels que la diffusion vidéo. En tant que leader de la technologie sans fil, nos ingénieurs ont conçu et développé un large éventail d'innovations utilisées dans les produits et les réseaux sans fil, depuis les premiers systèmes cellulaires numériques jusqu'à la technologie 5G et les technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader dans le domaine du traitement vidéo et de la technologie de codage/décodage vidéo, avec un important effort de recherche en matière d'IA qui recoupe à la fois les technologies sans fil et les technologies vidéo. Fondée en 1972, InterDigital est une société cotée au NASDAQ.

InterDigital est une marque déposée d'InterDigital, Inc.

Pour plus d'informations, n'hésitez pas à consulter le site www.interdigital.com.

Summary

3D Gaussian Splatting (3DGS) is a recent 3D scene representation in which a scene is modeled as a collection of Gaussian primitives characterized by attributes such as position, scale, orientation, opacity, and appearance. It has emerged as a promising representation for high-quality, real-time rendering of immersive visual content.

Compression of 3DGS models typically introduces distortions due to the quantization and coding of geometry and Gaussian attributes. Recent studies suggest that a limited amount of retraining after compression can partially recover rendering quality while preserving the compressed bitstream.

The objective of this internship is to investigate lightweight fine-tuning techniques integrated into the compression workflow. Starting from a compressed 3DGS representation, the intern will explore how a small subset of parameters can be adapted to compensate for compression artifacts while maintaining low computational complexity. Candidate approaches include selective optimization of attributes, as well as cluster-level or hierarchical fine-tuning strategies.

The proposed methods will be evaluated in terms of rate-distortion performance, rendering quality, retraining complexity, and encoding time. The goal is to determine whether compression-aware fine-tuning can provide significant coding gains compared to conventional compression pipelines without requiring costly model retraining.

You will be working in the 3D Native Codec team, in the New Media Codecs Group of the Video Lab.

Responsibilities

In collaboration with the InterDigital research team, the candidate will be expected to:

Analyze existing technologies and identify core challenges related to 3D Gaussian Splat compression.

Contribute to the design and development of software solutions addressing these challenges Perform rigorous testing and validation, including simulation-based evaluations, to ensure functional correctness and performance in line with established protocols.

Implement, test, and validate the proposed components and algorithms.

Communicate technical outcomes effectively, contributing to documentation, internal reports, and potentially to publications or intellectual property filings.

Résumé

Le 3D Gaussian Splatting (3DGS) est une représentation récente de scènes 3D, dans laquelle une scène est modélisée comme un ensemble de primitives gaussiennes caractérisées par des attributs tels que la position, l'échelle, l'orientation, l'opacité et l'apparence. Il s'impose comme une représentation prometteuse pour le rendu en temps réel et de haute qualité de contenus visuels immersifs.

La compression des modèles 3DGS introduit généralement des distorsions dues à la quantification et au codage de la géométrie et des attributs gaussiens. Des études récentes suggèrent qu'un réentraînement limité après compression permet de récupérer en partie la qualité de rendu tout en préservant le flux binaire compressé.

L'objectif de ce stage est d'étudier des techniques légères d'ajustement fin, intégrées au processus de compression. À partir d'une représentation 3DGS compressée, la personne recrutée étudiera comment adapter un petit sous-ensemble de paramètres pour compenser les artefacts de compression, tout en maintenant une faible complexité de calcul. Les approches envisagées comprennent l'optimisation sélective des attributs, ainsi que des stratégies d'ajustement fin hiérarchiques ou au niveau des clusters.

Les méthodes proposées seront évaluées en termes de performances débit-distorsion, de qualité de rendu, de complexité du réentraînement et de temps d'encodage. L'objectif est de déterminer si un ajustement fin tenant compte de la compression peut apporter des gains de codage significatifs par rapport aux chaînes de compression classiques, sans nécessiter un réentraînement coûteux du modèle.

Vous intégrerez l'équipe 3D Native Codec, au sein du groupe New Media Codecs du Video Lab.

Missions

En collaboration avec l'équipe de recherche d'InterDigital, la personne recrutée aura pour missions de :

Analyser les technologies existantes et identifier les principaux défis liés à la compression des splats gaussiens 3D (3D Gaussian Splats).

Contribuer à la conception et au développement de solutions logicielles répondant à ces défis. Mener des tests et des validations rigoureux, y compris des évaluations par simulation, afin de garantir le bon fonctionnement et les performances conformément aux protocoles établis.

Implémenter, tester et valider les composants et algorithmes proposés.

Communiquer efficacement les résultats techniques, en contribuant à la documentation, aux rapports internes et, le cas échéant, à des publications ou à des dépôts de propriété intellectuelle.

Qualifications

Master's student in Computer Engineering, Computer Science, Software Engineering, or a closely related discipline.

Strong proficiency in C/C++ and Python is required. Familiarity with one or more of the following areas is a plus: 3D geometry, compression, computer vision, or computer graphics.

Fluent in English, with excellent written and verbal communication skills. Demonstrates strong collaboration abilities and a team-oriented mindset.

Profil recherché

Étudiant ou étudiante en master d'ingénierie informatique, d'informatique, de génie logiciel ou d'une discipline proche.

Excellente maîtrise du C/C++ et de Python exigée. Une connaissance d'un ou plusieurs des domaines suivants est un atout : géométrie 3D, compression, vision par ordinateur ou informatique graphique.

Anglais courant, avec d'excellentes compétences de communication écrite et orale. Réelles aptitudes à la collaboration et sens du travail en équipe.

undefined

• Python
• Anglais
• Computer vision
• Travail en équipe
• Langage C