| Title: |
MObyGaze: a film dataset of multimodal objectification densely annotated by experts |
| Authors: |
Tores, Julie; Ancarani, Elisa; Sassatelli, Lucile; Wu, Hui-Yin; Bergman, Clement; Andolfi, Lea; Ecrement, Victor; Sun, Remy; Precioso, Frederic; Devars, Thierry; Guaresi, Magali; Julliard, Virginie; Lecossais, Sarah |
| Contributors: |
Université Côte d'Azur (UniCA); Laboratoire d'Informatique, Signaux, et Systèmes de Sophia Antipolis (I3S); Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA); Modèles et algorithmes pour l’intelligence artificielle (MAASAI); Centre Inria d'Université Côte d'Azur; Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Laboratoire Jean Alexandre Dieudonné (LJAD); Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA)-Scalable and Pervasive softwARe and Knowledge Systems (Laboratoire I3S - SPARKS); Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA)-Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA)-Laboratoire d'Informatique, Signaux, et Systèmes de Sophia Antipolis (I3S); Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA)-Centre National de la Recherche Scientifique (CNRS); Institut universitaire de France (IUF); Ministère de l'Education nationale, de l’Enseignement supérieur et de la Recherche (M.E.N.E.S.R.); Laboratoire d'Informatique, Signaux, et Systèmes de Sophia-Antipolis (I3S) / Equipe SIGNET; COMmunications, Réseaux, systèmes Embarqués et Distribués (Laboratoire I3S - COMRED); Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA)-Université Nice Sophia Antipolis (1965 - 2019) (UNS)-Centre National de la Recherche Scientifique (CNRS)-Université Côte d'Azur (UniCA); Biologically plausible Integrative mOdels of the Visual system : towards synergIstic Solutions for visually-Impaired people and artificial visiON (BIOVISION); Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria); Groupe de recherches interdisciplinaires sur les processus d’information et de communication (GRIPIC); Sorbonne Université (SU); Sorbonne Université - Faculté des Lettres - École des hautes études en sciences de l'information et de la communication (CELSA) (SU CELSA); Bases, Corpus, Langage (UMR 7320 - UCA / CNRS) (BCL); Laboratoire des Sciences de l'Information et de la Communication (LabSIC); LABEX ICCA; Université Paris 13 (UP13)-Université Sorbonne Nouvelle - Paris 3-Centre National de la Recherche Scientifique (CNRS)-Université Paris Cité (UPCité)-Université Sorbonne Paris Nord-Université Paris 13 (UP13)-Université Sorbonne Nouvelle - Paris 3-Centre National de la Recherche Scientifique (CNRS)-Université Paris Cité (UPCité)-Université Sorbonne Paris Nord-Université Sorbonne Paris Nord; ANR-21-CE38-0012,TRACTIVE,Vers une analyse multimodale automatique de l'esthétique discursive filmique(2021); European Project: 951911,H2020-ICT-2018-20,H2020-ICT-2019-3,AI4Media(2020) |
| Source: |
https://hal.science/hal-05462496 ; 2026. |
| Publisher Information: |
CCSD |
| Publication Year: |
2026 |
| Collection: |
Université Paris 13: HAL |
| Subject Terms: |
Objectification; Multimedia; Dataset; Deep Learning; [INFO]Computer Science [cs]; [SHS]Humanities and Social Sciences |
| Description: |
Characterizing and quantifying gender representation disparities in audiovisual storytelling contents is necessary to grasp how stereotypes may perpetuate on screen. In this article, we consider the high-level construct of objectification and introduce a new AI task to the ML community: characterize and quantify complex multimodal (visual, speech, audio) temporal patterns producing objectification in films. Building on film studies and psychology, we define the construct of objectification in a structured thesaurus involving 5 sub-constructs manifesting through 11 concepts spanning 3 modalities. We introduce the Multimodal Objectifying Gaze (MObyGaze) dataset, made of 20 movies annotated densely by experts for objectification levels and concepts over freely delimited segments: it amounts to 6072 segments over 43 hours of video with fine-grained localization and categorization. We formulate different learning tasks, propose and investigate best ways to learn from the diversity of labels among a low number of annotators, and benchmark recent vision, text and audio models, showing the feasibility of the task. We make our code and our dataset available to the community and described in the Croissant format: https://anonymous.4open.science/r/MObyGaze-F600/ Related works We position our contributions with respect to works on: analyses of biases in film datasets, annotation of audiovisual and mulimodal contents, and dataset creation for interpretive tasks. |
| Document Type: |
report |
| Language: |
English |
| Relation: |
info:eu-repo/semantics/altIdentifier/arxiv/2505.22084; info:eu-repo/grantAgreement//951911/EU/A European Excellence Centre for Media, Society and Democracy/AI4Media; ARXIV: 2505.22084 |
| Availability: |
https://hal.science/hal-05462496; https://hal.science/hal-05462496v1/document; https://hal.science/hal-05462496v1/file/2505.22084v1.pdf |
| Rights: |
https://about.hal.science/hal-authorisation-v1/ ; info:eu-repo/semantics/OpenAccess |
| Accession Number: |
edsbas.ADB1D08F |
| Database: |
BASE |