Format de données

On distingue un format ouvert, dont la spécification est publiquement accessible, d'un format fermé (ou opaque[2]) dont la spécification est secrète. Un format fermé correspond généralement à un logiciel seul capable de pleinement l'exploiter.

Une autre distinction s'opère entre un format normalisé, faisant l'objet d'une normalisation par une institution publique ou internationale (ISO, W3C) et un format quelconque, qui peut devenir un standard du fait de sa popularité. Un tel format est parfois normalisé par la suite comme OpenDocument.

Un format est dit propriétaire s'il a été élaboré par une entreprise, dans un but essentiellement commercial. Un format propriétaire peut être ouvert (le format PDF d'Adobe par exemple) s'il est publié, ou fermé (le format Doc de Microsoft par exemple). Mais même lorsque des spécifications sont rendues publiques, les entreprises à l'origine de formats propriétaires tentent d'en conserver le contrôle soit en proposant régulièrement de nouvelles versions plus élaborées (contrôle par maintien d'une avance technologique), soit en utilisant des moyens juridiques comme le brevet. Ce type de pratiques anti-concurrentielles via des outils juridiques est admis aux États-Unis. Elle est sujette à controverse en Europe (voir Brevetabilité du logiciel).

Les textes sont formés de caractères en nombres finis (lettres, diacritiques, signes de ponctuation…), du moins dans les alphabets européens. S'il était simple d'attribuer un nombre à chaque caractère dans tous contextes régionaux, cette conversion {caractère → nombre} serait définie par convention sous la forme d'une table, ou page de code. Dans la pratique, pour des raisons d'interopérabilité, on utilise des systèmes de codage plus sophistiqués. Les plus utilisés sont la page de code régionale ASCII pour l'anglais, ses variantes et ses extensions d'autres pays ainsi que l'Unicode.

Les textes comprennent aussi de la mise en page (alignement des paragraphes) et de la mise en forme (type de police de caractère, taille…). La solution retenue en général consiste à définir des mots de commande, des instructions, séparées du texte par un caractère spécial. Ainsi, en HTML, les instructions sont appelées « balises » et sont mises entre des chevrons <…> ; en LaTeX, les instructions sont introduites par une barre de fraction inversée \. De ce fait, certains caractères sont réservés aux instructions et ne peuvent plus faire partie du texte ; il existe alors des « codes d'échappement », ou bien des instructions spéciales permettant de les représenter.

Jusqu'en 2006, le logiciel Microsoft Word a retenu une autre manière de stocker la mise en forme: les données (texte et images) sont mises en brut (sans mise en forme) dans le document, et la mise en forme est définie dans une partie du document appelée « saut de section » (section break). Le saut de section, hormis le fait de marquer un changement de mise en page (saut de colonne, saut de page), est une zone invisible contenant des pointeurs attribuant un formatage à une partie de la section. Cette solution de stockage brut des données a été historiquement adoptée à une époque où peu d'autres solutions existaient (au début des années 1980). C'était une approche couramment adoptée pour beaucoup d'applications et liée entre autres au niveau faible de standards de stockage. Cependant, l'expérience a montré que cette approche se révèle très lourde et source de problèmes (corruption de documents) pour les documents ayant environ 100 pages et plus. Si Microsoft a tenté de conserver son modèle et de le faire évoluer petit à petit pour éviter de tout reprendre à la base, ce dernier est arrivé à ses limites. Pour son édition de 2007, Microsoft a adopté un nouveau format propriétaire, Open XML.

La base de la représentation des images est la géométrie analytique.

Format carte de points

Exemple agrandi d'une image carte de points.

On peut découper une image en points élémentaires, ou « pixel », et attribuer une couleur à ce pixel. La couleur est représentée par un nombre, la correspondance couleur → nombre étant faite par une « palette ».

Il est inutile de donner les coordonnées des points : si l'on donne la largeur de l'image en nombre n de points, alors les n premiers points représentent la première ligne, les points n+1 à 2n représentent la deuxième ligne… Il suffit alors de fixer par convention l'ordre de balayage, en l'occurrence l'ordre de lecture occidental (de gauche à droite et de haut en bas).

Ceci donne une image au format carte de points, souvent appelée image bitmap. C'est donc un canevas de points dont chacun se voit attribuer une valeur colorée. Les grandes différences entre les formats existants sont la profondeur de couleurs (1 bit : noir ou blanc, 8 bits : 256 couleurs, 24 bits : 16 millions de couleurs…) et le type de compression (sans compression, ou raw, avec une compression par motifs, avec une compression destructive…)

Par exemple, prenons une carte noir et blanc (1 pour la couleur de forme, 0 ou · pour la couleur de fond) définissant une image large de cinq points par la suite de chiffres suivante :

1000101010001000101010001

Il faut découper cette carte par groupes de 5 bits :

 1·      ▓░      █·      ⟵ Symboles de notation pour l'explication
un      tramé   plein    ⟵ Notation du 1
point   tramé   point    ⟵ Notation du 0
                                    ·   
1···1   ▓░░░▓   █···█
·1·1·   ░▓░▓░   ·█·█·
··1··   ░░▓░░   ··█··
·1·1·   ░▓░▓░   ·█·█·
1···1   ▓░░░▓   █···█

ce qui nous donne le dessin d'un « X » en «couleur de forme» sur fond «couleur de fond». Toutefois ici, aucun bit n'indique la couleur aussi la couleur du rendu dépend de la technologie utilisée et de la configuration de celle-ci.

Le format des données doit donc inclure, outre la liste des points, la largeur de l'image et la description de la palette ; ceci se fait en général en début de fichier (on parle d'« en-tête » de fichier).

Quelques formats d'image matricielle célèbres : Portable Network Graphics, JPG, BitMaP, Portable pixmap.

La représentation des objets virtuels créés par les logiciels de modélisation 3D nécessite un format de données spécifique car les formats précédents sont inadaptés. En effet, pour représenter un objet 3D, il faut au minimum une description :

• de la topologie de l'objet : sa forme, sa taille et sa complexité ;
• des attributs de représentation : couleurs, textures (nature et position), qualité photométrique de sa surface, transparence ;
• de ses attributs dynamiques s'il est animé : capacité de collision avec d'autres objets, articulations et contraintes, etc.

Représenter une scène nécessite aussi de spécifier les éclairages utilisés, les positions relatives des objets, les effets d'environnement éventuels mais surtout sa structure hiérarchique (liens des éléments entre eux).

Les premiers formats standard de fait ont été des formats adaptés à la CAO : l'objet est défini à l'aide de facettes ou de surfaces analytiques. Il suffit de définir son origine puis les coordonnées caractéristiques des éléments dans l'espace à 3 dimensions. Par exemple, dans le format DXF d'Autocad, un objet est une suite d'entités nommées et constituées de liste de points X, Y, Z. Par indexation, on constitue des facettes triangles ou des lignes qui s'appuient sur ces points.

Si ce format était suffisant pour du dessin technique il était totalement inadapté à la réalité virtuelle. Dans les années 1990, la société Silicon Graphics (constructrice de station graphique 3D) publia le format Inventor qui comportait la majorité des éléments nécessaires. Ce format évolua vers le format VRML qui a été normalisé.

Par ailleurs, le format 3D Studio ASCII fut lui aussi publié mais l'explosion du marché de la 3D donna naissance à quantité de formats propriétaires. Pour l'utilisateur, le problème était fréquemment de convertir un modèle d'un format à l'autre sans perdre trop d'informations. Des sociétés se sont même spécialisées dans ce type de conversion.

Actuellement, dans le monde professionnel, il n'y a pas de format unique mais plutôt des formats plus ou moins utilisés selon le type d'application. Par exemple :

• format Blender pour la création Multimédia ;
• format Pro/Engineer pour la CAO industrielle ;
• format OpenFlight pour la simulation de vol et/ou de conduite.

Néanmoins, la plupart des modeleurs 3D savent plus ou moins bien lire (Import) et créer (Export) plusieurs formats : c'est un critère de choix important. Parmi les formats les plus répandus on peut citer :

• BLEND de Blender ;
• 3DS ;
• DXF d'AutoCAD ;
• IGES normalisé ;
• X Direct 3D ;
• OBJ de Wavefront ;
• LWO de LightWave 3D ;
• VRML avec ses versions (1, 2 et X3D) ;
• .COB de TrueSpace (en).

La tendance actuelle est de privilégier un format descriptif de type XML. Le format de données 3D est alors appelé langage descriptif comme X3D (évolution du VRML avec un formatage XML).

Le format libre COLLADA permet également d'échanger des données entre différents logiciels. Il existe notamment un importeur/exporteur pour Blender.

Les formats de son se décomposent en trois parties :

• les formats bruts : le son n'est pas compressé, les valeurs issues de la conversion des valeurs analogiques en numérique (échantillonnage) sont enregistrées dans l'ordre chronologique et par canal ;
• les formats compressés : le son est compressé avec ou sans pertes suivant un algorithme adapté à la perception des sons de l'oreille humaine et/ou une compression classique ;
• les formats de flux (stream) : permet l'écoute par partie sans avoir la totalité du fichier.

(Voir le chapitre Formats classiques)

La compression des données est la technique qui consiste à transformer les données afin qu'elles prennent moins de place. Les données devant être décompressées avant d'être traitées, ceci se fait aux dépens de la rapidité, et avec un risque plus grand de perte de données.

L'idée de base est qu'en général, des éléments se répètent dans les fichiers. On a donc intérêt à représenter les éléments se répétant souvent par des nombres plus petits (c'est-à-dire prenant moins de bits).

On peut distinguer deux types de compression :

• les compressions sans a priori sur les données : ce sont des algorithmes qui travaillent uniquement sur les nombres, quelle que soit l'information portée par ces nombres ; ils sont donc généraux, pas spécifiques aux données ; on peut distinguer :
  • les algorithmes à table stockée : l'algorithme fait une première analyse pour repérer les éléments se répétant, et construit une table de correspondance avec un code raccourci pour chaque élément répétitif ; la taille occupée par la table de stockage fait que ce procédé est plutôt adapté aux gros fichiers,
  • les algorithmes à table construite à la volée : la table de correspondance est construite de manière systématique, sans analyse préalable du fichier ; elle peut être reconstruite à la volée à partir du fichier compressé ; c'est par exemple le cas de l'algorithme de Lempel-Ziv-Welch (LZW) ;
• les compressions spécifiques aux données : si l'on connaît les données, on peut optimiser l'algorithme ; par exemple si l'on sait que l'on a affaire à un texte, on peut se baser sur la fréquence d'utilisation des mots dans le langage ; on distingue deux sous-catégories :
  • les compressions sans perte d'informations,
  • les compressions avec perte de données : la première idée est de faire un « sous-échantillonnage », c'est-à-dire de simplement dégrader la qualité des données
    en étudiant les sens et la manière dont le cerveau interprète les informations, on peut dégrader certaines caractéristiques des données peu sensibles, donc sans trop altérer la qualité globale des données ; ainsi, si l'oreille humaine est peu sensible à certaines gammes de fréquences, on peut dégrader (voire supprimer) certaines parties du spectre et pas d'autres (MP3);
    les algorithmes de compression d'image (JPEG) et de film (MPEG) utilisent une perte de qualité.

Lorsqu'un fichier est transmis à d'autres personnes, certains formats de fichiers peuvent poser un risque informatique concernant la vie privée du créateur de fichier. En effet certains incluent dans leur format de données des informations personnelles telles que le nom de l'ordinateur et celui de l'utilisateur.

Cela arrive le plus souvent lors d'usage de logiciels de bureautique. Dans le cas de ces logiciels, ce n'est pas seulement le nom de la personne ayant créé le fichier qui est sauvegardé, mais aussi celui de la personne l'ayant modifié ensuite.

Plus rarement les fichiers HTML contiennent parfois aussi des informations personnelles, en particulier lorsqu'ils sont exportés depuis un logiciel bureautique (exemple : Microsoft Word). Toutefois il est facile de le vérifier en affichant le code HTML.