The Art of Computer Programming

Donald Knuth étant considéré comme un expert dans l'écriture de compilateurs, il commença à écrire un livre sur la conception de compilateurs en 1962. Il réalisa rapidement qu'il devrait considérablement augmenter le domaine traité par son livre. En 1965, Knuth finit d'écrire le premier jet de ce qui devait être un volume unique composé de douze chapitres. Il s'agissait d'un manuscrit de 3 000 pages. Il supposait qu'une page dactylographiée correspondrait à cinq pages manuscrites. L'éditeur calcula un rapport d'une page manuscrite et demi pour chaque page dactylographiée. Le livre ferait donc 2 000 pages. Le plan du livre fut donc modifié pour comprendre sept volumes d'un ou deux chapitres chacun. Le volume 4 a ensuite été divisé en 4A, 4B, 4C et peut-être même 4D.

En 1976, Knuth prépara la seconde édition du volume 2, nécessitant d'être à nouveau mis en page. Mais le style de mise en page n'était plus disponible et le travail devait être refait. En 1977, Knuth décida de passer quelques mois pour travailler sur un nouvel outil. Huit ans plus tard, il avait achevé TeX, qui est depuis lors utilisé pour tous les volumes.

La célèbre offre d'« un dollar hexadécimal »[3] en récompense de la correction de toute erreur découverte dans les volumes de TAOCP (présente dès la première édition du premier volume) contribua à créer un ouvrage de très grande qualité et continuellement mis à jour. Une autre caractéristique de cet ouvrage est la gradation de difficulté des exercices, qui vont du niveau « échauffement » aux problèmes de recherche encore non résolus.

Cet « art de la programmation » que promeut Knuth part d'un constat : plutôt que de bricoler en assembleur et de faire gagner quelques secondes au programme (une optimisation qui aurait son mérite mais qui ne serait ni universelle ni pérenne, car elle dépendrait trop de la machine sur laquelle tournerait l'algorithme), il vaut mieux prendre du recul sur le problème considéré et étudier les propriétés typiques de ses structures combinatoires via des outils mathématiques ad hoc (Knuth établit très souvent le comportement en moyenne en utilisant des techniques de séries génératrices). Cela permet de mieux affûter l'algorithme et d'obtenir de gigantesques gains d'efficacité. C'est également le sens de son aphorisme : « L'optimisation prématurée est la source de tous les maux (ou presque) en programmation ».

Le premier volume s'ouvre par une section d'étude de ces outils (principalement combinatoires) destinés à l'analyse des algorithmes ; avec la collaboration de Ronald Graham et Oren Patashnik, Knuth a largement développé cette section sous forme d'un manuel de combinatoire intitulé Concrete Mathematics.