Fils d’artistes amateurs (mère pianiste, père peintre), André Jolivet commence à étudier piano et solfège en 1909 auprès d’Henriette Fleurmann, avant de s’essayer brièvement à la clarinette puis, plus sérieusement, au violoncelle (vers 1918) et d’intégrer le cercle musical de l’église Notre-Dame-de-Clignancourt, dirigé par l’abbé Théodas. Instituteur des écoles de la Ville de Paris (de 1924 à 1942), il assume très tôt sa vocation musicale, prenant des cours d’écriture et d’orchestration auprès de Paul Le Flem (1927-1932), et de composition avec Edgard Varèse (1929-1933).
En 1931, Jolivet compose son Quatuor à cordes (son « testament scolaire », révisé en 1934), et est pour la première fois joué en public (création de Trois Temps n°1 pour piano à la Société Nationale de Musique). Hôte ensuite régulier de la S.N.M. (où seront notamment jouées les Cinq incantations pour flûte), il participe successivement à l’institution de deux sociétés de concert : la Spirale (1935-1937), dont la première séance permettra la création de Mana, et Jeune-France (fondé en 1936 avec Yves Baudrier, Daniel-Lesur et Olivier Messiaen). Conférences et articles lui permettent de commencer à formaliser et diffuser sa pensée esthétique, adossée à un engagement politique à gauche.
Après un premier mariage avec la violoniste Martine Barbillon (1929), mère de Françoise-Martine (née en 1930), Jolivet épouse en 1933 Sarah Hilda Ghuighui, dont il aura trois enfants — Pierre-Alain (1935), Christine (1940) et Merri (1943). Juive, Hilda eut à traverser la Seconde Guerre mondiale sous la menace des lois antisémites de Vichy. André, revenu de la campagne armée (dont l’expérience inspirera les Les Trois Complaintes du Soldat), n’en ancre pas moins sa place dans le monde musical français. Membre de l’Association de Musique Contemporaine (1940) et du Groupement des Compositeurs de Paris (1943), il compose le ballet Guignol et Pandorepour l’Opéra de Paris (1944), participe à des jurys du Conservatoire (pour le concours de flûte duquel il compose en 1944 Le Chant de Linos), rédige un ouvrage sur Beethoven (publié en 1955) et travaille ponctuellement pour la Comédie-Française. Il compose pour elle, et fait là ses premières armes de chef d’orchestre (Le Soulier de satin, 1943) avant d’y être élu directeur de la musique (1945-1959). Cette compétence lui permettra après 1945 de diriger sa musique partout dans le monde.
Car l’après-guerre est le temps de la consécration, nationale et internationale. Compositeur prolixe, du solo (deux Sonates pour piano, 1945 et 1957 ; Cinq Eglogues pour alto, 1967 ; Ascèses pour clarinette, 1967) à l’orchestre (12 concertos pour divers instruments, 1948-1972 ; trois Symphonies, 1953, 1959 et 1964) en passant par l’effectif de chambre (Rhapsodie à sept, 1957 ; Cérémonial pour percussions, 1966) ou différents dispositifs vocaux (Epithalame, 1953 ; La Vérité de Jeanne, 1956 ; Le Cœur de la matière, 1965), Jolivet œuvre tant pour le concert que pour la scène (danse et théâtre). Des voyages en Autriche et en Hongrie (1949), aux U.S.A. (1960, 1964), au Japon (1959, 1970) ou en U.R.S.S. (huit tournées entre 1966 et 1974) signalent, parmi d’autres, sa large diffusion à l’étranger. Ce succès, scandé par sept Grands Prix du Disque, n’empêche pas certains scandales : créations tumultueuses des symphoniques Cinq danses rituelles en 1944 ou du Concerto pour piano en 1951.
Impliqué auprès de certaines structures de diffusion – il préside l’Association des Concerts Lamoureux (1962-1968) –, Jolivet s’emploie à défendre les conditions de travail du musicien : il est élu, en 1965, président d’honneur du Syndicat National des Artistes Musiciens et président de la Fédération Nationale du Spectacle-C.G.T., avec laquelle il participera aux événements de mai 1968.
Chevalier de la Légion d’Honneur (1955) et Commandeur dans l’Ordre National du Mérite et des Lettres (1973), Jolivet est appelé comme conseiller technique (1959-1962) au ministère des Affaires culturelles, et siège en 1962 aux Commission des IVe et Ve Plans. Il fonde en 1959 le Centre Français d’Humanisme Musical, stage de composition et d’interprétation implanté à Aix-en-Provence, et abandonné en 1963. Il poursuivra ce travail d’enseignant au Conservatoire de Paris, où il reprend la classe de composition de Jean Rivier et Darius Milhaud (1966-1970).
Il meurt le 20 décembre 1974, laissant inachevé son opéra Bogomilé.