Issu d’une famille de notaires, il compte dans son ascendance des paysans et des bourgeois aisés. Il passe ses quatorze premières années à Clamecy, où il accomplit d’excellentes études au lycée de la ville. En 1880, sa famille s’installe à Paris, où il suit les cours du lycée Saint-Louis puis du lycée Louis-le-Grand. Il est reçu à l’École normale supérieure en 1886, où il se lie avec André Suarès et Paul Claudel. Il est agrégé d’histoire en 1889. Il passe ensuite deux ans à Rome, de 1889 à 1891, comme membre de l’École française de Rome, où sa rencontre avec Malwida von Meysenbug - qui avait été l’amie de Nietzsche et de Wagner - ainsi que la découverte des chefs-d’oeuvre de l’art italien, sont décisives pour la construction de sa pensée. À son retour en France en 1892, il s’installe à Paris, épouse Clotilde Bréal et rassemble de la documentation pour ses thèses de doctorat. Les années suivantes, il enseigne l’histoire aux lycées Henri-IV et Louis-le-Grand. En 1895, il obtient son doctorat de lettres en soutenant une thèse sur Les origines du théâtre lyrique moderne. Histoire de l’opéra en Europe avant Lulli et Scarlatti. Il est chargé de cours d’histoire de l’art à l’École normale supérieure. En 1900, il organise à Paris le premier congrès d’histoire de la musique. En 1901, il divorce et s’installe seul au 162 boulevard du Montparnasse à Paris. À partir de 1904, il enseigne l’histoire de la musique à la Sorbonne. Son roman-fleuve Jean-Christophe, publié de 1904 à 1912, lui apporte la notoriété. En 1912, il démissionne de la Sorbonne pour se consacrer uniquement à son oeuvre littéraire.