Cet intellectuel humaniste aurait pu construire une brillante carrière universitaire soutenue par une large production littéraire. Il change de voie à trente-six ans et amorce alors une rapide ascension professionnelle : inspecteur d'académie (1864), chargé de l'enseignement primaire du département de la Seine (1866), dont il devient directeur (1870), avant d'être nommé inspecteur général (1871), directeur de l'enseignement primaire au ministère (1872), et enfin vice-recteur (1879). Bien introduit auprès des divers ministres qui se succèdent, il s'impose comme une « éminence grise » au service de l'école républicaine populaire. Une idée essentielle d'Octave Gréard est d'avoir érigé Paris et la Seine en laboratoire pédagogique. En 1868, il élabore sa Nouvelle organisation des écoles primaires en trois cycles qui sera étendue à toute la France. Il fixe les programmes d'enseignement, les emplois du temps et les méthodes de travail. Il prévoit un recrutement élargi des futurs maîtres en créant deux écoles normales primaires dans la capitale. L'école pour tous implique de sa part un effort sans précédent de constructions scolaires pour garçons et filles. S'ajoutent à cette préoccupation les salles d'asile, les écoles primaires supérieures, les écoles d'apprentis et les cours d'adultes. Devenu recteur, tous ces chantiers ont des répercussions dans l'ensemble de l'académie de Paris (9 départements). À sa mort en 1904, le journal Le Siècle lui rend hommage : « Il fut mêlé à toute l'œuvre scolaire de la Troisième République et mérita d'être appelé par Jules Ferry le premier instituteur de France. »