An diese Bildtradition knüpfte 1837 der französische Kritiker Charles-Augustin Sainte-Boeuf (1804-69) an, als er in seinen »Pensées d’août« (August-Gedanken) den Dichter Alfred Comte de Vigny (1797-1863) durchaus positiv als überlegenen Denker im Elfenbeinturm beschrieb. Von Sainte-Boeuf übernahmen Schriftsteller wie der Italiener Gabriele d’Annunzio sowie die Engländer Oscar Wilde und Henry James das markante Wort.
Im Deutschen erschien es nach dem Zweiten Weltkrieg vor allem in der Literaturkritik - nun in negativer Bedeutung als Vorwurf gegen eine elitäre, überzüchtete Form der Dichtkunst. Seither ist die Redewendung »Der sitzt im Elfenbeinturm« für einen weltfremden Zeitgenossen immer populärer geworden. Den Studenten der 68er kam sie gerade recht, um Professoren zu bespötteln, die sich mit dem Verweis auf Forschungsinteressen nicht um Tagespolitik und dringende Probleme kümmerten. Noch heute hört man den Satz häufig, wenn Persönlichkeiten des öffentlichen Lebens, voran Künstler oder Wissenschaftler, als unnahbare hochmütige Einzelgänger erscheinen. Autor Peter Handke wehrte sich gegen solche Vorwürfe, indem er den Spieß umkehrte und in seinem 1972 verfassten Bekenntnis »Ich bin ein Bewohner des Elfenbeinturms« ein hohes Lied auf den literarischen Individualismus anstimmte.
