Im Alter von 16 Jahren trat Franz Ehrle 1861 in die Gesellschaft Jesu ein und studierte anschließend Philosophie und Katholische Theologie in Feldkirch, in Münster, in Maria Laach und am Ordenskolleg Ditton Hall bei Liverpool, wo er 1876 das Sakrament der Priesterweihe empfing. Von 1877 bis 1878 war Ehrle im pastoralen Dienst in Liverpool tätig. 1878 wurde er Mitarbeiter der katholischen Zeitschrift "Stimmen aus Maria Laach" in Brüssel. Dort war er bis 1880 sowohl als Wissenschaftler tätig als auch als Seelsorger in der Stadt Brüssel. 1880 ging er nach Rom. Er war Mitarbeiter der Vatikanischen Bibliothek und wurde im Januar 1895 deren Pro-Präfekt und stieg im Juni desselben Jahres zum Präfekten auf. Er schuf vor allem die Konsultationsbibliothek, die in unmittelbarer räumlicher Verbindung mit den Lesesälen|von Bibliothek und Archiv steht, richtete für die Konservierung der Handschriften ein vorbildliches Laboratorium ein, begründete neue Publikationsserien, arbeitete für die Katalogisierung der Handschriften genaue Vorschriften aus und vermehrte die Handschriftenbestände durch wichtige Erwerbungen. Von 1914 bis 1919 war Ehrle Chefredakteur und Herausgeber der "Stimmen aus Maria Laach". Von 1919 bis 1922 war er Professor am Päpstlichen Bibelinstitut und an der Päpstlichen Universität Gregoriana in Rom. Ehrle war in dieser Zeit auch der Hauptorganisator der päpstlichen Forschungsbibliothek Leonina. Am 11. Dezember 1922 erhob ihn Papst Pius XI. zum Kardinaldiakon mit der Titeldiakonie San Cesareo in Palatio. Am 17. April 1929 wurde er zum Kardinalbibliothekar der römischen Kirche (S.R.E. bibliothecarius et archivarius) ernannt.