Термин «отец в отношении духовного наставника встречается как в Ветхом Завете (4 Цар 13:14), так и в Новом Завете (1 Кор 4:15). Ранние христианские авторы, такие как Климент Александрийский и святой Ириней Лионский, также использовали этот термин в том же значении. В христианской древности термин «отцы Церкви» применялся к преемникам авторитета апостолов. Изначально отцами Церкви называли в основном епископов, поскольку именно они выполняли учительскую функцию в древней Церкви.
С 4−5 века термин «отцы Церкви» стал применяться также к церковным учителям, не являющимся епископами (хотя, как правило, они были монахами). В 5 веке преподобный Викентий Леринский в своем произведении «Памятные записки» выдвинул три критерия принадлежности к категории отцов Церкви: ортодоксальное учение, личная святость и древность. Позже в церковной науке был добавлен четвертый критерий — признание Церковью. Авторов, не соответствующих одному или нескольким из этих критериев, но все же принадлежащих к Церкви (таких как Евсевий Кесарийский, Лактанций и многие другие), принято относить к категории церковных писателей.
Первый список из 13 отцов Церкви (3 восточных и 10 западных) содержится в письме, приписываемом Псевдо-Геласию (5−6 века). Среди всех отцов Церкви со временем были выделены некоторые особо выдающиеся, или «избранные, отцы». Один из первых списков выдающихся отцов Церкви был представлен императором Юстинианом I на заседании V Вселенского собора (553 год) и был утвержден этим собором. В этот список вошли 12 отцов Церкви (8 восточных и 4 западных): святители Афанасий Великий, Василий Великий, Григорий Богослов, Григорий Нисский, Иоанн Златоуст, Кирилл Александрийский, Иларий Пиктавийский, Амвросий Медиоланский, Лев I Великий, Аврелий Августин, а также Феофил Александрийский и Прокл Константинопольский.