É obra e empenho do nosso monarca D. Afonso V, que em cumprimento de um voto que fizera a Santo António para auxiliá-lo nas conquistas do norte de África, o mandou levantar. Veio ele mesmo, com os fidalgos da sua real Câmara e grande acompanhamento de clero, nobreza e povo, desde a vila de Torres, lançar a primeira pedra em Fevereiro de 1470. Entregou o andamento da obra, com recomendação de ser veloz, ao Vedor da Casa da Rainha, sua mãe, Diogo Gonçalves Lobo. 
E para cativar a simpatia dos lavradores e deles conseguir, com facilidade e economia, os carretos dos materiais, aliviou-os do tributo chamado Jugada, uma espécie de contribuição de 40 alqueires por cada jugo, ou junta de bois, que pagavam ao Estado os que fossem proprietários ou mesmo arrendatários de terras. Concedeu-lhes ter as juntas que desejassem e por todas pagariam apenas 20 alqueires os que fossem proprietários e apenas seis alqueires os que 
lavrassem terras alheias.
Comprou o monarca fundador a quinta destinada à fruição dos Religiosos?a actual cerca?por 35 mil reis. Paga generosa, adverte Frei Manuel de Maria Santíssima, comparada com a compra da quinta da Carnota "Alenquer" também para Convento Franciscano por D. João I, no princípio do mesmo século, e que lhe custara 2.280 reis.
As obras correram com a aceleração recomendada. Passados apenas quatro anos?4 de Outubro de 1474?o adianto das obras permitiu a inauguração, que foi muito solene, com a entrada de 14 religiosos, vindos do convento de S. Francisco da Vila de Alenquer. A missa da festa foi missa nova de um neo-sacerdote, Frei João Pacífico de Vizeu, que fazia parte daquela primeira comunidade, da qual ficou guardião o P. Frei Álvaro de Alenquer.
E, logo que teve notícia o rei fundador dos relógios de bater horas, invenção e habilidade de Frei João da Comenda, irmão leigo do convento franciscano de Nossa Senhora da Conceição de Leça da Palmeira, do concelho de Matozinhos, apressou -se em chamá-lo ao seu real convento de Varatojo, para que o sino da sua torre não fosse o derradeiro dos dez que construira aquele mestre-inventor, a bater as horas. Sabe-se que já as batia em 1478.
O edifício conventual abrigaria o máximo de 25 religiosos. Resta da primitiva construção o corredor-dormitório que liga com a entrada para o coro. Um segundo dormitório fazia ângulo com este para Leste, ambos com abóbada de tijolo. O terceiro lanço, que fechava o claustro pelo Nascente, a ligar com a igreja, era ocupado pela biblioteca e outras dependências. O aumento do pessoal, porém, forçou o do edifício. Nos meados do séc. XVI, por certo já depois do terramoto de 1531, que fez grandes estragos no convento, El-rei D. João III, refazendo e aumentando o anterior, lançou pelo lado do Norte, na direcção Leste-Oeste, o chamado «corredor grande». Posteriormente, se não na mesma época, acrescentaram-lhe para a banda do Nascente, o edifício da Enfermaria, transformado, há algumas décadas, em salão para vários usos e agora adaptado para biblioteca e sala de leitura. D. Catarina, esposa de D. João III, ergueu a actual capela-mor da igreja. Merecem, por isso, estes monarcas o nome de segundos fundadores.
Com este aumento, chegou o convento a abrigar 50 religiosos com os cursos de filosofia e teologia até 1680. Fez parte da franciscana Provincia dos Algarves, até essa data, e nesse ano passou, como diremos no artigo seguinte, a seminário autónomo para a formação de missionários, com estudos e disciplina apropriada. Para o noviciado do seminário levantaram entre 1739 e 1743 um segundo andar, sobre o corredor que dá para o coro, virado à mata. E os varatojanos modernos nos anos 1903-1906, com esmolas de dois benfeitores insignes, ergueram um segundo andar sobre o corredor de D. João III, para alargar os cómodos do Noviciado, com reserva de algumas divisões, na parte do Nascente, para hospedaria. E para serventia desta, com independência do Noviciado, meteram larga escada que sobe do pavimento do claustro e abrange dois andares.
Tinha o Rei fundador, D. Afonso V, modesto aposento para si reservado, em comunicação directa com o coro dos Religiosos, pelo lado sul. 
É o actual pós-coro, hoje casa de arrumo de livros corais. Ali se recolhia nas longas estadias de retiro e saía ao coro para acompanhar a entoação do Ofício Divino com os religiosos. E na cerca mandara construir um lago, com o seu barco, em que se entretinha com os religiosos nas horas de recreio. Não tomou o hábito de noviço como tinha resolvido, por não lho consentirem dificuldades surgidas em sua real família. Era apaixonado pelo seu convento de Varatojo. Foi um monarca mais franciscano que Africano.
