O edifício de D. Afonso V foi convento de estudos da Provincia franciscana dos Algarves, durante 206 anos?1474-1680. Desde Março deste último ano, foi destinado, por cuidados do Venerável Padre Frei António das Chagas (+ 1682) para colégio de missionários apostólicos, sujeitos directamente ao Ministro Geral franciscano, da Ordem dos Frades Menores. Dai Ihe veio o apelido de Seminário de Varatojo pelo qual ficou sendo conhecido.
    Alistavam-se neste colégio de apóstolos todos os sacerdotes, diocesanos ou religiosos, que sentissem vocação missionária e resolução de professar a vida franciscana e praticar a rigorosa disciplina claustral adoptada naquela comunidade de penitentes, e o regulamento para o exercício das missões, aquela e este em conformidade com o breve do Papa Inocêncio XI.
    Neste se prescrevia, entre outros exercícios, duas horas de meditação diária, uma pela manhã e outra à tarde, e duas de «lição diária, uma depois da missa conventual e outra depois de vésperas, sobre matéria concernente ao ofício das missões, de teologia mística, casos de consciência ou de teologia moral». O Ofício Divino, com matinas à meia noite, era rezado «em comum no coro, sem canto, para não estorvar o estudo, mas com pausa conducente à devoção, sem afectação que divirta». Recolhiam ao leito às 20 horas, levantavam-se às 23,45, para começar a entoação de Matinas e Laudes, e regressavam ao leito sempre depois da 1 hora. Às cinco horas já estavam no coro para entoar Prima do Ofício Divino, seguida de uma hora de oração mental.
    O sino grande da torre tocava a Matinas, para a gente devota do lugar acompanhar em espirito, àquela hora sossegada, os religiosos no coro. Almas ? verdadeiros ascetas ? havia que se erguiam do leito ou nele se sentavam, para acompanhar, com rezas da sua escolha, as Matinas dos Frades. Para as Missões saiam dois a dois, um pregador e um confessor, e missionavam na diocese que seu superior lhes designasse, durante um ano, nas terras indicadas pelo Prelado diocesano. Ao fim do ano regressavam ao Seminário e nele retomavam a vida comum durante meio ano, de preparação para nova saída apostólica. Em obediência ao breve pontifício supracitado, não recebiam os missionários «cousa alguma além do sustento moderado».
 Nem pela celebração da missa diária recebiam esmola. Aplicavam-na pela comunidade e pelos benfeitores dela, vivos e defuntos, e pelas intenções de Jesus Cristo na Cruz. Renunciaram sempre às pensões anuais perpétuas, oferecidas pelos reis padroeiros, desde D. Afonso V, por quererem viver das esmolas mendigadas pelos seus confrades, coadjuvados por Terceiros Seculares das terras que percorriam nesta franciscana tarefa. Perante essa decidida recusa dada ao seu fundador e assíduo comensal, D. Afonso V, este, «para que houvesse sempre quem, com prontidão, ajuntasse e conduzisse as esmolas oferecidas pelos fiéis ao convento», concedeu, num longo decreto, especiais e valiosos privilégios aos auxiliares do peditório para sustentação da comunidade de Varatojo. Seriam dois e residentes nos termos da vila de Torres Vedras, e escolhidos pelos Religiosos. Esses auxiliares dos esmoleiros varatojanos eram isentados de todos os tributos e contribuições presentes e futuras, devidas a El-rei, ou lançadas pela Câmara de Torres Vedras, e libertados de todos os ofícios e serviços militares, ou outros exigidos ou que viessem a exigir-se, e de cargos do concelho, contra sua vontade, «nem paguem jugadas, nem oitavo de pão, vinho, linho, nem de outras coisas de que se costuma pagar».
    É assinado em Alenquer em 27 de Fevereiro de 1481. 
    Os missionários varatojanos renovavam o sistema de apostolado trazido por Cristo e copiado escravamente pelo Patriarca de Assis: gratuitamente davam o que receberam de Deus, o divino poder de evangelizar. E foi esse manifesto desinteresse apostólico que deu ao Seminário de Varatojo a fama de santidade que ainda ressoa. Sem locomotivas a vapor, nem autocarros, o missionamento deste Seminário de apóstolos penitentes abrangeu todas as dioceses continentais e parte das ultramarinas, na curta existência de século e meio, 1680- 1833.
    O seu exemplo moveu outros religiosos franciscanos portugueses, de verdadeira vocação missionária, a organizar outras comunidades, ou seminários apostólicos, com disciplina e privilégios iguais aos de Varatojo. Em 1711 inaugurou-se em Brancanes, Setúbal, o de Nossa Senhora dos Anjos; em 1790 o convento de S. Francisco de Mesão Frio professava o regime de seminário apostólico; em Vinhais erigia-se em 1753 o Seminário Apostólico de S. Francisco; e de 1826 a 1833 vigorou em Braga o Seminário Apostólico de Santa Maria Madalena do Monte da Falperra.