Nasceu na minúscula cidade de New Hampton, Estado de New Hampshire (EUA), em 19 de abril de 1836. Seus pais eram cristãos muito piedosos e deram-lhe esse nome em homenagem ao missionário homônimo que naqueles dias gastava a vida para o Senhor na Birmânia. Aproximadamente aos 15 anos de idade, A. J. Gordon converteu-se e foi batizado. Aos vinte anos, entrou na Brown University como estudante de filologia clássica.
Ali conheceu sua futura esposa, Maria Hale. Em 1860 entrou na Newton Theological Institution com o objetivo de preparar-se para o ministério. Sua matéria preferida era exegese do Novo Testamento. Embora fosse aluno de notas apenas medianas, dedicava-se intensamente à leitura. Tinha grande apreciação pelo livro Synopsis of the Bible, de J. N. Darby, e pelas exposições bíblicas de Kelly, Newton, Tregelles, Soltau, Pridham e Jukes.
Mais tarde, manteve fraternal comunhão com os Irmãos e afirmava ter sido grandemente beneficiado espiritualmente pelo relacionamento com eles. Aprendeu a ler os clássicos evangélicos; deliciava-se com autores puritanos como William Gurnall, Stephen Charnock, John Owen, Thomas Manton e outros. Os bons livros exerceram profunda influência sobre os seus pensamentos, e isso resultou numa vida piedosa e num destemido e frutífero ministério, fiel à Palavra de Deus. O Dr. A. J. Gordon era amigo chegado de D. L. Moody e de F. B. Meyer, que escreveu o prefácio de seu clássico O Ministério do Espírito. Foi também contemporâneo de C. H. Spurgeon, em cujo tabernáculo pregou, em Londres. Ele escreveu vários livros e em 1878 começou a publicar a revista mensal The Watchword (algo como O Lema), cujo objetivo era a edificação dos cristãos. Segundo as suas palavras, “financeiramente ela não se paga, mas vale a pena” (...).
Ele também esforçava-se no trabalho de levar pessoas a Cristo, especialmente os dependentes do álcool. Além deles, havia os pobres, as viúvas e os enfermos. Para reintegrar à sociedade os que se convertiam e eram libertos da bebida, criou o Industrial Home, espécie de cooperativa que fornecia trabalho para os novos convertidos. Padeceu grandes provações para manter essa instituição, mas o Senhor o socorreu, provendo sustento nas mais críticas horas. (...). Ele viajou por vários países, pregou, escreveu e trabalhou com paixão para espalhar o evangelho de Jesus Cristo em âmbito mundial. Uma vida extremamente atarefada era a expressão do seu amor a Deus. Assim como se costumava dizer de John Tauler, podia-se dizer também de A. J. Gordon: “Ele vive o que prega”.
Muito cuidadoso com as finanças, aprendeu a depender de Deus em oração (...) espelhando-se no exemplo de fé de George Müller, de Hudson Taylor. A. J. Gordon viveu numa época em que surgiam e floresciam doutrinas enganosas, enredando não pouca gente. Corajosamente combateu a Ciência Cristã fundada por Mary Baker Eddy (1821-1910) e o transcendentalismo propagado por Ralph Waldo Emerson. A. J. Gordon repudiava o ensino de que este mundo está se tornando cada vez melhor e que é preciso descobrir o bem que existe no interior de cada ser humano, conforme apregoava esse novo agnosticismo. O Dr. Gordon exerceu o pastorado na igreja de Clarendon Street por mais de um quarto de século. Seu ministério perdurou até a sua morte, provocada por gripe e bronquite, na manhã de 2 de fevereiro de 1895. A última palavra que se ouviu dos seus lábios foi "vitória!".
