Debutta giovanissimo nel varietà, e diventa famoso come comico nel vaudeville. Nel 1903 inventa una scenetta comica dal titolo Johnny's New Car, nel quale interpreta un omino impacciato che combatte contro una moglie bisbetica e, nello stesso tempo, cerca di padroneggiare una macchina che alla fine esploderà. Lo sketch, con diverse variazioni, occuperà Langdon per ben vent'anni. Nel 1923 l'attore viene notato e scritturato dal produttore di comiche Mack Sennett, scopritore di tanti talenti, come Charlie Chaplin, Buster Keaton, Ben Turpin, Mabel Normand e Roscoe "Fatty" Arbuckle. Il suo primo cortometraggio è Picking Peaches, del 1924. L'attore arriva al cinema con un'esperienza teatrale quasi trentennale e porta sullo schermo un tipo di personaggio "lunare", piccolo, gentile, triste, dal volto ovale e clownesco e dai movimenti timidi e impacciati; egli è vittima suo malgrado della brutalità e della virulenza che vigono nel mondo circostante, mali questi a cui cerca di far fronte con le uniche "armi" in suo possesso, l'innocenza e la poeticità. Se Buster Keaton è "il comico che non ride mai", Langdon si afferma come "il comico dal volto triste". Lo strano, piccolo personaggio di Langdon non si limita a reagire meccanicamente davanti a determinate situazioni, ma usa una pantomima lunare e surreale, carica di patetismo. Dopo aver interpretato numerosi cortometraggi, nel 1926 Langdon interpreta il suo primo lungometraggio, Tramp, Tramp, Tramp (Di corsa dietro al cuore), diretto da Henry Edwards. Il film, sceneggiato da un giovane Frank Capra, conserva tutt'oggi grandi qualità. In una maratona transcontinentale Langdon cerca di vincere la gara per conquistarsi i favori di una ragazza, interpretata da Joan Crawford in uno dei suoi primi ruoli cinematografici. Quello stesso anno e il successivo è in due film diretti da Frank Capra, The Strong Man (La grande sparata, 1926) e Long Pants (Le sue ultime mutandine, 1927). Inorgoglito dal riscontro di pubblico e dagli apprezzamenti della critica, Langdon licenzia Capra per mettersi egli stesso nella macchina da presa, segnando così la fine del suo successo. Nel 1928 dirige e interpreta ben tre lungometraggi: Three's Crowd (Una folla di tre persone), The Chaser (Il cacciatore) e Heart Trouble (Problemi di cuore), che agli occhi della critica appaiono come una leggera involuzione del suo peculiare stile comico, un passo indietro addebitabile a un eccesso di intellettualismo un po' confuso. L'avvento del sonoro decreta la fine della sua carriera da attore. La sua comicità infantile e clownesca infatti, mal si adatta al nuovo mezzo di ripresa. Negli anni successivi continua a lavorare nell'ambiente cinematografico, sia a livello di piccole partecipazioni, sia come soggettista, sceneggiatore, consulente e produttore. Nei primi anni Trenta passa a lavorare per il produttore di comiche Hal Roach. Della loro collaborazione si ricorda soprattutto la partecipazione di Langdon alla stesura dei soggetti di alcuni film della coppia comica Laurel & Hardy, quali Block-Heads (Vent'anni dopo o Stanlio e Ollio teste dure, 1938), The Flying Deuces (I diavoli volanti, 1939), A Chump at Oxford (Noi siamo le colonne, 1940) e Saps at Sea (C'era una volta un piccolo naviglio, 1940). Nei primi anni Quaranta passa a lavorare per una piccola società di produzione, la Monogram and Republic, per la quale sarà protagonista di una serie di cortometraggi, prestandosi anche a ruoli da caratterista in alcune commedie e musical. Quando lo coglie la morte, a sessant'anni, aveva appena terminato di girare Swingin' on a Rainbow (Saltellando sull'arcobaleno) di William Beaudine, uscito postumo l'anno seguente.