Nasce a Vienna da un commerciante ebreo, anche se lui ci terrà a dire di essere figlio di un colonnello dei dragoni e di una dama di corte dell'imperatrice Elisabetta d'Austria. Dopo aver studiato all'Accademia militare e aver ottenuto il grado di sottotenente, resta per sette anni nell'esercito austro-ungarico finchè nel 1909 si imbarca su una nave di carico in rotta verso gli Stati Uniti. Si stabilisce a Hoboken, nel New Jersey, e si rende subito conto che per vivere dovrà adattarsi a fare ogni genere di mestieri: fattorino in un giornale, guida turistica, cantante in una birreria tedesca, maestro di equitazione, capitano nell'esercito messicano, bagnino e barcaiolo. Grazie alle sue indubbie capacità atletiche, entra nel mondo del cinema come stuntman e poi come comparsa, figurando in due celebri capolavori del muto diretti da David W. Griffith, Nascita di una nazione (1915) e Intolerance (1916). Ed è proprio Griffith che da comparsa lo promuove ad aiuto regista e consulente tecnico, offrendogli anche di interpretare un crudele militare che non esita a far precipitare un bambino dalla finestra in Cuori del mondo (1917). Dopo Cuori del mondo, in America si conia per lui lo slogan 'l'uomo che vi piacerebbe odiare', ma oltre che come interprete si afferma anche come sceneggiatore e regista quando riesce a convincere il direttore della Universal, Carl Laemmle, a produrgli il primo film, La legge della montagna o Mariti ciechi (1919).
Le sue regie (Mariti ciechi, Femmine folli, Greed) sono impostate ad una personalissima rilettura psicologica dei meccanismi del melodramma cinematografico americano filtrati nell'ottica della cultura mitteleuropea, e testimoniano una cura delle scenografie e dei particolari che rasenta il perfezionismo. Sin dal primo film, anche se in modo un po' schematico, Stroheim affrontò quei temi di base che dovevano caratterizzare la maggior parte delle sue opere: una carrellata sul vecchio mondo europeo e in particolare l'Austria asburgica, mettendo a fuoco con acuti e impietosi giudizi sia le follie e le crudeltà dei potenti, che le miserie delle classi inferiori.
Inevitabilmente la sua forte personalità lo mette in conflitto con le ragioni commerciali del sistema hollywoodiano: molte sue opere vengono dai produttori tagliate e rimaneggiate ed alcuni suoi progetti rimangono incompiuti (Sinfonia nuziale, Queen Kelly). Von Stroheim fu allo stesso tempo creatore e vittima di un atteggiamento che è rimasto leggendario nella storia di Hollywood: quello cioè del regista che lotta animosamente con gli studios per difendere i propri lavori che esigevano sempre alti costi di produzione e quello dell'attore che impersonava sempre ruoli antipatici. Il sodalizio con la Universal si interrompe nel 1922, dopo che si era guadagnato la fama (oltre che di regista più costoso del mondo) di 'maniaco del particolare realistico'. Sempre durante il periodo del muto firma un favoloso contratto con la Goldwin Mayer con cui realizza quello che verrà considerato il suo capolavoro, Greed (Rapacità, 1925), tratto dal romanzo naturalistico McTeague di Frank Norris. Con questo film Stroheim si allontanò dallo scenario europeo per rivolgere il suo puntiglio realistico verso la vita dei bassifondi americani, senza dubbio aiutandosi con i ricordi che conservava dei primi anni vissuti negli Stati uniti da immigrato.
In seguito Stroheim abbandona il realismo e dirige La vedova allegra (1925), altro grande successo commerciale, con John Gilbert nella parte del principe Danilo. Visita ancora regni, rovine e amori della vecchia Europa per Sinfonia nuziale (1926), mentre l'avvento del sonoro sta per concludere la sua breve ma folgorante carriera di regista. Nel 1928, infatti, non riesce a concludere le riprese di Queen Kelly, dove una splendida Gloria Swanson si aggira tra cascate di petali di fiori e batticuori da favola, e da allora Stroheim non trovò più nessun produttore a Hollywood disposto a fargli girare un film, tanto da doversi dedicare soprattutto all'attività di attore, fornendo prove di altissimo livello. A Stroheim attore venne chiesto prevalentemente di ritrarre figure crudeli e brutali, ma la celebre prova fornita nei panni del comandante del campo di prigionia ne La grande illusione (1937) di Jean Renoir, conferma la finezza del suo stile, così come è da ricordare l'interpretazione dolorosamente autobiografica del maggiordomo-marito della diva dal passato glorioso (interpretata da Gloria Swanson) Viale del tramonto (1950) di Billy Wilder. Tornato in Europa, von Stroheim si spense in Francia, a Maurepas nel 1957, all'età di settantun anni a causa di un cancro.