Joseph Johann von Littrow nacque il 13 marzo 1781, figlio del commerciante Anton Littrow.
Nel 1803, l’ormai ventiduenne Littrow, si trasferì in Slesia dove approfondì, come autodidatta, gli studi di matematica e astronomia, e quattro anni dopo, grazie ad alcuni sui lavori, fu nominato professore di astronomia all’Università di Cracovia. Nel 1808 Littrow sposò Karoline von Ulrichsthal (1792-1833), dalla quale ebbe ben 12 figli tra cui Karl Ludwig Edler von Littrow. Quando la città di Cracovia venne invasa dall’esercito franco polacco, Littrow si trasferì presso l’Università del Kazan dove fondò un piccolo osservatorio astronomico.
Nel 1816 Littrow venne nominato codirettore del nuovo osservatorio su Blocksberg a Ofen e nel 1819 assunse la cattedra di astronomia all'Università di Vienna e nello stesso anno venne nominato direttore dell’Osservatorio cittadino, dove prestò servizio fino alla sua morte avvenuta nel 1840. Qui creò l'unica proiezione di mappe retroazimutali conforme, conosciuta come la proiezione di Littrow. Tra le altre cose, von Littrow divenne famoso per varie invenzioni nel campo dell'ottica, tra cui il prisma di Littrow, e la configurazione Littrow, o Littrow, che è un modo comune di orientare una griglia di diffrazione sfocata in uno spettrometro, o in un monocromatore, per ottenere prestazioni di più alto livello. Come direttore dell'osservatorio universitario, Littrow cercò di spostare l'osservatorio dal centro città alla periferia con lungimiranza professionale, ma suo figlio e il successore Karl Ludwig non ci riuscirono fino al 1870.
Al contrario, fu in grado di attuare un completo rinnovamento dell'osservatorio dotandolo di nuovi strumenti, di medie dimensioni. Oltre a un circolo meridiano e un eccellente rifrattore di Fraunhofer con un'apertura di 6 pollici (16 cm), consegnato e assemblato da Reichenbach e Fraunhofer, Littrow riuscì ad ottenere altri due telescopi e uno strumento universale di Reichenbach.
Littrow lavorò anche con il meccanico e l'ottico viennese Simon Plößl sull'ulteriore equipaggiamento, divenendo noto in tutta l'Europa centrale per la sua precisa rettifica delle lenti e lo sviluppo dell'oculare Plössl.
Per poter pubblicare in modo appropriato le osservazioni fatte Littrow fondò gli annali dell'osservatorio universitario, che apparvero regolarmente a partire dal 1821. Littrow era molto apprezzato come docente universitario e pubblicò le sue lezioni matematiche e astronomiche sotto forma di alcuni libri di testo. Nel 1829 divenne membro della Leopoldina, e nel 1838 fu membro corrispondente dell'Académie des sciences di Parigi.
Tra il 1834 e il 1836 Littrow pubblicò il popolare libro di scienza The Miracles of Heaven, di cui furono stampate 14.000 copie in pochi anni. L'opera in tre volumi - che è stata più volte pubblicata in 11 edizioni da vari autori fino al 1963 - si è trasformata in un classico della letteratura astronomica. In una recensione dello Stuttgarter Neue Tageblatt, l'opera viene definita il classico libro di astronomia. Littrow progettava di pubblicare una vasta storia di astronomia che tuttavia rimase solo un manoscritto.
Nel 1838 ricevette un dottorato onorario presso l'Università di Vienna, e a partire dal 1839 in poi Littrow lavorò alla traduzione della storia della scienza induttiva da parte del filosofo e storico della scienza britannico William Whewell . La traduzione apparve in 3 volumi dal 1840.
Infine, Littrow si spense il 30 novembre 1840 a Vienna all’età di 59 anni.