Po střední škole začal studovat na dvou fakultách rostovské univerzity (fyzikálně matematické a filozofické), po začátku druhé světové války se však dobrovolně přihlásil do armády a poté odešel bojovat na frontu (byl důstojníkem dělostřelectva Rudé armády a dvakrát byl vyznamenán za statečnost). Za kritiku J. V. Stalina v dopise svému příteli byl zatčen a odeslán do trestného tábora, a v různých táborech pak strávil celkem osm let. Propuštěn byl r. 1953 a v letech 1953 - 1956 byl ve vyhnanství v Kazachstánu. Po rehabilitaci v roce 1957 se vrátil do středního Ruska a pracoval jako učitel.

V roce 1968 byl vyloučen ze Svazu spisovatelů. Roku 1970 byl Andrejem Dmitrijevičem Sacharovem navržen na Nobelovu cenu za literaturu, která mu byla udělena, nicméně on si ji nevyzvedl z obavy, že by ho ruské úřady nepustily zpět do země. Poté, co na Západě vyšlo jeho nejslavnější dílo Souostroví GULAG, byl však v r. 1974 stejně zbaven občanství a násilně vypovězen ze země. Odjel nejprve do západního Německa, později se usadil v USA. V roce 1983 obdržel Templetonovu cenu. Do Ruska se vrátil v roce 1994. Roku 1997 byl zvolen řádným členem Ruské akademie věd. Zemřel 3. srpna 2008 v Moskvě na srdeční infarkt.