Urodził się 20 maja 1919 r. w Kielcach. Pochodził ze zasymilowanej rodziny żydowskiej. Ukończył Gimnazjum im. M. Reja w Kielcach. Studiował filologię polską na Uniwersytecie Warszawskim. Publikował w czasopismach „Ateneum”, „Pion”, „Nowy Wyraz”, redagował tygodnik „Orka na Ugorze”.
Podczas II wojny światowej, w października 1939 roku, założył wraz z kolegami Polską Ludową Akcję Niepodległościową, jedną z pierwszych polskich organizacji konspiracyjnych. Następnie przedostał się na teren okupacji sowieckiej do Lwowa, potem do Grodna. W marcu 1940 roku usiłował przedostać się na Litwę, ale wynajęci przez niego przemytnicy okazali się agentami NKWD. Został aresztowany i skazany na pięć lat łagrów.
Po wybuchu wojny niemiecko-sowieckiej (22 czerwca 1941) i podpisaniu umowy Sikorski–Majski (30 lipca 1941) w łagrze w Jacewie w obwodzie archangielskim rozpoczął głodówkę protestacyjną o zwolnienie do polskiej armii. 20 stycznia 1942 roku został zwolniony. Wstąpił do Armii Polskiej w ZSRS. Razem z nią przeszedł do Iranu, a potem na Bliski Wschód. W składzie 2 Korpusu Polskiego brał udział w kampanii włoskiej 1944–1945, między innymi w bitwie o Monte Cassino.
Po wojnie został emigrantem politycznym. Wraz z żoną Krystyną (z domu Stojanowską) przeniósł się z Włoch do Londynu, gdzie był publicystą emigracyjnego tygodnika „Wiadomości”. Był współtwórcą i redaktorem miesięcznika „Kultura”, członkiem Instytutu Literackiego w Paryżu. Socjalista, w latach 1946–1960 należał do Polskiej Partii Socjalistycznej na Uchodźstwie. W latach 1952–1955 pracował dla Radia Wolna Europa w Monachium, następnie zamieszkał na stałe w Neapolu. Podpisał list pisarzy emigracyjnych solidaryzujących się z sygnatariuszami protestu przeciwko zmianom w konstytucji Polskiej Rzeczypospolitej Ludowej (1975/1976). Współpracował z Komitetem Obrony Robotników i Polskim Porozumieniem Niepodległościowym, organizacjami opozycji demokratycznej w PRL. Pisarz, eseista, jego książka Inny Świat. Zapiski sowieckie (1951) była jednym z pierwszych utworów opisujących wstrząsającą rzeczywistość łagrów wydanych w języku angielskim. Jego twórczość w PRL podlegała całkowitej cenzurze.
Laureat Nagrody Związku Pisarzy Polskich na Obczyźnie (1965) i Nagrody Polskiego PEN Clubu (1990). Kawaler Orderu Orła Białego.
Zmarł 4 lipca 2000 r w Neapolu.
W 1998 roku powstał o nim film „Rozważania o cnotach”. We wrześniu 2009 w Jercewie odsłonięto pomnik pisarza. Uchwałą Sejmu RP, rok 2019 został ustanowiony rokiem Gustawa Herlinga-Grudzińskiego.