1934년 스코틀랜드의 글래스고에서 공장 노동자와 의류 창고 직원의 자녀로 태어났다. 어린 시절부터 도서관을 즐겨 다니며 에드거 앨런 포의 작품에서 큰 영향을 받았으며, 고등학생 시절에는 교내 잡지 편집에 참여하였고 엽편과 단편도 쓰곤 했다. 1952년 글래스고 예술 대학(Glasgow School of Art)에 입학한 뒤에는 후에 그의 대표작이자 스코틀랜드 문학사에서 기념비적인 작품이 될 『라나크』를 구상하기 시작한다. 졸업 후에는 방송 작가, 디자이너, 일러스트레이터, 타이포그래퍼 등으로 활동하였을 뿐 아니라, 벽화와 판화에 탁월한 화가로서 글래스고 시내 곳곳에 작업물을 남겼으며, 그중 교회 건물을 개축한 행사장인 오란 모르(Òran Mór)의 천장화가 특히 유명하다. 1981년, 20여 년이 걸린 집필 끝에 출간된 대작 『라나크』로 언론과 비평가의 찬사를 받으며 소설가로서 활동을 시작하였고, 환상과 현실을 넘나들며 현대 문명을 풍자하는 그의 독특한 작풍은 어빈 웰시, A. L. 케네디, 이언 뱅크스 등의 후대 작가에게도 깊은 영향을 끼쳤다. 본작 『가여운 것들』(1992)은 휘트브레드상, 가디언 소설상을 수상하였고, 그레이가 가장 즐겁게 집필하고 상업적으로도 가장 성공한 작품으로 알려져 있다. 그 밖에 『1982, 재닌(1982, Janine』(1984), 『켈빈 워커의 몰락(The Fall of Kelvin Walker)』(1985), 『맥그로티와 루드밀라(McGrotty and Ludmilla)』(1990), 『역사를 만드는 자(A History Maker)』(1994), 『메이비스 벨프라지(Mavis Belfrage)』(1996), 『사랑에 빠진 노인들(Old Men In Love)』(2007) 등을 포함해 9권의 장편과 5권의 단편집을 출간하였으며 시, 희곡을 넘나드는 전방위적 예술가로 활동했다. 2019년, 85세의 나이를 일기로 영면했으며, 시신은 고인의 유지대로 의료 연구를 위해 기증되었다. 그레이의 부고가 알려지자 스코틀랜드의 총리 니콜라 스터전을 비롯해 발 맥더미드, 이언 랜킨, 앨리 스미스 같은 작가들의 추모가 이어졌으며, 《가디언》은 그를 “스코틀랜드 문학과 예술의 르네상스를 연 아버지”라 평했다.