Шаров родился 7 апреля 1951 года в Москве. Дебютировал как поэт в 1979 году в журнале "Новый мир". Первый роман "След в след: Хроника одного рода в мыслях, комментариях и основных датах" был опубликован в журнале "Урал" в 1991 году.
Публикация романа Шарова "До и во время" в журнале "Новый мир" в 1993 году вызвала литературный скандал: члены редколлегии журнала Сергей Костырко и Ирина Роднянская заявили о категорическом неприятии философии и поэтики шаровской прозы, полной неожиданных трактовок известных исторических событий и интеллектуальных провокаций.
Писатель также известен как автор таких романов, как "Репетиции", "Старая девочка", "Будьте как дети" и "Возвращение в Египет". За этот роман Шаров в 2014 году получил премию "Русский буккер". Последняя книга Шарова, "Царство Агамемнона", была опубликована несколько недель назад.