Шаров народився 7 квітня 1951 року в Москві. Дебютував як поет у 1979 році в журналі "Новий світ". Перший роман "слід у Слід: Хроніка одного роду в думках, коментарях і основних датах" був опублікований у журналі "Урал" у 1991 році.
Публікація роману Шарова "До та під час" в журналі "Новий світ" у 1993 році викликала літературний скандал: члени редколегії журналу Сергій Костирко та Ірина Роднянська заявили про категоричне неприйняття філософії та поетики шаровської прози, повної несподіваних трактувань відомих історичних подій та інтелектуальних провокацій.
Письменник також відомий як автор таких романів, як "Репетиції", "Стара дівчинка", "Будьте як діти" і "Повернення в Єгипет". За цей роман Шаров у 2014 році отримав премію "Російський буккер". Остання книга Шарова, "Царство Агамемнона", була опублікована кілька тижнів тому.