Родился 8 февраля 1964 года в Казахской ССР, куда его родители эвакуировались в 1941 году.

С 1982 по 1984 гг. проходил срочную службу в Вооруженных Силах.

В 1990 г. окончил юридический факультет Омского государственного университета, после чего некоторое время там преподавал.

С 1991 по март 1992 г. занимал пост юрисконсультнта Комитета экономического развития и имущества администрации Петродворцового района Санкт-Петербурга.

С марта 1992 по октябрь 1994 гг. - председатель Комитета по управлению имуществом Петродворцовского района Санкт-Петербурга.

В 1994 г. окончил аспирантуру юридического факультета Санкт-Петербургского государственного университета.

В октябре 1994 г. был назначен заместителем председателя комитета, директором Департамента недвижимого имущества Комитета по управлению государственным имуществом (КУГИ) Санкт-Петербурга.

В июле 1997 г. был назначен первым заместителем Председателя КУГИ Санкт-Петербурга.

2 сентября 1997 г. был назначен вице-губернатором - Председателем Комитета по управлению государственным имуществом (КУГИ) Санкт-Петербурга вместо убитого 18 августа 1997 года Михаила Маневича (с момента гибели Маневича Греф исполнял обязанности руководителя КУГИ). Предложение Грефу занять этот пост сделал губернатор Санкт-Петербурга Владимир Яковлев.

С сентября 1997 г. - член Совета директоров ОАО "Ленэнерго".В январе 1998 г. Постановлением Правительства РФ был введен в состав Коллегии Министерства государственного имущества РФ.

С апреля 1998 г. - член Совета директоров ОАО "Морской порт Санкт-Петербург".

С июня 1998 г. - член Совета директоров ОАО "Петербург - 5-й канал".12 августа 1998 г. постановлением Правительства РФ был назначен первым заместителем Министра государственного имущества РФ.

30 декабря 1998 г. постановлением Правительства РФ был введен в состав Координационного совета по экономическим вопросам региональной политики РФ.

21 января 1999 г. постановлением правительства РФ был введен в состав коллегии представителей РФ в ОАО "Связьинвест".

28 апреля 1999 г. распоряжением правительства РФ был назначен руководителем правительственной комиссии по проверке деятельности ФСДН.

В апреле 1999 г. вошел в состав Совета директоров АО "Связьинвест".

10 мая 1999 г. распоряжением Правительства РФ был введен в состав коллегии представителей государства в ОСАО "Российская государственная страховая компания" ("Росгосстрах").

4 июня 1999 г. вошел в состав коллегии ФКЦБ.

26 июня 1999 г. был избран в состав совета директоров ОАО "Аэрофлот - Российские международные авиалинии ".

26 июля 1999 г. на собрании акционеров кандидатура Грефа была внесена в список кандидатов в члены Совета директоров ОАО "Газпром" как представителя государства.

26 августа 1999 г. был избран в состав совета директоров "Газпрома".

С сентября 1999 г. - член коллегии представителей государства в ОАО АК "Транснефть ".

С декабря 1999 г. - председатель совета Центра стратегических разработок.

18 мая 2000 года назначен Министром экономического развития и торговли РФ. Министерство экономического развития и торговли было образовано в соответствии с указом президента о новой структуре федеральных органов исполнительной власти и получило ряд функций упраздненных Министерства торговли, Министерства экономики, Министерства по делам СНГ, Госкомитета по делам Севера.

3 июля 2000 года назначен управляющим от Российской Федерации в Европейском Банке реконструкции и развития.