Nato a Canton, in Cina, nel 1917, a 18 anni si reca negli Stati Uniti d'America per studiare architettura al Massachusetts Institute of Technology. Partecipa alle attività di vari studi associati, costituendo infine un proprio importante centro a New York, con Henry N. Cobb e James Ingo (1979).

E' noto in Europa per la Piramide di vetro e acciaio nel cortile del Louvre.

Pei viene considerato discepolo di Walter Gropius, tuttavia, egli non crede che l'architettura debba trovare le forme per esprimere i tempi o rimanere isolata dalle forze commerciali; progetta cercando di dare forma ai materiali, in particolare pietra, calcestruzzo astratto, vetro e acciaio, utilizzando volentieri l'alta tecnologia.

Lavora frequentemente su vasta scala disegnando in modo tagliente e geometrico.