Родился в 1887 г. (по другим сведениям, в 1888 г.) в г. Тифлис (ныне Тбилиси, Грузия). Окончил гимназию в Тифлисе и исторический факультет Петербургского университета (по другим сведениям, Московский университет (в 1914 г.)). Еще гимназистом вступил в партию социал-революционеров. Переменил свое мировоззрение под влиянием начавшегося религиозно-художественного пробуждения русской интеллигенции. Преподавал историю в университете с 1914 г. В 1917 г. был приглашен войти в состав русской дипломатической миссии в Соединенных Штатах. Секретарь последнего посла России в США Б. А. Бахметева (1917-1924). В 1927 г. начал преподавать русскую историю в Гарвардском университете (с 1949 г. - руководитель отделения славянских языков и литературы). В конце 1920-х гг. принимал участие в работе студенческого христианского кружка РСХД в г. Бостон (США). Профессор до 1957 г. Директор славянского отдела (1949-1954). С 1943 по 1959 гг. редактор "Нового Журнала". Со-редактор с профессором Г.В. Вернадским трехтомного издания "A History of Russia" (Yale University Press). Один из наиболее влиятельных представителей русской культуры в Америке. В конце 1940-х - начале 1950-х гг. председатель Русского студенческого христианского движения (РСХД) в США. Скончался в 1959 г.

Памяти М.М. Карповича посвящен 58-й выпуск "Нового Журнала" за 1959 г.