Родился 5 декабря 1851 г. в местечке Радзивилов Волынской губернии в бедной еврейской семье. С 11 лет начал зарабатывать на жизнь писанием ярлыков на местной таможне. В 15 лет (ок. 1866 г.) отправился в Одессу в поисках лучшей доли, но не найдя себе прибыльного занятия, решил искать счастья за океаном. Тайно от родных, зарабатывая себе на пропитание по дороге, он добрался до Гамбурга. Сумев скопить по дороге немного денег на билет, он переправляется в Англию, затем в США (Сан-Франциско), где занимался торговлей вразнос. Через три года переехал в Японию. С 1875 г. работал в магазине корабельных припасов, где прослужил полтора года, а затем начал собственное дело. Был поставщиком российской тихоокеанской эскадры в Японии, а затем, в 1880-е - 1905 гг., главным поставщиком эскадры. Основатель и глава торгового дома "М. Гинсбург и К". Действительный статский советник. После русско-японской войны поселился в Петербурге и занялся благотворительностью. На его деньги была построена богадельня на 200 человек для престарелых евреев (5-я линия Васильевского острова, дом 50), которой было дано его имя. Он также щедро жертвовал на строительство Хоральной синагоги, на постройку дома отпевания на Еврейском Преображенском кладбище и на другие нужды еврейской общины Петербурга. В родном г. Радзивилове им были построены православный храм, синагога и другие общественные здания. Когда же началась первая мировая война, Гинсбург устраивает в принадлежащем ему доме на Уральской улице морской лазарет и убежище для жен и детей матросов, ушедших на войну. В 1915 г. по поручению военного министерства через Архангельск отправляется в США для организации снабжения русской армии вооружением. После революции эмигрировал во Францию и продолжал благотворительную деятельность. В 1924-1925 гг. оказаал материальное содействие в организации Свято-Сергиевского подворья в Париже. Скончался 3 июля 1936 г. в Париже.