Родился в Литве в ортодоксальной семье, с детства отличался незаурядными способностями: уже в возрасте девяти лет изучил философское сочинение Рамбама «Путеводитель растерянных». Первое образование Шапира получил в иешиве в городе Кретинген Ковенской губернии, позднее руководителем иешивы.

в 1878 в Гейдельбергский университет (Heidelberg University), где в 1880 году получает степени доктора философии.

С самого зарождения сионистского движения Герман Шапира являлся одним из наиболее видных его деятелей, выдвинул идею создания Еврейского национального фонда для сбора денег на покупку земель в Палестине.

В 1882 году Шапира публикует в газете «Ха-Мелиц»  серию публицистических статей, в которых выдвигает идею создания в Эрец-Исраэль  национального еврейского университета. Продолжая активно участвовать в сионистском движения, Шапира в 1884 году основывает в Гейдельберге общество «Сион»,  провозгласившее своей основной задачей создание еврейских сельскохозяйственных поселений в Эрец-Исраэль.

В этом же году, будучи участником Катовицкого съезда Ховевей Цион, Герман Шапира предлагает учредить фонд для приобретения земельных участков в Эрец-Исраэль, однако его предложение не встречает поддержки, что вызывает у него разочарование и побуждает отойти от общественной и публицистической деятельности до конца 1880-х годов.

В 1897 году Шапира оказывает поддержку Теодору Герцлю, принимает участие в работе 1-го Сионистского конгресса, где вновь озвучивает идеи об учреждении «общееврейского фонда» для покупки земли в Эрец-Исраэль и создании еврейского университета. Однако и на этот раз предложения Шапира остаются без поддержки, так как и еврейская общественность и лидеры сионистского движения считают, что идея еврейского университета не имеет практической ценности. Лишь на 4-м Сионистском конгрессе 1900 года (уже после его смерти) принимается принципиальное решение об учреждении фонда для приобретения земельных участков в Эрец-Исраэль.

Идеи Шапира вдохновили целую плеяду молодых ученых и сионистов, которые, во главе с Мартином Бубером (будущим первым президентом Академии наук Израиля), Хаимом Вейцманом (будущим первым президентом Государства Израиль) и Бертольдом Файвелом (будущим главой Керен ха-Йесод – основного финансового органа Всемирной сионистской организации), призвали в 1901 году участников 5-го Сионистского конгресса открыть Еврейский университет в Палестине и утвердить развернутый проект создания Еврейского национального фонда (Керен каемет ле-Исраэль).