Иосеф  Трумпельдор учился в еврейской религиозной школе в Ростове-на-Дону, а затем — в русской школе. Глубокое влияние на Трумпельдора оказала идея коммуны, выдвинутая Л. Толстым. Связывая толстовскую концепцию с сионизмом, Трумпельдор мечтал о создании в Эрец-Исраэль еврейских сельскохозяйственных коммун, которые в случае необходимости следовало защищать с оружием в руках. В 1902 г. Трумпельдор был призван в армию, вступил добровольцем в 27-й восточносибирский полк. Во время русско-японской войны Трумпельдор  проявил незаурядную храбрость. Он был тяжело ранен и потерял левую руку,  позднее был произведен в унтер-офицеры. После капитуляции Порт-Артура Трумпельдор был отправлен в Японию в лагерь для военнопленных, где организовал сионистскую группу и группу еврейских солдат, целью которых стало создание сельскохозяйственной коммуны в Эрец-Исраэль. В 1906 г. Трумпельдор вернулся в Россию.

Он собирает единомышленников, готовых участвовать в создании сельскохозяйственной коммуны в Эрец-Исраэль; целью группы было освобождение еврейского народа от национального угнетения путем обеспечения его независимого существования в Эрец-Исраэль. В 1912 г. Трумпельдор прибыл в Эрец-Исраэль, где сначала работал на сельскохозяйственной ферме «Мигдаль», а затем в  кибуце Дгания. Организовал охрану еврейских поселений в Нижней Галилее.

Когда началась Первая мировая война, Трумпельдор отказался принять турецкое подданство и был выслан в Египет. Затем Трумпельдор отправился в Лондон, где присоединился к Жаботинскому, добивавшемуся создания Еврейского легиона из числа проживавших в Англии русских евреев. В июне 1917 г. Трумпельдор отправился в Россию, чтобы убедить Временное правительство сформировать еврейский полк, который сражался бы на турецком фронте на Кавказе, а оттуда смог бы прорваться в Эрец-Исраэль. После Октябрьской революции Трумпельдор получил разрешение на создание первого еврейского полка, в задачи которого входила защита евреев от возможных погромов. Однако вскоре советская Россия подписала мирный договор с Германией, еврейский полк распущен, еврейская самооборона объявлена вне закона, а сам Трумпельдор был арестован в Петрограде. Вскоре освобожденный из-под ареста, Трумпельдор посвятил себя созданию в России движения Хе-Халуц, целью которого была подготовка молодежи к поселению в Эрец-Исраэль.  В 1919 г. он покинул Россию и направился в Эрец-Исраэль. Он призывал лидеров Израильского рабочего движения к созданию объединенного рабочего движения. Предложение Трумпельдора было принято партией Ахдут ха-авода. Вскоре к ней присоединилась и партия ха-По‘эл ха-цаир, что открыло путь к созданию Всеобщей федерации еврейских трудящихся в Эрец-Исраэль (Гистадрут).

Когда арабы стали угрожать еврейским поселениям в Верхней Галилее, Трумпельдору было поручено организовать их защиту. 1 января 1920 г. он прибыл на место и приступил к укреплению Тель-Хая, Кфар-Гилади и Метулы. 1 марта 1920 г. значительные силы арабов подошли к Тель-Хаю. Во время переговоров с их лидерами завязалась перестрелка, в ходе которой Трумпельдор был ранен в живот. Бой продолжался весь день, и лишь вечером Трумпельдор вместе с другими ранеными был эвакуирован в Кфар-Гилади, однако  спасти его не удалось.

Для израильтян Трумпельдор навсегда остался символом патриотизма и  настоящего сионизма.