Сразу после начала Второй мировой войны вступил в британскую армию. По окончании Королевского военного училища служил в танковых частях, принимал участие в боевых действиях. В звании майора командовал подразделением в гвардейской танковой дивизии. В начале 1945 г. был переведен на службу в военную разведку. Стал главой британской военной разведки в Северной Германии, Герцог руководил операцией по розыску и установлению личности рейхсфюрера СС  Г. Гиммлера.

В конце 1947 г. — демобилизовался. Приехал в Эрец-Исраэль, в январе–мае 1948 г. возглавлял отдел безопасности Еврейского агентства, занимавшийся поддержанием официальных контактов с английским военным командованием. Участвовал в Войне за независимость. В 1949–50 гг. возглавлял израильскую военную разведку (Аман). В 1950–54 гг. занимал пост военного атташе в США. В 1954–57 гг. командовал войсками Иерусалимского района, в 1957–59 гг. был начальником штаба Южного округа. В 1959–62 гг. вновь возглавил израильскую военную разведку. В 1962 г. Герцог вышел в отставку в звании генерал-майора. Вступил в партию  Мапай.  В 1965 г.  вышел из Мапай.  В январе 1968 г. вместе с большинством членов Рафи вошел в состав объединенной Израильской партии  труда. Возглавлял инвестиционную компанию. Накануне и во время Шестидневной войны был ведущим военным обозревателем на израильском радио.

В 1975–78 гг. Герцог представлял Израиль в (ООН). Активно боролся против принятия резолюции ООН, определив­шей сионизм «как форму расизма и расовой дискриминации», а после ее принятия 10 ноября 1975 г. публично на трибуне ООН порвал текст резолюции.

В 1981 г. Герцог был избран в Кнессет 10-го созыва от Израильской партии труда. В 1983 г. был избран шестым президентом Государства Израиль, В 1984 г. приложил значительные усилия для того, чтобы впервые в истории Израиля на паритетных началах была создана правительственная коалиция с участием блока Ликуд.

Умер в 1997 г.