Израильский филармонический оркестр был создан в 1936 году. В том же году в Иерусалиме, Тель-Авиве и Хайфе состоялись первые концерты ИФО. На этих первых концертах дирижировал оркестром выдающийся итальянский дирижер Артуро Тосканини. Сын портного Артуро Тосканини завоевал славу лучшего дирижера своего времени.

Многочисленные биографы Тосканини редко упоминают тот факт, что он стоял у истоков концертной деятельности Израильского филармонического оркестра. Но для самого дирижера этот эпизод его творческой биографии был очень важным.

Примечательно, что на похоронах Артуро Тосканини, скончавшегося 16 января 1957 года, пришедшая проститься с ним публика провожала его в последний путь пением знаменитого хора пленных иудеев Va pensiero из оперы Джузеппе Верди «Набукко»: «На реках вавилонских сидели мы и плакали…»

Основатель Израильского филармонического оркестра – польский еврей, скрипач-виртуоз Бронислав Губерман. Он родился в Ченстохове в 1882 году и еще ребенком давал концерты на летних курортах Германии. На одном из  концертов Бронислава был Антон Рубинштейн, который написал восторженный отзыв о его игре: «Как играет Губерман, может играть только гений».

Позже Бронислав Губерман объездил с концертами всю Европу. Он выступал в Вене, Берлине, Лондоне, Париже, в Бельгии и Нидерландах. Дважды его приглашали в Геную сыграть на скрипке, принадлежащей великому Паганини. Польский меценат граф Замойский подарил Губерману скрипку работы Страдивари.

Вначале, будучи абсолютно европейским человеком, Бронислав Губерман был сторонником идеологии межнационального объединения Европы, но в 1929 году побывав с гастролями в Палестине и получив восторженный прием, который ему оказали евреи ишува, он переменил свои взгляды и стал приверженцем сионистских идей.

В свой второй визит в Эрец-Исраэль в 1931 году Губерман задумал создать в Палестине симфонический оркестр.

В 1933 году в Германии пришли к власти нацисты. Начались запреты на выступления музыкантов-евреев, их увольняли из оркестров. Бронислав Губерман призвал еврейских музыкантов приехать в Палестину и принять участие в создании первого симфонического оркестра в Палестине.

Бежавшие от нацистов лучшие еврейские музыканты Германии, Австрии, Польши, Венгрии и других европейских стран составили ядро Палестинского симфонического оркестра (первоначальное название оркестра).

В 1934 году, в третий раз посетив Эрец-Исраэль и заручившись поддержкой Палестинского филармонического общества, Бронислав Губерман начал сбор пожертвований.

В начале 1936 года Губерман основал в США «Ассоциацию друзей Палестинского оркестра», председателем которой стал Альберт Эйнштейн.

В 1946 году оркестр получил название Палестинского филармонического оркестра, а после провозглашения в 1948 году независимости Государства Израиль стал называться Израильский филармонический оркестр.

С первых концертов Израильский филармонический оркестр заявил о себе как об одном из лучших оркестров мира. Первое зарубежное гастрольное турне в 1960 году подтвердили эти притязания в полной мере.

Лучшие дирижеры и музыканты мира, такие как Артуро Тосканини, Леонард Бернстайн, считали за честь для себя работать с Израильским филармоническим оркестром.

С 1969 года Израильским филармоническим оркестром руководит Зубин Мета. Родившийся в год создания оркестра Зубин Мета в 1981 году был объявлен пожизненным руководителем Израильского филармонического оркестра.