Nakon izbijanja Drugog svjetskog rata 1939. godine, Harel se pridružio tajnom židovskom vojnom pokretu Haganah, a pet godina kasnije prebačen je u obavještajni odsjek koji je kasnije postao osnova za uspostavljanje obavještanjih službi Izraela nakon što je država osnovana 1948. godine. Halperin, koji je promijenio prezime u Harel, imenovan je na čelo službe unutrašnje sigurnosti Shin Bet.
On je zatim 1952. došao na čelo Mossada, izraelske obavještajne službe. Kao što je to učinio i sa Shin Betom, Harel je Mossad izgradio praktički ni od čega i pretvorio ga u obavještajnu službu svjetske reputacije. Najspektakularnija epizoda njegove karijere dogodila se 1961. godine kada je Mossad oteo jednog od glavnih nacističkih zločinaca Adolpha Eichmanna iz Argentine i doveo ga u Izrael na suđenje. Ta je akcija Mossadu donijela veliki međunarodni ugled. Nakon suđenja koje je pratio čitav svijet, Eichmann je u Izraelu osuđen na smrtnu kaznu vješanjem koja je izvršena 1962. godine.
Ali Harel je iste godine otišao predaleko kada je pokrenuo kampanju protiv njemačkih znanstvenika, među kojima je bio i veliki broj bivših nacista, koji su razvijali egipatski program razvoja oružja. Njegovi su agenti prijetili znanstvenicima i njihovim obiteljima a neki su čak bili i ubijeni. Njemačka je vlada bila vrlo ljuta, a afera je prijetila uništenjem programa izraelsko-njemačkog pomirenja. Zbog toga je tadašnji izraelski premijer David Ben-Gurion zatražio Harelovu ostavku.
Harel je u jednom mandatu bio i zastupnik u izraelskom parlamentu Knessetu, a zatim se posvetio pisanju knjiga.