Karijeru je počeo u FK BAK iz Bele Crkve (1958 — 1960), nastavio je da brani u somborskom Radničkom (1960 —1961). a 1961. postao je član novosadske Vojvodine za koju je do 1969. odigrao 176 prvenstvenih utakmica i izjedanaesteraca postigao šest golova. Od 1969. do 1977. s uspehom je čuvao mrežu francuskih prvoligaša Olimpikiz Marseja, Bastije i Pari Sen Žermena. U dresu Olimpika osvojio je prvenstvi i kup Francuske. Od povratka u zemlju 1977. vratio se u Novi Sad i od tada je stalno je član stručnog štaba i povremeno i trener Vojvodine.
Kao siguran izvođač jedanesteraca u dresu Vojvodine je postigao 6 pogodaka. Jedinstven je u svetu fudbala što je u jednoj prvenstvenoj utakmici 1963. u Novom Sadu pritiv Trešnjevke iz Zagreba postigao het-trik izvodeći jedanesterce, što nije pošlo za rukom nijednom golmanu na svetu.[4]
Tri puta je branio gol mlade selekcije (1964 — 1965), dva puta Jugoslavija „B“ reprezentacije (1961 — 1963) i 18 puta najbolje selekcije Jugoslavije.
Debitovao je 25. oktobra 1964. u prijateljskok susretu protiv Mađarske (1:2) u Budimpešti, a poslednju utakmicu odigrao je 10. juna 1968. protiv Italije (0:2) u finalnoj utakmici Kupu evropskih nacija u Rimu.
Kao jedan od najboljih jugoslovenskih golmana, vrhunac karijere dostigao je u sezoni 1965/66. kad je sa Vojvodinom osvojio državno prvenstvo.
Na golu je činio čuda. Zvali su ga panter - Panta. Stručnjaci kažu: Vladimir Beara, Milutin Šoškić i Ilija Pantelić najbolji su golmani Jugoslavije za sva vremena,
Početkom 2014. u Banjaluci Pantelić je sa Velimirom Sombolcem i Dušanom Maravićem dobio Zlatnu plaketuFudbalskog saveza Republike Srpske, najvećeg priznanja koja Savez uopšte dodeljuje.
Sahrana Ilije Pantelića biće održana na Novom groblju u Novom Sadu, u četvrtak u 15.00 časova.
