A német születésű, zsidó családból származó Baer a holokauszt elől menekült ki az Egyesült Államokba, ahol fiatalon, 14 dollárral a zsebében kezdte karrierjét. Autodidakta módon tanult, érdeklődése a technikai újdonságok irányába terelte őt. A TV-re csatlakoztatható játékok gondolata 1966-ban kezdte foglalkoztatni Baert, 1968-ban pedig eladta ötletét a Magnavox nevű vállalatnak. A Magnavox Odessy végül 1972-ben jelent meg, ezzel az első hivatalos videojáték-konzolként került be a technika-történetbe.

Baer ping-pong játéka ihlette az Nolan Bushnellt a Pong ötletére, illetve az ő nevéhez fűződik a Simon nevű hang és fény effekteken alapuló memóriajáték is. A National Medal of Technology díjat 1980-ban alapította a kongresszus, és a tudomány és technológia területén a legjelentősebb kitüntetésnek számít
az Egyesült Államokban.