Stoffer werd als boerenzoon geboren in Kerkenveld en hielp zijn ouders regelmatig op de boerderij. Toch wilde hij later geen boer worden. „Nee, dat paste niet bij mij, ik kon nog geen koe horen poepen,” lacht hij. „De boerderij was eigenlijk te groot voor één persoon en te klein voor twee personen.” Stoffer bezocht de christelijke lagere school in Alteveer, waar hij uitblonk in rekenen. „Ja, ik mocht kinderen uit lagere klassen met rekenen helpen. Ik mocht graag naar school gaan. Twintig jaar geleden heb ik een reünie georganiseerd van de school. Mooi werk vind ik dat.”