Achei interessante esse Slide do Walter Cunha que fala sobre os fundamentos da computação. Vale a pena dar umas paginadas.

Para ilustrar ainda mais a diferença entre Hardware e Software existe aquela velha piadinha:

Hardware é tudo aquilo que você chuta e software é tudo aquilo que você xinga.

OBS: Lógico que não coloquem isso numa prova de concurso. hehehe…