在1920或30年代的上海，陈绍常（石挥）是一名小学校长，他早年丧妻，独自抚养两个儿子和一个女儿。他的大姐劝他再婚，但绍常因为看到好友的女儿刘敏华（朱嘉琛）遭受后母虐待，放弃了再婚的念头。后来，好友去世后，敏华离开了绍常，并在十年后成为了独立自强的新女性。她拜托绍常帮她找一份工作，并最终在绍常的同事中找到了一份工作。
绍常的儿子建中（韩非）成为银行职员，结识了经理的女儿冯丽君（李浣青），很快他们结婚，并提升了自己的社会地位。建中夫妇认为绍常的职业地位低下丢了他们的脸面，劝他退休在家。绍常虽然不情愿，但还是听从了他们的建议。敏华接替了绍常的工作，但他却变得无所事事。家人要么怪他没有好好享受生活，要么自顾自忙。绍常每天都是无聊的，感觉自己的时间就像坏掉的怀表一样停滞不前。他总是把这些感受告诉家人，但家人要么不理解，要么就是责备他。尽管如此，绍常还是偶尔会想念敏华。