接着，作者又从社会和自然两个方面，对秋声进行了剖析和议论。“夫秋，刑官也，于时为阴；又兵象也，于行用金；是谓天地之义气，常以肃杀而为心。天之于物，春生秋实。故其在乐也，商声主西方之音；夷则为七月之律。商，伤也，物即老而悲伤；夷，戮也，物过盛而当杀。”古代用天地、四时之名命官，如天官冢宰、地官司徒、春官宗伯、夏官司马、秋官司寇、冬官司空，这是六官。司寇掌刑法。故秋天是古代刑官行刑的季节。在四季中又属阴冷的季节；春夏为阳，秋冬为阴。从五行来分，秋属金，由古代多以秋天治兵，“沙场秋点兵”，所以秋又有战争的象征；这样，秋天对人来说，意味着有悲凉肃杀死亡之气。从自然界来看，天地万物，春天生长，秋天结实，意味着自然界中生命由盛转衰的过程，人与此同，故有对生命将息的悲叹与伤感。又以音乐为喻，古人将五声（宫、商、角、徵、羽）和四时相配，秋属商，又将五行和东、南、中、西、北五个方位相配，秋主西方，秋属于商声，商，伤也，悲伤之意。夷则，是七月的音律，古音分十二律，夷则为十二律之一。将乐律和历法联系起来，，十二律与十二月相配，夷则配七月。《礼记?月令》：“孟秋之月，律中夷则。”夷，是删刈，杀戮之意。万物由繁荣到衰败，则为自然之规律。作者从自然与社会两方面进行了论述，人是自然的一部分，又是社会的产物，人与自然、社会形成一个相互联系的有机整体。人从个人出发体验感悟自然和社会。这体现了中国“天人合一”的思想。

　　接着作者仍然抓住秋声的主题，通过无情的草木与万物中最有感情，最有灵性的人的对比，抒发议论。作者认为，百般的忧虑和万事的操劳必然损伤着人的身心，内心受到刺激和痛苦，必然损耗精力，更何况是“思其力之所不及，忧其智之所不能”呢！这样就容易朱颜易老，乌发变白，“奈何以非金石之质，欲与草木而争荣？”这是你自己无穷无尽的忧劳伤害了自己，又何必去怨恨秋声的悲凉呢？这就说明了作者之所以感到秋声之悲凉，其根源不在秋声，主要是当时作者面对国家和自己的处境而产生的忧思所致。当时作者被朝廷重用，但想起曾经在政治上屡不得志，怀才不遇，报国无门，心情郁闷。这样的情绪和秋季气息正相统一，触物伤情，有感而发。