他也不忘替自己辩解，“若涉及主权或民族感情问题，则不必刻意去刺激，我们就是坚守立场，表达异议或是抗议;大家以为我们没有，但是其实都有。”该言论遭到台湾网友的口诛笔伐，有网友称，“从来没见过你的抗议”，“简直就是卖国贼”。

他生性诙谐，个性外向不设防，宴请外宾时，谈完正事之后喜欢讲故事。长相俊美的单身汉杨朔总成为严文井开玩笑的对象，如果席间坐着日本作家，他就会请人给杨朔介绍日本女孩做妻子，总是弄得杨朔很尴尬。

《家长攒班,教师偷偷授课 上个课还得签保密协议？》评论家黄秋耘写了很多当时看来完全够右派资格的文章，林绍纲至今记得他有一篇文章叫《刺在哪里》，文辞严厉。但邵荃麟是黄秋耘在香港做地下工作时期的老领导，对他知根知底，党组会上将他力保了下来，只做留党察看。