Поэт говорит о том, что осень ему мила, но замечает, что другие люди часто её бранят. Поэт рад осени, но другие её часто не любят.
Если времена года считать детьми в семье, то осень оказывается среди них нелюбимым ребёнком. Почти все любят весну и лето, очень многие любят зиму, но осень любят единицы. В этом смысл данного сравнения.