Sim, essa visão é comum. No meu caso, consigo compreender o sotaque do Português do Brasil com grande facilidade, mas as diferenças de vocabulário às vezes tramam-me. No sentido contrário, creio haver, na generalidade, uma maior dificuldade de compreensão do sotaque em si, além de uma barreira de vocabulário também.
Penso que essa dificuldade acrescida dos sotaques vem do facto de no Brasil se consumir muito Português do Brasil, tanto pelo grande volume de produções nacionais, como de produções estrangeiras dobradas. Em Portugal, comparativamente, consome-se muito mais multimédia noutras línguas ou dialetos, tendo a legendagem um papel muito mais relevante que a dobragem. É de notar também que em Portugal, a presença da variante brasileira é consideravelmente mais marcada que a presença da variante portuguesa (ou europeia) no Brasil.
PS: Como o Vilna já referiu, se escreveste isto sem a ajuda de um tradutor, parabéns :) Peço desculpa se a minha resposta tiver palavras ou expressões mais elaboradas! Se tiveres dúvidas, estou ao dispor.