身体の使い方が似ているバレーや野球、テニスなどされていた方はバドミントンが未経験でも上手いです。また入ったばかりの人と何年も所属している初心者では差があるかと思います。
とりあえず上手い人が多いなと思っても初心者向けのところに所属してみて、そこで周りの上手さを気にせず参加し続ければ上達していけると思います。周りの上手さを気にして中々参加しないでいるといつまでたっても上手くなれず活動しにくいと感じ続けることになるかと思います。

ちなみに初心者ばかりのとこは知らないです。少なからず経験者が何人かいるかと思います。初心者だけのサークルにしようと思っても中々人数が集まらず、経験者をいれてしまうというところも多いかと思います。