И почему я всегда была уверена, что бергамот - это сорт груш?...

Потому что сорт груш с таким названием тоже есть. Но чай с бергамотом (или, правильнее говоря, с маслом бергамота) — это с цитрусом, а не с грушами.