Слово графы может употребляться в 3-х разных значениях:
I. гра́фы — множественное число слова граф (титул)
В таком варианте ударение ставят на слог с буквой А — грАфы.
II. графы́ — родительный падеж слова графа
В указанном выше варианте ударение ставят на слог с буквой Ы — графЫ.
III. графы́ — множественное число слова графа
В упомянутом выше слове допускается ставить ударение либо на слог с буквой Ы — графЫ, либо на слог с буквой А — грАфы.