CSS font-size для свойства text-overlflow?
нет, кажется в CSS ничего похожего нет. overlflow может только обрезать текст в различных вариациях.

Скорее всего реализовать это можно только на JS — считаем ширину ячейки, потом количество символов * среднюю ширину символа при, например, 12px и соответственно уменьшаем размер текста.

Но вообще этот вариант будет изобиловать косяками — разные размеры шрифта это вообще некрасиво, и не факт, что сильно мелкий шрифт человек вообще прочитает. Лучше подумать в сторону кнопочки «далее», плавающего размера ячейки по высоте или вывода полного текста при «наведении» на нужную ячейку и т.п.
Так а в чем проблема? укажите размер текста в % отношении