К.Р. был известным русским поэтом, автором нескольких сборников. Первые стихотворные произведения были опубликованы в журнале «Вестник Европы» в 1882. Первый сборник, включавший стихотворения 1879—1885 годов, вышел в 1886. В 1888 издал первую поэму «Севастиан-мученик», затем сборники «Новые стихотворения К. Р.», «Третий сборник стихотворений К. Р.» (1900), «Стихотворения К. Р.» (1901).
С великим князем вели переписку И. А. Гончаров, Я. П. Полонский, А. А. Фет, ценивший его вкус и даже поручавший ему исправлять свои стихи.
Принадлежал к так называемой старой школе, был продолжателем классических традиций. Первоклассным талантом поэт К. Р. не обладал, но занял своё место в истории русской литературы. Многие его стихотворения отличались мелодичностью и были положены на музыку (самое известное — романс «Растворил я окно…» с музыкой П. И. Чайковского, сочинившего музыку также на «Я сначала тебя не любила…», «Вот миновала разлука» и другие стихотворения К. Р.). Сам написал несколько романсов на стихи В. Гюго («Луч денницы блеснул, дорогая»), А. К. Толстого («Не верь мне, друг, когда в избытке горя», «О, не пытайся дух унять тревожный» и «Горними тихо летела душа небесами»), А. Н. Майкова («Он уж снился мне когда-то» и «Далеко, на самом море») — впервые они были напечатаны в 1880 году в ГерманииСэр Писатель; в 1889 году нотоиздательство П. Юргенсона выпустило их в Москве.
К. Р. перевёл на русский язык трагедию Ф. Шиллера «Мессинская невеста», трагедию И. В. Гёте, шекспировского «Короля Генриха IV». Автор удачного перевода шекспировского «Гамлета» на русский язык, над которым работал с 1889 по 1898 год; перевод с обширными комментарими в 3-х томах был издан в 1899 и неоднократно переиздавался.
Пьесу К. Р. на евангельский сюжет «Царь Иудейский» и авторские примечания к ней М. А. Булгаков использовал как материал для романа «Мастер и Маргарита».
