L'ancienne cathédrale était autrefois l'église de Saint Félix, mais la nouvelle, dédiée à Saint- Apollinaire et dont le vase était beaucoup plus vaste, lui a ravi ce titre. Il serait difficile de connaître d'une manière certaine la fondation de l'église de Saint-Apollinaire ; l'historien des évêques de Valence et Catellan pensent qu'elle fut bâtie dans le cours du XIème siècle, en se fondant sur la date de sa consécration.

Ce fut le pape Urbain II qui célébra cette consécration, en 1095, pendant son séjour en France, où il était venu prêcher le saint voyage d'outre mer. On voyait encore en 1750 la formule de cette consécration écrite en caractères gothiques au dessus de la porte latérale gauche de l'église. Cette inscription était ainsi conçue :

ANNO AB INCARNATIONE DOMINI MILLESIMO NONAGESIMO QUINTO SECUNDO NONIS AUGUSTI, URBANUS PAPA SECUNDUS CUM DUODECIM EPISCOPIS IN HONOREM BEATAE MARIAE VIRGINIS, ET SANCTORUM MARTYRUM CORNEL II ET CYPRIANI, HANC ECCLESIAM DEDICAVIT.

Le nom de Saint- Apollinaire ne se trouve pas relaté dans cette consécration, quoique de vieux titres et des diplômes tirés des archives du chapitre de Saint- Apollinaire placent cet évêque au nombre des patrons de l'église de Valence. Il est parlé pour la première fois de Saint- Apollinaire, comme patron de l'église de Valence, dans une charte sans date accordée par l'empereur Louis IV, fils du roi Boson, à un évêque de Valence, vers l'an 900. La partie la plus remarquable de l'église de Saint- Apollinaire est sans contredit le clocher bâti en forme de tour carrée à quatre étages.

Le rez-de-chaussée est d'une grande simplicité ; peut être est-il une construction romaine. Les étages supérieurs, d'une date plus récente, sont au contraire plus richement ornés : les fenêtres accompagnées de colonnes sont d'un assez bon style, et se présentent sur chaque face en nombre égal.

L'extérieur de l'édifice est bien mieux soigné que l'intérieur : la corniche qui règne dans tout son pourtour est agréablement dessinée, et l'attique de l'aile droite ne serait pas indigne de l'attention des curieux ; il est orné de frises dont les détails seraient précieux, s'ils ne portaient l'empreinte des ravages du temps. Au milieu de l'attique, est fichée une tête grotesque en pierre calcaire que l'on nomme Mascaron : ce petit morceau de sculpture semble appartenir au ciseau romain.

Les portes latérales n'existent plus maintenant telles qu'elles étaient autrefois. On peut apercevoir encore la naissance des voussures qui en formaient le porche ; on leur a substitué de misérables poternes d'un fort mauvais goût. L'emplacement situé le long du mur de l'église du côté du nord était jadis occupé par un cimetière ; il existe encore contre le mur quelques vestiges illisibles d'inscriptions funèbres et les restes d'armoiries et de blasons mutilés.

L'ordonnance extérieure de cet édifice est au reste étrangement défigurée par les bâtiments que l'on a groupés autour de lui sans méthode et sans ordre, tels que des sacristies, des chapelles et des boutiques. Quant à l'intérieur de l'église de Saint- Apollinaire, il est d'une grande simplicité d'ornements. La nef, privée de tribunes, n'offre qu'un ensemble de lignes sans effet ; elle est accompagnée de bas côtés presqu'aussi élevés, mais dépourvus de chapelles latérales, excepté du côté gauche, où, avec quelque attention, on en découvre trois percées en forme d'ouverture de four, et à la décoration desquelles a présidé le plus étrange mauvais goût.

Les bas-côtés qui règnent autour du chœur sont écrasés et privés de lumière. Ils n'étaient autrefois séparés du chœur que par des piliers dont l'effet devait être assez agréable à l'œil ; mais on s'est empressé de les remplacer par un épais massif de bâtisse qui ne présente qu'une surface plane et sans intérêt. Quelques tableaux des écoles italienne, flamande et française décorent le chœur : il en est qui sont remarquables par la pureté du dessin et la vigueur du coloris ; mais, outre les outrages du temps, une étroite et ignorante susceptibilité religieuse les a déshonorés. A l'un des piliers de la nef est accolé un fort beau buste de Pie VI sculpté par Canova : ce buste est supporté par un cénotaphe dans lequel ont été déposés le cœur et les entrailles du Saint Père ; monument fort mesquin et peu digne de l'homme à la mémoire de qui il a été élevé. L'église de Saint Apollinaire a été détruite pendant le cours des guerres civiles, et réédifiée sur un nouveau plan en 1604.

Jean Tuilier et Jacques Blanc se chargèrent de la reconstruire pour la somme de 22 500 livres, dont l'évêque et la chapitre payèrent 3 000 livres et la ville le surplus. Le clocher fut renversé par la foudre en 1281 ; le feu du ciel l'a de nouveau réduit en cendres en 1822. On a remplacé la flèche par une terrasse que couronne une balustrade dont le dessin n'est pas en harmonie avec l'architecture de l'édifice.