Comme pour de nombreuses races canimes, sélectionnées dès le milieu du XIXe siècle, les origines de ce chien restent méconnues. Les quelques écrits à son sujet évoqueent un vieux chien de berger et de bouvier, élevé depuis des siècles en Allemagne. Les rares témoignages des premiers éleveurs allemends décrivent un chien solide, au caractère bien trempé, utilisé principalement par des éleveurs de bovins du sud du pays.
Ce constat n'empêche pas de nombreux cynophiles d'avancer différentes thèses plausibles, basées sur le type et la corpulence du rottweiler, et d'évoquer une origine commune avec une race allemande, le doberman. Pourtant, le rottweiler, considéré avant tout comme une race de bouvier, présente une morphologie plus proche de celle des molossoïdes que celle des lupoïdes, avec trois caractéristiques essentielles : une robe noire marquée de fauve sur certains endroits (bas des pattes, pastilles au dessus des yeux, ect), un poil court et serré, et cette particularité unique pour une race autochtone, de naître avec un fouet presque inexistant (anoure).
Différents autreurs pensent que dans les origines du rottweiler, on retrouve d'anciens mâtins, qui firent souche dans la région de Rottweil, et que des alliances avec des chiens de berger locaux donnèrent naissance à l'un de ses ancêtres, surnommé Metzgerhund. Cette thèse, communément admise de nos jours, ne s'appuie pas sur des bases historiques précises, étant donné l'absence de sources dans la littérature allemande.
Un grand spécialiste des races allemandes, Strebel, avance une thèse selon laquelle le rottweiler appartient à une très vieille souche de chien de berger élevée en Allemagne depuis des siècles, uniquement dans un but utilitaire, jusqu'à ce que quelques amateurs décident de s'y intéresser.
Toujours delon cet auteur, le rottweiler a été considéré depuis longtemps comme l'un des trois types de bergers rencontrés depuis des siècles à travers le pays.
D'autres auteurs allemands, en revanche, pensent que les origines de la race retent mystérieuses.
Ce n'est que lors de son apparition dans la cynophilie naissante vers 1880, que les cynophiles éprouvèrent un soudain intérêt pour sa généalogie et l'historique de la race.
Des découvertes occasionnelles d'ossements et de cânes ont tout juste permis de faire des comparaisons avec d'autres races afin de trouver quelques points de repères importants.
De nombreuses légendes circulent çà et là, et la plus répandue remonte aux invasions comme chiens de guerre par les armées romaines, firent souche en Allemagne. Certains de ces chiens se sont reproduits et, au fil des siècles, le type de la race s'est fixé, au hasard des croisements successifs, jusqu'à ce que des amateurs s'intéressent de près à sa sélection et àn ses aptitude !
A cette époque, plusieurs races élevées eu Europe présentent des caractéristiques qui font penser à une généalogie commune avec le rottweiler.
Les responsables de la race réfutent ces infusions etautres croisements, sans apporter de preuves évidentes pour contredire une telle parenté.