أخذت المدينة اسمها من جبل الكرمك الذي تتمدد على طول سفوحه، وتعني الكلمة الحجر أو الصخرة بلغة البرون، وهي فرع من قبائل الفونج ذات الأصول الكوشية. وثمة اسطورة تروي بأن فتاة كانت قد تسلقت الجبل ولم تعد إلى بيتها، وعندما اقتفى أهلها أثرها عثروا عليها جثة هامدة وقد تحولت إلى صخرة فوق الجبل، فعرف المكان بتلك الصخرة.

جعل موقع الكرمك الإستراتيجي من تاريخ المدينة سِجّلاً حافلاً بالنزاعات والصدامات العسكرية الطويلة بين مختلف الفرقاء للإستيلاء عليها أو إستعادتها. ففي الحروب الإستعمارية التي وقعت بين القوى الغربية الكبيرة وبالتحديد بين إيطاليا و بريطانيا تم احتلال الكرمك من قبل القوات الإيطالية في شرق أفريقيا الإيطالية وذلك في اطار في المرحلة الأولى من حملة شرق أفريقيا.