常用的顯微硬度計，便攜式硬度計等等每種測試儀器都會有一定誤差，只要處理得當，是可以避免其中的一些不必要的誤差。
一、人為誤差
(1)操作人員技術熟練程度，實踐經驗差別，應盡量由熟悉硬度計的人員使用；
(2)加荷的快慢，也會照成影響，操作時加荷應平整，保持一定加荷時間和標準。
二、被測零件影響的因素
(1)不同的表面光潔度在洛氏硬度測試時，會出現不同的影響。
調質件高溫回火時，有刀痕的表層組織先轉變，抗回火的能力小，硬度值就低。在測試表面光潔度一定標準以下的零件時，必須使用廢砂輪精磨，再用銼刀銼磨光滑，或用細的手砂輪磨光，揩擦干凈。
(2)熱處理零件表面有鹽漬、沙子等物，當加負荷時，零件會產生滑移，若有油膩存在，金剛頭壓入時起潤滑作用，減小磨擦，增加壓深。對欲測硬度的零件必須去除氧化皮，揩擦干凈，不得有臟物。
(3)斜面(或錐度)、球面及圓柱體零件對硬度測試的誤差較平面大。有偏離、滑移的現象，壓深增大，硬度降低。曲率半徑愈小，斜度愈大，硬度數值的降低愈顯著。金剛石壓頭也容易損壞。對這類零件要設計專用工作臺，使工作臺和壓頭同心。
三、壓頭的影響
(1)金剛石壓頭不符合要求或是有磨損，如不能判斷金剛石的好壞，可由計量測試機構進行檢定。
(2)鋼球壓頭強度和硬度不夠，容易產生變形。
四、載荷方面
(1)初負荷：彈簧和主軸、杠桿和百分表之間有摩擦，造成100N的增大或減小。應該對機件進行調整。
(2)主負荷：杠桿比例不對，吊桿和砝碼的配重有誤差；杠桿比不對，應進行調整。刀口有磨損應修復或更換，主軸變形要進行校直。 主軸、杠桿和砝碼偏斜應撥正。
五、硬度計安置不正
硬度計不處于水平位置時，測試硬度，其值偏低。用水平儀測量水平度，然后墊平硬度計。
六、零件某一測試部位的表面與工作臺接觸不良。
零件某一測試部位的表面與工作臺接觸不良或支承點不穩固，將會產生滑移、滾動、翹起等現象。應根據零件的幾何形狀設計合適的工作臺。
七、周圍環境的影響
工廠生產用硬度計常會因周圍環境受震動的影響如：維氏硬度計，致使儀器結構產生松動，示值不穩定。硬度計應安裝在無震動或離震源較遠的地方。
