В модульной арифметике выполняется: (a + b) mod p = (a mod p) + (b mod p)
Вычитание находится следующим образом: (a - b) mod p = (a + (p - b) ) mod p
Получаем:
(6*8 + 9*b)(mod 10) = 48 mod 10 + 9*b mod 10 = 8 + 9*b mod 10 = 5
отсюда:
9*b mod 10 = 5 - 8 = ( 5 + (10 - 8) ) mod 10 = ( 5 + 2 ) mod 10 = 7
В данном случае легко заметить, что первое число удовлетворяющая уравнению первой степени b = 3, т.к.
9 * 3 mod 10 = 27 mod 10 = 7
В общем случае читай в Викепедии раздел "Сравнение по модулю" > "Сравнения первой степени"
или
ikit.edu.sfu-kras.ru/files/15/l4.pdf