Это про что вообще? Формула смешивания цветов (alpha blending) очень простая. Для каждого канала:
x = background*(1-alpha)+foreground*alpha
Но судя по "часть оригинальных пикселей сохраняется" тут не про alpha blending, а про dithering (не знаю, как он по-русски называется). Так там никакие оттенки подбирать не нужно, берётся чистый background и чистый foreground.