Для того чтоб 10в от датчика перевести в 5 вам потребуется всего 2 одинаковых резистора для делителя, скажем килоомных (а вообще смотрите каких - на какую нагрузку рачситан выход датчика). От 5 вотльт REF атмеловский ацп будет работать плохо - проверено, особено в верхнем пределе (из за того что питание то не так стабильно как реф и может и ниже его проседать ну и куча ещё проблем будет). Рекомендуется REF районе 2 вольт, и соответственно поделить ваше входное напрядение. Обозначеная вами точность на внутреннем АЦП атмела фактически не достижима - шумы высокие, если только вам статистически мерять скажем секунд 10 и считать за истину значение с наибольшей вероятностью. Влоб требуюмую точность достигнуть можно только имея внешний высокоразрядный (от 12 и выше) АЦП с чистейшим питанием как его так и вашего датчика. А если не влоб - разбейте сигнал на диапазоны - приведите их к входному значению АЦП и тогда вполне достижима точность (тем более в вашей задаче (я так понял толщиномер) точность требуется только в нижнем диапазне).