В том, что среда формирует совершенно другое ощущение языка, нежели одни учебники. 
это было верно в эпоху до интернета. В наше время с тысячами часов контента в Ютубе можно полноценно погрузиться в язык самого разного уровня и плана
Кстати, а почему с ирландцами этот номер не прокатывает? У них там разве нет местных диалектов? 
У меня лёгкий ирландский акцент, поэтому это вводит в заблуждение австралийцев или американцев, которые меня принимают за ирландца. Однако сами ирландцы слышат же, что что-то не до конца своё, но что именно они не понимают. Просто знают, что я не ирландец, вот и всё. Но легкоопределимого "ethnic accent" у меня тоже нет, поэтому их это ставит в ступор.