Ну, если задуматься, то да, странно.  
 
 я рад, что хоть с опозданием, но вы допетрили 

 Может в зависит от учебника, но когда я учил испанский по учебнику Комаровой, то там числительные были не в самом начале. 
 Значит, 
плохой/ морально устаревший учебник. В современных учебниках упор на коммуникативность, и темы Vad heter du? Vilket telefonnumer har du? (это из 
первого урока учебника шведского еще 80ых!) - в самом начале.
И правда в том, что «трудно» бывает считать до 20, а потом уже довольно механически счет распространяется до плюс бесконечности.