他们的家境愈窘迫，安不得不四处打工维持生机：当过秘书，开过叉车，搞过电焊。艾弗逊回忆说：“只要是能够挣钱的工作，安都会去做，不过家里还是一团糟，没电、没水、没吃的，下水管还经常破裂，弄得满屋脏水，两个妹妹整天都穿着套鞋。” 弗里曼本来还有一份工作，但在1988年的一起交通意外后被解雇了，他的确很想负担起这个家庭，只不过他出入监狱的次数实在是太频繁了。1991年，他因为携带过量毒品被捕，他在法庭辩解说：“我没有卡迪拉克汽车，没有钻戒，没有买任何奢侈品，我只想还债，只想支撑我的家庭。” 他最终被判入狱22个月，其后又因为违反假释条例加刑23个月。
那段时间，艾弗逊对弗里曼的所作所为感到异常愤怒，但现在却原谅他了：“他只是想养家糊口。他没有伤害过任何人，比如他，绝对不会去抢劫，因为那样他会失去这个家。我曾经见到他一个人偷偷哭泣，他不想那样过日子。”其实，对艾弗逊而言，更重要的是，弗里曼是他的篮球启蒙者。
生父抛弃了他们，养父又进了监狱，15岁的艾弗逊不得不放弃了学业。“当你成为家中最年长的男人，而母亲比你大不了多少，你还有两个年幼的妹妹时，家里又阴暗又潮湿，你就会知道自己应该做什么了。”外面的生活对年幼的艾弗逊也不容易，贫民区里有着上流社会永远不会理解的游戏规则。艾弗逊的朋友有的贩过毒，有的坐过牢，有的加入了黑帮，但他总能成功地远离那些犯法的事件，因为他知道，也许有一天自己能走向成功。
在一场械斗中，艾弗逊一下子失去了8个朋友，包括和他最要好的托尼。他咬着牙对母亲说：“妈妈，我再也不要做穷人了！”于是，他定下了一个帮助全家走出困境的计划，那就是篮球！在一次接受采访时，艾弗逊道出了那时的想法：“为了全家，我必须成功。周围的人告诉我说去nBa的机会只有万分之一，我回答他们说，‘即使失败了，我也必须尝试，我的家人需要我这么做。’我为我们描绘了美好的生活，我不要再回到那个脏水四溢的廉价公寓里去。”
#2
2.崭露头角
阿伦-艾弗逊的母亲安一直都热爱篮球，但阿伦不是。她回忆说：“记得我第一次带他去学篮球，那年他才9岁，哭着喊着就是不想去，因为这是我强迫他做的事情。”
艾弗逊更喜欢的运动是橄榄球———一种更粗犷的运动。“我那时候真的是一百个不愿意，我觉得篮球太‘温柔’了，妈妈甚至还给我买回了价值不菲的乔丹鞋，她命令我说，‘这是你的篮球鞋，今天你必须去练习篮球。’我说，‘噢，我讨厌篮球！’我哭着被她拖到了篮球场，在那儿我却惊奇地现，我的橄榄球队友们都在篮球场上！那天回家后，我十分开心，连连说，‘谢谢你，妈妈！’从此，我就开始了篮球生涯。”
不过，艾弗逊仍然说：“我一直惦记着橄榄球。一开始我根本就没有打nBa的念头，我的目标是成为职业橄榄球队员。”