1901年，即他引退后的第一年，他首先拿出500万美元为炼钢工人设立了救济和养老基金，以向帮助他取得事业成功的员工们表示感谢。接着，为帮助有志上进而家境贫穷的年轻人，他当年在纽约市捐款建立了68座图书馆。这个图书馆建设事业持续了16年，他总共捐资1200万美元，兴办图书馆3500座。
第二年，他捐款2500万美元，在华盛顿创立“卡耐基协会”，由美国国务卿约翰任会长，主要用来发展科学、文学和美术事业。该协会曾建造一艘“卡耐基号”海洋调查船，修整了世界航海图。此外，还在加州山顶上建造威尔逊天文台来观察太空。对这个协会，卡耐基在随后的一些年里一再追加资金，累计捐款达7300万美元。
与此同时，卡耐基在他的第二故乡匹兹堡创办了“卡耐基大学”。后来，又在美、英各地捐资创办了各种学校和教育机构。这类用于建造教育设施的捐款，达9000万美元之巨。