如世界大部分国家，美国的健听家庭里的失聪小孩往往会用自发的家庭手势做简单交流；不过今天美国的中学及大学，很多都开办美国手语课程。美国手语是一种有别于英语的语言──它有自己的语法及文法，并有自己独有的文化。现代美国手语的起源取决于各种历史因素和事件，其中包括了聋人教育、北美洲原住民族所用的手势、马萨诸塞州里一个小岛的独特情况、一位尝试教导一名失聪女孩的教士、当然还少不了本身使用手语的聋人的创意与智慧。
意大利于17世纪开始使用标准手语，而法国也于18世纪开始使用；这些标准手语为聋人教育订下了基础。古法国手语是由一位住在巴黎，名叫 Charles-Michel de l'Epée 的修道院院长开发，在他的聋人学校里使用。这些标准手语都是根据当地聋人一直使用的自然手语作为蓝本，再配合当地口语的文法特色发展而成。
美州印地安人使用平地印地安人手语作为族与族之间的沟通语言，这种手语对美国手语的影响暂未可知。
18世纪时，在马萨诸塞州对开海域，玛莎葡萄园岛上，由于创始效应以及该岛离岸之故，聋人人口比例远超于美国本土的水平；许多家庭都有失聪成员，因此玛莎葡萄园手语成为该岛上无人不知的语言。当时的情况，让岛上几乎所有人都能从小轻易习得手语。
公理会教士及聋人教育者汤玛斯·霍金斯·高立德（英语：Thomas Hopkins Gallaudet）被公认为将手语于北美洲发扬光大的第一人。当时在一位失聪少女 Alice Cogswell 的父亲恳求下，高立德开始调查聋人教育法。19世纪初，他造访了 Epée 在巴黎的学校，说服了该校一名老师罗伦·克雷克（英语：Laurent Clerc）跟他回美国。1817年，他们两人在康涅狄格州哈特福开办了美国聋哑人院（现为美国聋人学校 （页面存档备份，存于互联网档案馆）），向美国失聪学生教导手语。
各种历史因素在该校融和，美国手语应运而生。该校许多学生都是从玛莎葡萄园而来，并将他们自己的手语，跟克雷克的古法国手语混合使用；其他学生也带来他们原居地的手语或“家庭手势”。毫无疑问，学校里的学生也自创了不少词汇；如果北美原住民手语真的对美国手语带来影响，应该也在当时吸纳入美国手语当中。
由于法国手语对该校早期的影响很大，现代美国手语的辞汇，有六成跟法国手语相同；而美国手语和英国手语则是几乎完全不一样。
这所为聋人而设的公立学校毕业的学生，继续将美国手语发扬光大。许多毕业生陆续在各个州开办聋人学校，把高立德和克雷克的教育法传授给不同的人，并致力伸展该手语，及予以标准化。不过正如其他语言，美国手语也有地域性特色。
美国手语订立后，于19世纪后期，口语主义者与手语主义者展开激烈的争论，其中包括了不少德高望重的名人，如亚历山大·格拉汉姆·贝尔。口语主义者赢得不少争论；有很长一段时间，社会及学校里都压制了手语的使用。很多人甚至不把手语当成一种语言。这种情况在1955年有所改变，当时一名英文教授威廉·史托科在高立德大学受聘后，开始对美国手语着迷，并积极研究。后来，他在语言学期刊里发表了美国手语的详尽语言学分析，成功说服了学术界把美国手语视为自然语言。
美国手语一直在发展；今天美国手语陆续增加各种手势，以赶上日新月异的科技发展。