http://japan.usembassy.gov/j/amc/tamcj-071.html

インディアンはカウント外、黒人は　白人の2/3にカウント
第一条　第三項
（三）〈下院議員および直接税は、この連邦に加入する各州の人口に比例して、各州の間で配分される。各州の人口は、年期契約奉公人を含み課税されないインディアンを除外した自由人の総数に、自由人以外のすべての人数の五分の三を加えたものとする〉。

自由人以外＝黒人奴隷のこと。

ストレートに奴隷と書けない（奴隷制度を認める州と認めない州があったので、曖昧な表現にした）ために上記のような表現になりました。

独立した当時は憲法には人権の記述がありませんでした。
よって、白人も含めて←ココ重要
憲法によっては人権は認められてませんでした。

ただし、これは憲法が奴隷制を認めてるとかそういう話ではないのでご注意を。

恐らく憲法じゃなくて、法律について聞いたほうが望みの回答が得られると思います。