Эндрю Вархола родился 6 августа 1928 года в Питтсбурге (штат Пенсильвания, США) четвёртым ребёнком в рабочей семье иммигрантов-русинов[5] из села Микова у Стропкова на северо-востоке современной Словакии, части бывшей Австро-Венгерской империи.
Первый ребёнок — дочь Юстина, родившаяся ещё в Словакии, умерла до переезда в США. Отец Уорхола Андрей в поисках работы иммигрировал в Соединённые Штаты в 1914 году, мать Юлия (в девичестве Завацкая) присоединилась к нему в 1921 году, после смерти бабушки и дедушки Уорхола. Члены глубоко религиозной семьи были прихожанами Русинской греко-католической церкви. Отец Уорхол работал в угольной шахте, не владевшая английским мать подрабатывала мытьём окон и уборкой, а также изготавливала и продавала цветы из консервных банок и гофрированной бумаги. К 1934 году Уорхолы переехали из трущоб в более комфортабельный район. Семья жила на улице Белен, 55, а затем в Доусон-Стрит, 3252 в Окленде, окрестностях Питтсбурга. У Энди было два старших брата, Павел (Пол), родившийся в 1923 году, и Джон, родившийся в 1925 году. Сын Павла, Джеймс Уорхола (англ.)русск., стал иллюстратором детских книжек.