В 1886 году шотландец Дэвид Денскин вместе со своими друзьями Элайджей Воткинсоном, Джоном Хамбл и Ричардом Пирсом основали футбольный клуб, который состоял из работников завода «Вулвич Арсенал» и бывших игроков «Ноттингем Фореста» Фреда Бирдсли и Мориса Бейтса. Новорожденная команда получила название одного из цехов судоверфи «Даял Сквер». Первый матч новообразованный клуб провел против команды «Истерн Вондерерз» 11 декабря 1886 года на клочке земли, который находился на Собачьем острове на реке Темза и победил 6-0.
Через две недели, во время сборов на Рождество в пабе «Роял Оук» клуб был переименован в «Королевский Арсенал». Первая форма команды была подаренной руководством «Ноттингем Форест», к которому обратился с письмом Бирдсли. Домашним полем был выбран пустырь Пламстед. На этом же месте 8 января 1887 года состоялся первый официальный матч команды «Роял Арсенал» против клуба Эрита, в котором канониры победили со счетом 6-1.
В 1888 году клуб переезжает на «Мэнор Граунд». В это время «Арсенал» приобретает свои первые трофеи: Кубок графства Кент в 1890 году и Кубок Лондона в 1891 году. Также клуб испытывает свои силы в Кубке Англии 1889/1890, где проходит три квалификационных раунда. Благодаря этим успехам Арсенал приглашают играть свои матчи на стадион «Инвикта Граунд», который был оборудован трибуной с сидячими местами для зрителей и раздевалкой для игроков. В 1891 году клуб снова меняет название, теперь это «Вулвич Арсенал». В конце сезона 1892/1893 руководство Футбольной Лиги принимает решение увеличить количество мест во Втором дивизионе с 12-ти до 15-ти и принять туда лондонский Арсенал вместе с ничем не выдающимися в то время клубами «Ливерпуль» и «Мидлсбро Айронополис».
Из-за увеличения суммы аренды за стадион «Инвикта», команда вынуждена была вернуться на «Мэнор Граунд». Это подтолкнуло канониров задуматься над выкупом земли, чтобы предотвратить повторение подобных ситуаций в будущем. Для достижений этой цели клуб создает общество с ограниченной ответственностью и выпускает 4000 акций номиналом 1 фунт каждая. Всего, в Арсенал вложили деньги 860 человек, которые выкупили 1552 акции. В первое совещание директоров вошли хирург, строитель и шесть инженеров военного завода.
В 1899 году менеджером команды стал Гарри Брэдшоу. И это назначение почти сразу дало результат. Через два года у руля клуба, Гарри финиширует на четвертой позиции, за которой следовали третья, а затем и вторая в 1904 году. Это дало право впервые «Арсеналу» сыграть в Первом дивизионе Футбольной Лиги. Однако в 1904 году Гари Брэдшоу покидает клуб ради предложения «Фулхэма». Через пять лет в том же направлении отправится и следующий менеджер Фил Келсо. Под его руководством канониры два раза доходили до полуфинала Кубка Англии (1906 - поражение 0-2 от «Ньюкасла», 1907 - поражение 1-3 от «Шеффилд Венсди» ). Это был единственный относительный успех, поскольку в период между 1904 и 1913 годами Арсенал ни разу не удосужился даже на видимость борьбы за титул чемпиона Англии и только дважды финишировал выше десятого места в турнирной таблице.
В сезоне 1912-13 канониры впервые и пока в последний раз в своей истории вылетели в низший дивизион, заняв последнее место: всего три победы в 38 матчах и 18 очков на финише чемпионата. В 1913 году команда переехала на новый стадион легендарный «Хайбери», расположенный на севере Лондона. Достоверно не известно, почему было выбрано именно это место, когда было принято решение о смене места прописки. «Вулвич Арсенал» заплатил 20 тысяч фунтов стерлингов за 21-летнюю аренду и обязался не проводить матчи на Пасху и Рождество, поскольку эта земля принадлежала Колледжа богословия Святого Иоанна. В следующем году на стадионе начались серьезные работы: поле было выровнено (северная часть была поднята на 11 футов, а южная опущена на 5), была частично построена главная трибуна и установлены турникеты и терраса. Общая сумма реконструкции составила 80 тысяч фунтов. Неудивительно, что столько наличных в клубе не было, но Норрису удалось договориться о расчете со строителями. Рабочие согласились получать процент от продажи билетов на матч. В это же время из названия исчезла часть «Вулвич».
В период между 1919 и 1925 годы «Арсенал» под руководством Лесли Найтона ничем не запомнился. В 1925 году главным тренером команды стал Герберт Чепмен. Именно с его именем связывают первые успехи команды. Герберт Чепмен предложил революционную схему «дубль-ве эм» 3-2-5. Дебют Герберта Чепмена оказался триумфальным. В сезоне 1925-26 «Арсенал» занял второе место в чемпионате, а в следующем году впервые пробился в финал Кубка Англии. Тот финал 23 апреля 1927 года был выдающимся. Во-первых, в первый раз велась прямая трансляция по радио. А во-вторых, в первый и последний раз Кубок Англии покинул пределы страны. Его завоевал валлийский «Кардифф Сити», победив благодаря голу Хью Фергюсона со счетом 1-0.
В 1927 году разгорелся скандал. Футбольная ассоциация обвинила Генри Норриса в нелегальных выплатах игрокам, а также в других злоупотреблениях и пожизненно отстранила от футбола. К моменту отставки клуб уже перешел под контроль сэра Сэмюэля Хилл-Вуда. Его революционные методики тренировок помогли стать «Арсеналу» доминирующим клубом в 30-х годах. В период с 1930 по 1938 годы команда 5 раз побеждала в Первом дивизионе и дважды становилась обладателем Кубка Англии.
После периода упадка английского футбола, вызванного Второй мировой войной, под руководством Тома Уиттакера «Арсенал» находился во втором периоде успеха, заняв первое место в чемпионате в сезонах 1947-48 и 1952-53, а также выиграв Кубок Англии в 1950 году. Но после этого в 50-х и шестидесятых клуб ничего не выигрывал.
В сезоне 1970-71 «Арсенал» сделал первый в истории золотой дубль, выиграв и чемпионат Англии, и Кубок страны. Спустя девять лет «канониры» еще раз выиграли Кубок Англии, одолев в финальном матче «Манчестер Юнайтед» - и на этом большие успехи клуба в 70-ых закончились. В середине 80-ых «Арсенал» вновь стал грозной силой и в 1987 году под руководством Джорджа Грэхэма выиграл Кубок лиги, а спустя два года выдал фантастический сезон и выиграл чемпионат страны, причем чемпионство «Арсеналу» досталось благодаря голу на последней минуте второго тайма последнего тура чемпионата в ворота «Ливерпуля». В сезоне 1990-91 «Арсенал» - вновь сильнейший в Англии.
Впрочем, тренера Джорджа Грэхэма это не спасло от увольнения в 1995 году. На один год его сменил Брюс Риок, а в 1996 году пост главного тренера «Арсенала» всерьез и надолго занял француз Арсен Венгер, чей приход ознаменовал новую эру в истории клуба. Под руководством Венгера «Арсенал» выиграл три Премьер-лиги (включая один сезон, проведенный без единого поражения), дошел до финалов Кубка УЕФА и Лиги чемпионов (в обоих случаях «канониры» проигрывали в решающем матче). В 2006 году «Арсенал» покинул родной «Хайбери» и переехал на новый стадион «Эмирейтс».