Welcome Message

Hello my dear reader,

Welcome to my blog, which is dedicated to Cisco technologies. On its pages we will talk about the limitless world of telephony and networking.

We will focus mostly on Cisco collaboration solutions and technologies. These are IP PBX based on Cisco Unified Communications Manager and Cisco Unified Communications Manager Express, Cisco contact centers, Cisco Voice Gateways, etc. Also, I will introduce you the education news: Cisco authorized courses, my own developed training programs, our upcoming events, online learning.

If you have any questions regarding my posts, job or activities, please feel free to ask your questions. I will try to answer them when I have time.

If you are satisfied with the content of my blog, isn’t that worth a beer or coffee? Donations help me to continue supporting the blog and creating new posts here — things for which I spend hours of my free time! Thank you very much!

Sincerely, Dmytro Benda

Friday, February 3, 2012

Cisco 7911 Phone Bug When Updating Its Firmware

Good afternoon, 

At the CIPT1 course I am currently teaching in Almaty, one of the participants asked me to help with a problem, related to the Cisco 7911 phone. The phone refused to accept new software (the TFTP server had SCCP 9.2.3 firmware, CUCME v7.0 was used as the TFTP server). There was a message there on phone display, saying "Upgrading" along with the MAC address of the phone. The student brought the second 7911 phone and it also behaved exactly the same way as the first one. 
Obviously, it was necessary to conduct a deeper analysis of this behavior of the phone. To do this, we decided to use Wireshark to see which packets this device sends and receives. It was found that the phone receives all the necessary settings via DHCP (including the address of the TFTP server with option 150), but did not show any further activity.

The solution was found on the vendor's website here. The following actions have been taken:

- SCCP 8.2.2 SR1 firmware was uploaded to the TFTP server;
- when you turn on the power on the phone, press the # key and hold it until the MWI LED starts flashing:
- reset the phone to factory default with the sequence: 3491672850*#, after that the phone was completely reset;
- the phone received DHCP parameters and then pulled firmware 8.2.2 from the TFTP server;
- after downloading the firmware, the phone rebooted and successfully registered on CUCME, i.e. the phone's performance was restored.

However, then an attempt was made to upgrade the firmware to the current, 9th version. To do it we decided to register the phone on the laboratory CUCM version 8.5, which had firmware 9.2.3. When registering our phone with firmware 8.2.2, the upgrade attempt failed - the phone contacted the server, the upgrade process was activated, but when it started, the message "Auth Fail" was displayed and the software update process was interrupted. Next, the phone was initialized with its existing firmware 8.2.2 and registered on CUCM.

The solution for the second problem that appeared was also found. It turns out that you can upgrade to the 9th firmware versions only if the phone had firmware versions 8.3 or newer. The phone was upgraded from version 8.2.2 to 8.3.5, and then, when registering for CUCM, it successfully automatically upgraded to 9.2.3.

This is how I managed to successfully restore both 7911 phones. If any of you encounter a similar problem on 7911 phones, the method described above helps to fix the situation.

49 comments:

  1. Кто сталкивался, тот не выкладывает на CUCME прошивки, с которых телефон "из коробки" не работает. :)
    А еще 7911G больше не продается.
    http://www.cisco.com/en/US/prod/collateral/voicesw/ps6788/phones/ps379/end_of_life_notice_c51-683624.html

    ReplyDelete
  2. Здравствуйте, Виталий!

    Да, я знаю, что телефон 7911 больше не продается. :) Но как быть тем, у которых подобные телефоны уже куплены? :)

    Согласен - я немного некорректно выразился по поводу "сталкивался". Скорее надо было написать "столкнется" :)

    ReplyDelete
  3. Владимир29 February, 2012 13:14

    Дмитрий, спасибо за полезную статью.
    Точно такая же ситуация была с 7941G. Новый телефон устанавливаю на удаленном сайте. Хотят русскую локаль, а она упорно не тянется ("Auth Fail"). Прошивка новая 9х, также не тянется. Попросил сбросить на дефолт по 123.и.т.д.#. Как результат - мертвый телефон с "чашкой кофе" на экране. Грешил на безопасников. А т.к. я в тот момент, как раз был на курсе CVOICE, который вел Александр, обсудили тогда эту проблему - решения не нашли. Пользователь на складе получил новый телефон.
    А несколько позже я заметил, что часть телефонов нормально регистрируются на CUCM, но ActiveLoadID = unknown. В процессе разбирательств и выяснилось почему: у телефона старая прошивка и он не смог подтянуть новую. Решение аналогичное.

    ReplyDelete
  4. Здравствуйте, Владимир!

    Спасибо за Ваш комментарий. Как видите, все с опытом приходит. Это, собственно, одна из причин, по которой я решил вести блог - записывать полезные решения.

    Иначе проходит время, и то решение, которое было когда-то найдено, забывается.

    ReplyDelete
  5. Эхххх.... а у меня еще хуже было, при обновлении CUCM-a с 5 на 7.1.5 все аппараты начали уходить в ayth fail, вернулись обратно на прежнюю партицию(5-ую версию), они еще раз прошились. При следующей попытке обновления телефоны нормально прошились, но не все, процентов 10 умерло навсегда, даже кнопки не загораются. Насколько я понял при этих перепрошивках залился boot от 7 версии, а сама прошивка осталась от 5 версии - вот и сдохли :(

    ReplyDelete
  6. Здравствуйте Дмитрий!
    Расскажите, пожалуйста, про локали. Понимаю, они нужны для русского языка на телефонах и скачать их нужно с cisco.com. Но мне не дают там ничего качать, что делать, где их взять и куда их потом залить?

    ReplyDelete
  7. Добрый вечер, Родион! Локаль - это не только изменение языка телефона, но и также изменение тонов акустических сигналов станции (КПВ, Занято, Готовность), и изменение языка встроенной системы звуковых сообщений - так называемого Announciator'а.

    Скачать локали можно с cisco.com, но скорее всего потребуется учетная запись с партнерским уровнем доступа. Вот Вам ссылки, где Вы сможете прочесть о локалях более детально:

    http://docwiki.cisco.com/wiki/Cucm-phone-locale-installers

    https://supportforums.cisco.com/thread/2003768

    Хорошего вечера!

    ReplyDelete
  8. Здравствуйте, Дмитрий! У меня к Вам вопрос по поводу телефонов, может и не связанный с прошивками, но не нашёл более подходящей темы для него. В последнее время наблюдается подвисание телефонов. Например, при нажатии кнопки набор телефон перестаёт реагировать, и набора не происходил. Либо же при входящем вызове после поднятия трубки соединения не устанавливается, даже при нажатии кнопки ответ. Если стоит переадресация по таймауту, вызов переадресовывается. Ощущение, что нарушен обмен сообщениями сигнализации между CUCM и телефонами. Смена прошивок не помогает.Систематичности тоже нет, чтоб понять закономерность. Можете подсказать, как найти причину, в какую сторону копать? Пока есть подозрение, что причиной может быть асимметричная маршрутизация между телефонами и CUCM. Буду очень благодарен за любые ответы.

    ReplyDelete
  9. Доброе утро,

    А ранее все телефоны работали нормально? Как давно заметили вот такие подвисания? Не проводились ли какие-либо изменения настроек сети?

    Обмен сигнализацией между телефоном и СUCM можно посмотреть только через Real-Time Monitoring Tool (RTMT). Т.е нужно сначала в Serviceability выставить самый информативный уровень трейсов (debug), выбрать там же телефон для трейса (чтоб лишнее не сыпалось в дебаг), и потом запускать RTMT, совершать звонки и смотреть, что там происходит.

    А что Вы имеете в виду под "ассиметричной маршрутизацией"?

    ReplyDelete
  10. Раньше в большом количестве жалоб не поступало. А изменения в сети постоянно происходят, оборудование несколько раз менялось в том числе. Под асиметрией понимаю разные пути прохождения трафика по сети от CUCM до телефонов и обратно. Хотя вряд ли в этом дело. Воспользуюсь вашим советом. Для уточнения - в RTMT трэйсы собирать в Query Wisard?

    ReplyDelete
  11. Можно трейсить двумя способами:

    1. Использовать Real-Time трейс, но для этого нужно, чтобы при звонке вылезла эта проблема. Как я понял, она не постоянная, а то появляется, то исчезает.

    2. Можно просматривать трейс-файлы, которые лежат в самом ССМ. В RTMT для этого есть две опции - Remote Browse и Local Browse. С помощью первой можно просматривать трейсы, не выгружая их с ССМ. Вторая дает возможность выгрузить файлы трейсов и смотреть их локально на Вашем компе. В обоих случаях Вам нужно знать время возникновения проблемы, чтобы понимать, какой из файлов с трейсами открывать.

    ReplyDelete
  12. Спасибо, ещё и в реальном времени можно посмотреть оказывается.
    В ходе анализа звонка выяснил, что записи о телефоне фигурируют в логах (sdl) двух нод (в кластере 2 CUCM). Это нормальное явление? По идее, если телефон зарегистрирован на одном CUCM, значит он и управляет всеми процессами соединения.

    ReplyDelete
  13. Да, такое может быть, если второй сервер каким-либо образом участвует в обработке звонка с этого телефона (управляет, например, шлюзом или транком, по которому этот телефон может звонить, или же управляет какими либо медиа-ресурсами, которые это телефон использует).

    Я еще вот что хотел Вам посоветовать - проверьте загрузку CPU и памяти в момент такого "подвисания". Вполне возможно, что могут быть перегрузки сервера.

    ReplyDelete
  14. Загрузка не значительна, проверял. Думаю попробовать отключить второй сервер, он поднят на вмваре, а 6 версия его вроде как не поддерживает. Благодарю за советы, Дмитрий!

    ReplyDelete
  15. Пожалуйста :)

    Официально да, 6ка не поддерживается на вмваре, но в лаб-стендах она прекрасно работает на вмваре, я не замечал ранее никаких глюков (хотя для курсов мы уже года 2 как используем 8ку, и сейчас уже планирую переход на 9ку). Но лаба - это лаба, нагрузка на сервер там незначительная, поэтому она не может являться эталоном.

    Если чем-то еще смогу помочь - пишите.

    ReplyDelete
  16. Наконец то отловил лично эту проблему, и могу точнее описать. Телефон попросту перестаёт реагировать на софт клавиши (повтор, новый вызов), и цифровые кнопки. В трубке - нет гудка готовности, только тихий фоновый шум. При этом потери регистрации не происходит. Примерно через минуту-две без перезагрузки телефона всё приходит в норму.
    Выявилась зато закономерность, при переводе телефонов на второй CUCM за момент период наблюдения (2 недели) подобных инцидентов не наблюдалось. Разбираюсь дальше:)

    ReplyDelete
  17. Добрый день, Николай!

    Спасибо за обмен опытом - очень Вам за это признателен. Хотел бы уточнить - проблема не наблюдается при переводе телефонов на физический сервер или при переводе их на виртуальный сервер?

    ReplyDelete
  18. Прошу прощения, забыл уточнить, второй CUCM - на виртуальном сервере. Большинство телефонов на физическом сервере, второй служит для повышения отказоустойчивости, и я некоторые телефоны перевёл на него. Находится он в другой сети, да и физически в другом месте (несколько километров). Из недавних изменений сети вспомнилась только настройка Cisco ASA для офисной сети, но вряд ли она является причиной, слишком уж не систематично инциденты происходят.

    ReplyDelete
  19. т.е если телефоны переводятся на виртуальный сервер, то проблема не наблюдается? верно?

    почему так уточняю... по идее, виртуалка с ССМ 6.0 не является официальным решением, и мысль была о том, что именно виртуалка может вызывать такое поведение.

    ReplyDelete
    Replies
    1. Именно так. Хотя период наблюдения ещё не большой.
      Виртуалка стоит уже довольно давно (больше года), вряд ли в ней дело. В общем то, из ограничений в виртуалке пока заметил только малое количество доступных MTP ресурсов - 24 (посмотрел в RTMT).

      Delete
    2. Добрый день, Дмитрий! Проблема решилась. На асе (на ней терминируется телефонная сеть) в Service Policy Rules во вкладке Protocol Incpection сняли галочку с SCCP (Skinny). Правда, остаётся непонятным факт нормальной работы телефонов на втором CUCM до этих действий, но сейчас главное, что всё работает как надо. Благодарю за участие!

      Delete
  20. Добрый вечер, Дмитрий!

    Прошу помощи у Вас, так как больше-то и обратиться не к кому. В моей сети есть пачка терминалов 7940G и один телефон 7971G. Соответственно, последний достался мне по принципу соблюдения суббординации.
    Систему настроил, работает как часики CUCME 8.6, все проапгрейжено до последних релизов и локализовано.
    Вот эта пачка (7940) работает супер, поэтому считаем, что проблема не в настройках CUCME. Проблема с 7971 после локализации он шибко косячит: на программные клавиши не привязываются линии и features, некоторые вещи вообще не работают, например, нажатие на кнопку "список участников конференции" не нелает ровным счетом ничего :(
    А обидно, ибо управление этими фичами как раз чаще всего предполагается производить именно с моего места :(
    Перевод локали всего CUCME на US в корне лечит ситуацию, но дело в том, что при создании отдельного темплейта для меня в локали US ничего не происходит - остаются и русская локаль и связанные с ней глюки.
    Вопрос: такое может вообще быть или мне надо выравнивать руки? и второе - есть ли смысл переходить на другую прошивку и локализацию 7971?
    Текущая версия: SCCP70.9-101SR1S
    Но это, к сожалению, не все - на пачке 7940 сервисы AIM-CUE выглядят кракозябрами :)

    Буду премного благодарен за консультацию!

    ReplyDelete
  21. Добрый день, Андрей!

    Локализация иногда преподносит такие "сюрпризы" неприятные. Попытаюсь для себя сделать некоторые уточнения. Правильно ли я понимаю, что:

    1. Все телефоны и 7940, и проблемный 7971 локализированы? Т.е на всех них установлена русская локаль? На 7940, как я понимаю, все в порядке (кроме сервисов AIM-CUE), а проблемы наблюдаются только на 7971?

    2. У Вас в системе только один аппарат 7971? или есть еще? Если их несколько, то на всех и такая проблема или только на одном?

    3. На CUCME 8.6 допускается использовать в системе до 5 локалей. Телефонам можно назначать локали выборочно, т.е одному русскую, другому - американскую. Вы пишете, что создали шаблон с американской локалью, но при применении ее к проблемному 7971 на нем остается русская локаль? Верно?

    Есть ли смысл переходить на локализацию 7971? Вопрос двоякий, все зависит от того, насколько хорошо Вам комфортно работается с английскими надписями. Моя личная точка зрения (это не рекомендация ни в коем случае, собственное видение) - я пользуюсь американской локалью для своего телефона. Именно потому, что мне привычнее названия функций по-английски (они так описаны в документации, мануалах, форумах). Если нет обязательного требования, что телефон должен быть русифицирован, то я бы предпочел локаль US.

    По поводу прошивок - конечно, лучше использовать самые новые версии прошивок, по крайней мере я стараюсь этому следовать. Но... это ведь все софт, и бывают, к сожалению, косяки и в новых прошивках. Тут только опытным путем - нужно загружать и пробовать. Не стоит забывать о том, что самые новые прошивки могут "криво" работать с предыдущими версиями ССМ/ССМЕ.

    Что хотел бы Вам предложить сделать - перепрошить телефон принудительно (т.е factory default reset с помощью комбинации клавиш 123456789*0#). Иногда необъяснимые косяки на телефонах лечатся именно так - телефон перезагружает ту же самую прошивку и работает прекрасно.

    ReplyDelete
    Replies
    1. Спасибо, Дмитрий, за быструю реакцию!
      Давайте отвечу по-пунктам:
      1. Да. На все телефоны залит payload соответствующей версии CUCME: cme-151-4Mv1 по таблице навигатора Cisco. Соответственно, "0" локаль RU. При этом все 7940G автоматически подхвалили локализацию (кроме сервисов CUE). Для 7971G дополнительно установлена локализация (сервис CUE отображается нормально), но, как я говорил проблемы с назначанием программных кнопок от 3 до 6 включительно (просто не назначаются) и некорректно работают некоторые Softkeys (точнее, не работают совсем - ConfList и что-то еще).
      2. В системе пока один аппарат, еще пара пересекает границу...
      3. Я пытался засунуть свой телефон в локаль 1, но он упорно не желает этого делать. Лично мне английские названия то же привычнее, но обделять пользователей русским языком несколько нехорошо :)
      спасибо за совет, Дмитрий, сегодня после работы постараюсь его сбросить и перепрошить... По результату отпишусь

      Delete
  22. Ждем результатов перепрошивки :) Говоря об английских названиях, я вел речь именно о Вашем телефоне :) - я знаю требования наших пользователей и то, что они хотят, как правило, русскую локаль.

    Как я понял 7971 локаль 0 не подхватил автоматически, правильно? поэтому Вы ему указали локаль принудительно?

    ReplyDelete
  23. Нет: я создал для него ephone-template с английской локалью (user-local 1 US), но именно ее не подхватывает телефон.

    ReplyDelete
    Replies
    1. Оказалось, что для поддержки нескольких локалей необходимо, чтобы cnf-файлы находились на flash или tftp... Перевел свой телефон на US-локаль...
      Спасибо громадное за помощь!

      Delete
  24. Доброе утро, Андрей!

    Спасибо и Вам за обмен опытом. Как говорил классик: "И опыт, сын ошибок трудных..." :) Особенно это касается циски, иногда спасает именно опыт. :)

    ReplyDelete
  25. Господа, всем Добрый день. Я не очень дружу с IP телефонией, поэтому прошу помощи у вас. Сложилась такая ситуация, имеется 13 Cisco IP Phone 7911G, на протяжении 2-х лет работали на ура, ни одного нарекания не было, но случилось так что телефоны перестали получать IP, на дисплее светится "Настройка IP" и адрес ни как не получается. Сначала такая проблема возникла на 7 телефонах, но потом сама собой разрешилась, грубо говоря просто не успел даже ни чего предпринят, но вчера адрес пропал на 3-х телефонах и теперь проблема сама собой не решается. 2 телефона выступают в качестве свича, сеть раздают нормально, а вот адрес почему то не хапается. Помогите кто чем может, а то лазя в просторах нашего великого интернета, предлагается перешивать девайс, шить как то боязно, судя по отзывам, так как опыта в этом не имею. Заранее благодарю.

    ReplyDelete
    Replies
    1. Доброе утро, Владимир!

      Мне думается, что проблема с DHCP не будет связана с прошивкой. Скорее всего, проблема будет в сети - VLANы и привязка портов к ним, настройки транков и разрешенные на них VLANы, DHCP-relay, физические подключения между сегментами сети.

      Почему так думаю - телефон обычно умеет получать адрес по DHCP и в ситуации, когда на нем прошивки вообще(в частности, при перепрошивке).

      Вы можете безболезненно установить на одном из проблемных телефонов настройки сети вручную (IP address, Mask, Default GW, TFTP-сервер) и попробовать его элементарно попинговать из сегмента, в котором у вас находится DHCP. Не забудьте, что, если DHCP-сервер и телефон находятся в разных сегментах сети (т.е через маршрутизатор), то для выдачи адреса нужна настройка DHCP-relay (ip helper-address).

      Delete
  26. День добрый. После сброса телефона 7911 в дефолт ( путем ввода при загрузке 3491672850*# ) телефон не рестартанул. Экран пустой, только периодически промаргивается всеми 3мя лампочками. Можете посоветовать что сделать? Телефон прицеплен к CUCME 8.6 в нужном влане, тфтп с прошивкой раздается опцией 150.

    ReplyDelete
    Replies
    1. Доброе утро,

      Дело в том, что при введении данной комбинации клавиш, телефон выполняет перепрошивку своего загрузчика (boot loader). Этот процесс занимает минуты 4-5. Нужно просто немного подождать.

      Delete
  27. Добрый день!
    При попытке установить переадресацию на сотовый телефон, на Cisco IP Phone 7911, воспроизводится голосовое сообщение, что соединение с набр. номером невозможно.
    Тел. номер ввожу в разных форматах:
    8926-XXX-XXXX, 926-XXX-XXXX, а так же через 0.

    ReplyDelete
    Replies
    1. Добрый день!

      Проверяйте CSS, установленный для переадресации (по дефолту стоит None). Эти настройки находятся в блоке данных линии телефона (кликаете на ссылку с номеро линии в левом верхнем углу блока данных телефона)

      Delete
  28. День добрый!
    После, выше описанных, манипуляций телефон вовсе перестал включаться. Ждал и 5, и 10, и 30 минут. Ничего...

    ReplyDelete
    Replies
    1. Добрый день, Арсен.

      Перепрошивка телефона - это всегда некоторый риск. К сожалению, бывают, хотя и крайне-крайне редко, случаи, когда телефон не поднимается. Повреждение аппаратной части (какой-либо из микросхем) никак нельзя исключить.

      Delete
    2. т.е. шанса какого-то оживить телефон нет?

      Delete
    3. Ну почему же нет? есть. В сервисный центр его. Если какой-то стабилизатор питания в телефоне полетел, например, то его перепаяют.

      Очень сложно вот так, не видя железки, и проделанных действий, сказать, почему такое случилось.

      Delete
  29. Доброго дня! SCCP 8.2.2 SR1 прошивку не могу найти.. Может кто помочь?

    ReplyDelete
  30. Доброго дня! Есть кирпич 7911.. SCCP 8.2.2 SR1 прошивкой кто богат?

    ReplyDelete
  31. Добрый день! У меня возникла такая проблема, отказал ip-телефон cisco 7911. Проблема состоит в том,что я не могу поменять настройку сети и при подключении телефона интернет пропадает, нюанс в том,что на одном из телефонов есть интернет и худо-бедно можно работать. Хотела перепрошить,но до конца не поняла все действия,особенно как залить прошивку в телефон. Пробовала сбросить до заводских настроек, тоже не получилось. Помогите пожалуйста

    ReplyDelete
    Replies
    1. Добрый день! В перепрошивке ничего сложного нет. Выключаете питание телефона (блок питания, или вынимаете пачкорд в случае РоЕ). Включаете питание снова и удерживаете кнопку # до мигания красного светодиода. После этого вводите комбинацию 123456789*0#. Это и будет Factory Reset. Далее телефон должен заново залить прошивку с ССМ или ССМЕ. при этом будет отображаться надпись Upgrading.

      Delete
    2. помогите в настройке. пожалуйста

      Delete
    3. Есть аппарат, не в какую не хочет работать. если есть быстрый способ связи icq или скайп или почта дайте пожалуйста, вы можете меня спасти готов оплатить.

      Delete
    4. Георгий, именно сейчас я занят, к сожалению, буду не в сети. Если терпит, то могу попробовать Вам помочь вечером (после 20.00 GMT+2. Пришлите, пожалуйста, описание проблемы с телефоном через форму связи блога (левый верхний угол). Если проблема посильная, то вечером Вам помогу.

      Извините, нужно убегать. Хорошего Вам дня!

      Delete
  32. Добрый день! Извините сразу за глупый и не развернутый вопрос.
    Офис 35 абонентов
    АТС Cisco 2800 serias
    Cisco 7911 аппараты соединены с Cisco 3500
    Периодически телефонные аппараты, сами уходят в Ребут...
    Скажите может есть какой то софт по которому можно будет отследить ошибку?
    Не могу понять почему они уходят в ребут...
    Спасибо!

    ReplyDelete
    Replies
    1. Здравствуйте, Александр! К сожалению, мне такой софт неизвестен. :(

      Может быть, что-то смогут подсказать читатели блога?

      Delete
    2. Может есть какая то возможность, отследить по какой причине перегружаются или где возможно посмотреть логи?

      Delete
    3. Попробуйте запустить debug ephone register, также можно попробовать debug ephone error.

      Delete