Кодировка юникод UTF-8: ПОЧЕМУ?

[sky208 0]

не совсем понятен ход светлых мыслей при переводе всего магазина на Юникод. при том что все хостерыв россии работают на windows-1251

испытываю трудности с хостером nic.ru и юникодом при том что поддомен должен быть обязательно на windows 1251.

в этой связи решение о юникоде представляется мягко говоря сомнительным

еще больше непонятно зачем было жестко привязывать определенную кодировку, если в базе есть возможность сменить эту кодировку (она просто не привязана к админке - либо не нашел либо Vam ее кастрировал - если так то зачем? чтобы вернуться к изначальному варианту в патче номер 896 ?)

[support 447]

sky208

Мне нравится utf8, она универсальная, это главная причина, а VaM Shop всё-таки используют не только в России, я вот знаю, что и в Польше и в Германии и Бельгии и во Франции есть пользователи, в США, Канаде.

Вот держать кучу разных кодировок для каждого языка, зачем? Если есть универсальная кодировка одна для всех.

Да, конечно, есть небольшие проблемы для разработчиков, но я всё-таки надеюсь, что постепенно все они решатся.

Возвращаться на cp1251 не хочу, честно скажу.

Для посетителя магазина, который просто покупает, ему вообще ведь всё равно, какая кодировка, все современные браузере, email клиенты, все поддерживают utf8 и он просто не знает даже, какая кодировка.

Да и вообще, я например вижу такую тенденция, что весь софт переходит на utf8 постепенно, windows-1251 это уже прошлое, так же как и другие кодировки кириллицы тип koir8, cp866 и т.д.

Ну а также многие современные классы на php тоже изначально рассчитаны на utf8, т.е. классы для ajax, вот тот же ofc-library для рисования графиков, он нормально понимает русский язык тоже только в utf8.

По поводу хостера nic.ru

Насколько я знаю, там в контрольной панели хостинга есть httpd.conf конфиг веб-сервера, вот открой его и закомментируй строку DefaultCharset, т.е. добавь # перед строкой.

Вот такое моё мнение, я конечно могу ошибаться, но пока что я считаю именно так, что utf8

это всё-таки больше плюс, чем минус, особенно если смотреть в будущее.

[sky208 0]

>> Да, конечно, есть небольшие проблемы для разработчиков, но я всё-таки надеюсь, что постепенно все они решатся.

ну проблемы вобщем то не совсем и маленькие - дело в том что большое число юзеров сидят на винде и тексты набивают тоже в винде. другими словами тексты набитые в блокноте на скору руку будут в windows-1251

как обычному юзеру перебивать все тексты в другую кодировку?

переход на нее случится - но не так быстро. по крайней мере до тех пор пока система юзера не будет изначально набивать тексты в юникоде. а это реализовано по умолчанию в висте

в ХР это прежняя windows 1251

так что возможно... но не в ближайшие годы.

насчет перевода софта на другую кодировку - тут буду спорить опять таки по причине того что сам пишу и очевиден факт что софт будет работать на кодировке системы по умолчанию. так что специально и целенаправленно на юникоде пишут не так уж часто- у большинства стоит винда ХР

По поводу хостера nic.ru

Насколько я знаю, там в контрольной панели хостинга есть httpd.conf конфиг веб-сервера, вот открой его и закомментируй строку DefaultCharset, т.е. добавь # перед строкой.

объясняю - кодировка магаза - юникод, кодировка поддомена - не юникод, половина документов набита в кирилице (windows 1251) и перебивать - это БОЛЬШИЕ ПРОБЛЕМЫ

тоесть то что ты тут описываешь как небольшое неудобство - это огромный гемор.

работаю под линуксом (как я понял) ты наверняка с ним не сталкиваешься

у хостера настраивается отдельно php и отдельно файл htaccess и чтобы я не прописал в последнем - если у меня php стоит в кодировке юникода то все документы будут выводиться в юникоде. в данном случае это несовершенство хостера (только что с ним созванивались) но организовал это 2маленькое неудобство" мне не хостер.

я понимаю, когда бил гейтс навязывает всем офис и винду, но когда пытаются навязать юникод, за которым будущее.....

пипец

[support 447]

А какие тексты набивают?

Вроде ж если набивать названия, описания товаров в админке, всё будет в utf8, если копировать из блокнота, ворда, в поле описание товара, всё тоже будет в utf8.

Можно тогда чуть подробнее, что именно набивают в блокноте и что с этим тестом потом делают?!

У меня в линуксе тоже кодировка по умолчанию cp1251, кстати.

Просто если есть какие-то конкретные проблемы с пользователями, с которыми сталкиваются каждый день и час, давай обсуждать, что за проблемы и пути их решения, я ж сам заинтересован в решении этих проблем, а то мне одному с "замыленным" иногда взглядом не всегда ж видно, поэтому я и говорю, есть есть проблемы какие, пишите.

Но принципиально, в скриптах по умолчанию, юникод останется, во всяком случае пока что я не вижу настолько критических проблем с юникодом, что б возвращаться на cp1251.

[sky208 0]

>> Вроде ж если набивать названия, описания товаров в админке, всё будет в utf8, если копировать из блокнота, ворда, в поле описание товара, всё тоже будет в utf8.

не будет. все будет в кодировке системы . отесть в windows 1251 (если ХР)

[support 447]

Нет, будет.

Ты в браузере открыл страницу в кодировке utf8 и когда ты копируешь текст из любой виндовой программы в браузер, текст будет в той кодировке, в которой странице определена браузером.

Разве нет?!

Кодировка системы вообще не играет никакой роли, насколько я понимаю.

У меня может быть китайская винда к примеру, но я ж спокойно могу писать на любом языке, дело не в системе и не в кодировке системы.

[sky208 0]

ты ошибаешься

попробуй использовать винду и поймешь что проблема есть

[ABerezin 0]

Использую винду и никаких проблем. Есть только одна проблема связанная с utf8 - проблема excell/EP. Да и та решается в две строки кода.

[sky208 0]

по умолчанию виндовский блокнот создает файлы в кодировке win-1251

файлы магазина редактировать приходится открывая их напрямую с сервера как раз в блокноте.

вообще я понял что действительно зря поднял шум.  фактически у меня уже давно не совместимая со всеми патчами сборка.

думаю еще месячишко ковыряний и это будет уже законченный продукт которому не нужны будут патчи

закончу - выложу в свободный доступ

кстати - вот что друг написал, цитирую :

>> кстати на мастерхосте так и не смогли запустить вамшоп. в моем распоряжении просто нет возможности сменить кодировку сервера

ну тоесть помоему могу, но не для одного сайта, а для всей площадки

так что я испытал хреновое неудовольствие, потому что юникод там просто не работал

пока я в винду не перевел

возможно их сервера просто не настроены...

иногда сервера не выдают кодировку и тогда с помощью меты уже браузер решает. поэтому на таком сервере постаивть что угодно можно

[support 447]

sky208

Зачем сохранять файлы блокнотом и открывать файлы с сервера?!

Если ты правишь шаблоны, языковые файлы, тогда да, блокнот не подходит, нужен нормальный текстовый редактор.

Хотя и здесь я вот думаю, может сразу в админке магазина сделать редактирование, что не приходить в ftp клиент лазить.

Насколько я знаю, многие либо прямо в браузере забивают товары, либо берут какие-то готовые вордовские файлы, открывают их в ворде, выделяют текст и копируют в браузер, таким способом тоже проблем нет с кодировкой, либо добавляют файлы через эксель, вот с экселем (easypopulate) действительно, есть неудобство с EasyPopulate, при работе с файлом в экселе, проблема в том, что эксель не умеет сохранять в utf8, я пока не знаю как лучше сделать, например поставлю в /admin/easypopualte.php перекодировку из utf8 в cp1251.

Что б модуль EasyPopulate работал в cp1251.

Ну а как он запускал на мастерхосте, что в .htaccess писал, почему у меня например не спросили, что можно сделать, как поставить, я ж может подскажу что дельное?!

Насколько я помню, пару раз помогал ставить на мастерхост VaM Shop и было всё нормально.

[ABerezin 0]

вот с экселем (easypopulate) действительно, есть неудобство с EasyPopulate, при работе с файлом в экселе, проблема в том, что эксель не умеет сохранять в utf8, я пока не знаю как лучше сделать, например поставлю в /admin/easypopualte.php перекодировку из utf8 в cp1251.

Что б модуль EasyPopulate работал в cp1251.

Опционально. Надо указывать кодировку входящего/исходящего файла. По умолчанию сделать 1251. Если кодировки не совпадают - перекодировать. 3 сроки в пхп и 4 строки html.

[ABerezin 0]

файлы магазина редактировать приходится открывая их напрямую с сервера как раз в блокноте.

Проясните, пожалуйста, сию "светлую мысль". Я первый раз с таким сталкиваюсь - какие файлы магазина приходится открывать напрямую с сервера в блокноте? Вы их потом напрямую на сервере сохраняете? Блокнот такое умеет?

[support 447]

Андрей

А для перекодировки что лучше использовать, iconv ?!

[sky208 0]

Проясните, пожалуйста, сию "светлую мысль". Я первый раз с таким сталкиваюсь - какие файлы магазина приходится открывать напрямую с сервера в блокноте? Вы их потом напрямую на сервере сохраняете? Блокнот такое умеет?

разумеется умеет.  и обычно разработчики, если четко знают в каком месте ошибка, правят ее прямо на сервере через блокнот, открыв файл скажем через тот же тотал командер, изменив его в блокноте (обычно это заменитель типа Notepad ++)  и сохранив на сервер. так делают очень многие в тех конторах где я работал.

о том какие файлы - да собственно все, включая скрипты и шаблоны.

поверьте - в этом магазине всегда есть что править, потому как к самому xt-commerce есть вопросы и логика написания порой очень удивляет.

[ABerezin 0]

Саня!

Я делаю так. Если iconv есть, то пользую его, если нет - известные скрипты перекодировки.

Причём делать это нужно один раз на всех :) Т.е. вместо iconv и CP1251toUTF8/UTF8toCP1251 в скритах я пользую функции conv_w2u/conv_u2w (названия условны). А уже внутри их использую доступную функцию. Причём определять доступность нужно во время инклюда этого файла. Т.е. при объявлении функций conv_w2u/conv_u2w.

[ABerezin 0]

обычно разработчики, если четко знают в каком месте ошибка, правят ее прямо на сервере через блокнот

Так Вы говорите о разработчиках, которые правят скрипты в блокноте! Ну тогда да, конечно, утф это беда для них.

Блокнот правит не на сервере, а на локальном диске. Это командир потом переписывает на сервер. Хотя в данном случае это не принципиально.

поверьте - в этом магазине всегда есть что править, потому как к самому xt-commerce есть вопросы и логика написания порой очень удивляет.

Мне не надо рассказывать про зен, хт и оск - я их практически наизусть знаю.

Можно вопрос как к разрабтчику. Если не нравится утф, то почему-бы просто не прогнать по языковым файлам и sql перекодировщик? Работы на пол минуты. 

[support 447]

ABerezin

Андрей, а не поделишься функциями conv_w2u/conv_u2w?

Просто не совсем пойму, в каком конкретно месте в /admin/easypopulate.php привильнее будет добавить перекодировку.

[support 447]

sky208

Мне кажется ты проблему слишком раздул сильно.

Если человек занимается магазином, разрабатывает его, он же обязан ориентироваться в прикладных инструментах, в редакторам там всяких, кодировках и т.д.

Если нужно перекодировать магазин в cp1251, это делается буквально за минуту, если у тебя есть линукс или доступ к ssh на хостинге.

Если хочешь, расскажу как это сделать.

[sky208 0]

проблемы не стояло до смены кодировки

просто не я один магазином занимаюсь и приходится постоянно чтото объяснять тем кто также занимается этим.

была бы старая кодировка - я был бы избавлен от этих проблем. это и разозлило.

что касаемо способов перекодировки - ну работающий магаз я уже конечно не буду перекодировать. но другое дело что это будет полезно другим. тем кто столкнется с этой проблемой (многие не пишут на форуме - по себе знаю - но с проблемами сталкиваются)

думаю даже в какой то раздел документации было бы хорошо эти способы определить

[support 447]

Ну если совсем не вариант объяснить, тогда переводи на cp1251 магазин.

Вот пример того как перекодировать разом все файлы можно посмотреть вот здесь - http://vamshop.ru/support/modules/smf/index.php?topic=699.msg5758#msg5758

Это вариант для перекодировки всех файлов.

[redic 0]

Современные тенденции приходят к тому, что обычные разработчики пользуются зенд студией или еклипсом, или чемнить подобным для винды (пхп-едит, магумой, и прочим) - ни у одного из указанных редакторов нету проблем с юникодом (только злопасный брандершмыг зенд студия почему то не умеет определять кодировку файла самостоятельно)

Даже не савсем обычный разработчик ВаМ пользуется некой программой для редактирования, я думаю у нее тоже нет проблемы с юникодом.

И, на конец, многие обычные разработчики сидят на никсах где нету блокнота, что им прикажете делать?

[sky208 0]

ну опера тоже круто...

однако 90% народу юзают IE...

так что теперь, делать сайты только под оперу? а как же большинство?

[redic 0]

Опера это из другой оперы, при чем тут это?

Возникает вопрос - что именно Вам не нравится в юникоде то?

Большинство?  Я полагаю большинство разработчиков сейчас работают с юникодом.

[ABerezin 0]

Сравнение с оперой абсолютно некорректно. Мы говорим о разработчиках. А подавляющее большинство разработчиков использует профессиональный инструментарий - иначе производительность падает, соответственно денежная масса уменьшается :) Да и разработка ведётся не на удалённом сервере, а на локальном. Хотя конечно последние штрихи часто делаются на сервере. Про разработчика с блокнотом на сервере первый раз услышал.

Наблюдение о юникоде. На searchengines.ru при поиске скриптов под что-нибудь (сms, очень простой cms для промо-сайтов, каталоги, сборники статей, магазины и т.п.) - первый вопрос про тега, второй - про поддержку юникода. На каком-то форуме (кажется mysql.ru) доведённый до предела модератор кинул фразу: "как только народ не извращается, лишь-бы на юникод не переходить!".

[redic 0]

Да и разработка ведётся не на удалённом сервере, а на локальном.

Я веду разработку на своем удаленном сервере, а потом переношу к заказчику.

Но это не важно, ибо я не вижу большой разницы между работой на удаленном серваке или на локальном благодаря zend studio+sftp (для винды есть прога sftpdrive так она вообще делает удаленной сфтп-сервер винтом в системе)

Действительно, работать с юникодом народу кажется сложнее (что очень ошибочно), вот они и придумывают, и разработчики, и админы и все кому не лень.