MySQL कैरेक्टर सेट परिवर्तन गाइड: utf8mb4 में बदलें (मोजीबेक को ठीक करें)

1. परिचय

क्यों आपको MySQL कैरेक्टर सेट बदलने की आवश्यकता हो सकती है

एक डेटाबेस कैरेक्टर सेट एक महत्वपूर्ण सेटिंग है जो निर्धारित करती है कि टेक्स्ट डेटा को कैसे एन्कोड और स्टोरेज के लिए प्रोसेस किया जाता है। MySQL में, डिफ़ॉल्ट कैरेक्टर सेट अक्सर latin1 होता है, जो जापानी या अन्य विशेष अक्षरों के साथ काम करते समय समस्याएँ पैदा कर सकता है। विशेष रूप से डेटा माइग्रेशन या सिस्टम मानकीकरण के दौरान, उपयुक्त कैरेक्टर सेट में स्विच करना आवश्यक हो जाता है।

सामान्य समस्याएँ और उनके कारण

MySQL कैरेक्टर सेट से संबंधित सामान्य समस्याओं में निम्नलिखित शामिल हैं।

1. Mojibake (गड़बड़ अक्षर)

• utf8 और latin1 एक ही वातावरण में मिश्रित हैं
• क्लाइंट और सर्वर के कैरेक्टर सेट सेटिंग्स मेल नहीं खाते

1. खोज करते समय समस्याएँ

• कोलेशन अंतर के कारण, अपेक्षित खोज परिणाम नहीं मिलते
• सॉर्ट क्रम आपकी अपेक्षा से अलग होता है

1. डेटा माइग्रेशन के दौरान समस्याएँ

• utf8mb4 का उपयोग न करने के कारण इमोजी और विशेष प्रतीक सहेजे नहीं जा सकते
• निर्यात/आयात के दौरान कैरेक्टर सेट रूपांतरण सही ढंग से नहीं किया जाता

लेख के लक्ष्य और संरचना

यह लेख MySQL कैरेक्टर सेट परिवर्तन की व्यापक व्याख्या प्रदान करता है, मूलभूत अवधारणाओं से लेकर सेटिंग्स कैसे बदलें और समस्या निवारण तक।

रूपरेखा

1. MySQL कैरेक्टर सेट का मूल ज्ञान
2. वर्तमान कैरेक्टर सेट कैसे जांचें
3. MySQL कैरेक्टर सेट कैसे बदलें
4. परिवर्तन के बाद समस्या निवारण
5. कैरेक्टर सेट परिवर्तन प्रदर्शन को कैसे प्रभावित करते हैं
6. अनुशंसित सेटिंग्स (सर्वोत्तम प्रथाएँ)
7. अक्सर पूछे जाने वाले प्रश्न (FAQ)

इस गाइड को पढ़कर आप MySQL कैरेक्टर सेट की समझ को गहरा करेंगे और सही सेटिंग्स चुनने और सामान्य समस्याओं से बचने में सक्षम होंगे।

2. MySQL कैरेक्टर सेट क्या है? मूल बातें समझना

कैरेक्टर सेट क्या है?

एक कैरेक्टर सेट (Character Set) नियमों का समूह है जिसका उपयोग अक्षरों को डिजिटल डेटा के रूप में संग्रहीत और प्रोसेस करने के लिए किया जाता है। उदाहरण के लिए, जब जापानी अक्षर “あ” को संग्रहीत किया जाता है, UTF-8 इसे बाइट अनुक्रम E3 81 82 के रूप में दर्शाता है, जबकि Shift_JIS 82 A0 का उपयोग करता है।

MySQL में, आप डेटाबेस या टेबल स्तर पर विभिन्न कैरेक्टर सेट निर्दिष्ट कर सकते हैं। उपयुक्त कैरेक्टर सेट चुनकर आप Mojibake को रोक सकते हैं और अंतर्राष्ट्रीयकरण को सुगम बना सकते हैं।

सामान्य कैरेक्टर सेट

कोलेशन क्या है?

कोलेशन वह नियम सेट है जिसका उपयोग एक ही कैरेक्टर सेट के भीतर डेटा की तुलना और क्रमबद्ध करने के लिए किया जाता है। उदाहरण के लिए, यह निर्धारित करता है कि “A” और “a” को एक ही अक्षर माना जाए या नहीं और क्रम कैसे निर्धारित किया जाए।

सामान्यतः उपयोग किए जाने वाले कोलेशन

utf8 और utf8mb4 के बीच अंतर

MySQL का utf8 वास्तव में प्रत्येक अक्षर के लिए केवल 3 बाइट्स तक ही संग्रहीत कर सकता है, इसलिए यह कुछ विशेष अक्षरों (जैसे इमोजी या कुछ विस्तारित CJK अक्षर) को संभाल नहीं सकता। इसके विपरीत, utf8mb4 प्रत्येक अक्षर के लिए 4 बाइट्स तक समर्थन करता है, इसलिए आधुनिक अनुप्रयोगों को utf8mb4 उपयोग करने की सलाह दी जाती है।

क्यों आपको utf8 से utf8mb4 में स्विच करना चाहिए

1. भविष्य की संगतता : आधुनिक सिस्टम utf8mb4 को मानकीकृत करने की दिशा में बढ़ रहे हैं।
2. विशेष अक्षर और इमोजी संग्रहीत करना : utf8mb4 के साथ आप SNS पोस्ट और मैसेजिंग ऐप्स में डेटा को सुरक्षित रूप से संभाल सकते हैं।
3. अंतर्राष्ट्रीयकरण : बहुभाषी सिस्टम के लिए यह mojibake के जोखिम को कम करता है।

सारांश

• कैरेक्टर सेट निर्धारित करता है कि डेटा कैसे संग्रहीत और प्रोसेस किया जाता है।
• कोलेशन निर्धारित करता है कि अक्षरों की तुलना कैसे की जाती है।
• MySQL का utf8 3 बाइट्स तक सीमित है, इसलिए utf8mb4 की सलाह दी जाती है।
• utf8mb4_unicode_ci सामान्य उपयोग के लिए अक्सर अनुशंसित कोलेशन है।

3. वर्तमान कैरेक्टर सेट कैसे जांचें

MySQL कैरेक्टर सेट बदलने से पहले, वर्तमान सेटिंग्स की जांच करना महत्वपूर्ण है।
क्योंकि कैरेक्टर सेट कई स्तरों (डेटाबेस, टेबल, कॉलम) पर सेट हो सकते हैं, आपको ठीक‑ठीक समझना चाहिए कि परिवर्तन कहाँ आवश्यक हैं।

वर्तमान कैरेक्टर सेट कैसे जांचें

MySQL सर्वर-व्यापी कैरेक्टर सेट जांचें

सबसे पहले, पूरे MySQL सर्वर के लिए डिफ़ॉल्ट कैरेक्टर सेट और कोलेशन सेटिंग्स की जाँच करें।

SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';

उदाहरण आउटपुट:

+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8mb4                    |
| character_set_connection | utf8mb4                    |
| character_set_database   | utf8mb4                    |
| character_set_filesystem | binary                     |
| character_set_results    | utf8mb4                    |
| character_set_server     | utf8mb4                    |
| character_set_system     | utf8                        |
+--------------------------+----------------------------+

डेटाबेस प्रति कैरेक्टर सेट की जाँच

किसी विशिष्ट डेटाबेस के लिए कैरेक्टर सेट की जाँच करने के लिए, निम्नलिखित क्वेरी का उपयोग करें।

SELECT SCHEMA_NAME, DEFAULT_CHARACTER_SET_NAME, DEFAULT_COLLATION_NAME
FROM information_schema.SCHEMATA
WHERE SCHEMA_NAME = 'database_name';

उदाहरण आउटपुट

+----------------+----------------------+----------------------+
| SCHEMA_NAME    | DEFAULT_CHARACTER_SET_NAME | DEFAULT_COLLATION_NAME |
+----------------+----------------------+----------------------+
| my_database   | utf8mb4               | utf8mb4_unicode_ci   |
+----------------+----------------------+----------------------+

टेबल का कैरेक्टर सेट जाँचें

यह विशिष्ट टेबल के लिए कैरेक्टर सेट की जाँच करने का तरीका है।

SHOW CREATE TABLE table_name;

उदाहरण आउटपुट

CREATE TABLE `users` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `email` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1 COLLATE=latin1_swedish_ci;

Checkpoints

• DEFAULT CHARSET=latin1 → Not utf8mb4 , so a change is needed
• COLLATE=latin1_swedish_ci → Switching to utf8mb4_unicode_ci is usually more appropriate

कॉलम का कैरेक्टर सेट जाँचें

कॉलम स्तर पर कैरेक्टर सेट की जाँच करने के लिए, निम्नलिखित SQL चलाएँ।

SELECT COLUMN_NAME, CHARACTER_SET_NAME, COLLATION_NAME 
FROM information_schema.COLUMNS 
WHERE TABLE_SCHEMA = 'database_name' 
AND TABLE_NAME = 'table_name';

उदाहरण आउटपुट

+-------------+--------------------+----------------------+
| COLUMN_NAME | CHARACTER_SET_NAME | COLLATION_NAME       |
+-------------+--------------------+----------------------+
| name        | latin1             | latin1_swedish_ci    |
| email       | utf8mb4            | utf8mb4_unicode_ci   |
+-------------+--------------------+----------------------+

इस उदाहरण में, name कॉलम latin1 का उपयोग करता है, इसलिए इसे utf8mb4 में बदलने की सलाह दी जाती है।

सारांश

• MySQL कैरेक्टर सेट कई स्तरों (सर्वर, डेटाबेस, टेबल, कॉलम) पर कॉन्फ़िगर किए जाते हैं।
• प्रत्येक स्तर पर कैरेक्टर सेट की जाँच करके, आप सही परिवर्तन लागू कर सकते हैं।
• वर्तमान कॉन्फ़िगरेशन को पूरी तरह समझने के लिए SHOW VARIABLES और SHOW CREATE TABLE जैसे कमांड का उपयोग करें।

4. MySQL कैरेक्टर सेट कैसे बदलें

MySQL कैरेक्टर सेट को उचित रूप से बदलकर, आप मोजिबाके (ग़लत एन्कोडिंग) को रोक सकते हैं और बहुभाषी डेटा को अधिक सुगमता से समर्थन दे सकते हैं।
इस अनुभाग में, हम प्रत्येक स्तर पर सेटिंग्स को अपडेट करने का तरीका समझाते हैं: सर्वर-व्यापी, डेटाबेस, टेबल, और कॉलम।

सर्वर-व्यापी डिफ़ॉल्ट कैरेक्टर सेट बदलें

सर्वर-व्यापी डिफ़ॉल्ट कैरेक्टर सेट बदलने के लिए, आपको MySQL कॉन्फ़िगरेशन फ़ाइल (my.cnf या my.ini) को संपादित करना होगा।

कदम

1. कॉन्फ़िगरेशन फ़ाइल खोलें

• Linux पर: bash sudo nano /etc/mysql/my.cnf

• Windows पर: wp:list /wp:list

  • Open C:\ProgramData\MySQL\MySQL Server X.X\my.ini

1. कैरेक्टर सेट सेटिंग्स जोड़ें या बदलें mysqld सेक्शन के तहत निम्नलिखित पंक्तियों को जोड़ें या अपडेट करें।

   [mysqld]
   character-set-server=utf8mb4
   collation-server=utf8mb4_unicode_ci
   

3. MySQL पुनः प्रारंभ करें

   sudo systemctl restart mysql
   

Windows पर:

net stop MySQL && net start MySQL

4. परिवर्तन सत्यापित करें

   SHOW VARIABLES LIKE 'character_set_server';
   

डेटाबेस स्तर पर कैरेक्टर सेट बदलें

ALTER DATABASE mydatabase CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

परिवर्तन सत्यापित करें

SELECT SCHEMA_NAME, DEFAULT_CHARACTER_SET_NAME, DEFAULT_COLLATION_NAME 
FROM information_schema.SCHEMATA 
WHERE SCHEMA_NAME = 'mydatabase';

टेबल स्तर पर कैरेक्टर सेट बदलें

ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

परिवर्तन सत्यापित करें

SHOW CREATE TABLE users;

कॉलम स्तर पर कैरेक्टर सेट बदलें

ALTER TABLE users MODIFY COLUMN name VARCHAR(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

परिवर्तन सत्यापित करें

SELECT COLUMN_NAME, CHARACTER_SET_NAME, COLLATION_NAME 
FROM information_schema.COLUMNS 
WHERE TABLE_SCHEMA = 'mydatabase' 
AND TABLE_NAME = 'users';

परिवर्तन के बाद सत्यापन और बैकअप का महत्व

कैरेक्टर सेट बदलने के बाद डेटा की अखंडता बनाए रखने के लिए, इन चरणों का पालन करें.

अपना डेटा बैकअप करें

mysqldump -u root -p --default-character-set=utf8mb4 mydatabase > backup.sql

सेटिंग्स को पुनः जाँचें

SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';
SHOW CREATE TABLE users;

टेस्ट डेटा डालें और प्रदर्शित करें

INSERT INTO users (name, email) VALUES ('Test User', 'test@example.com');
SELECT * FROM users;

सारांश

• सर्वर-व्यापी कैरेक्टर सेट परिवर्तन : Edit my.cnf and set character-set-server=utf8mb4
• डेटाबेस कैरेक्टर सेट परिवर्तन : ALTER DATABASE mydatabase CHARACTER SET utf8mb4
• टेबल कैरेक्टर सेट परिवर्तन : ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4
• कॉलम कैरेक्टर सेट परिवर्तन : ALTER TABLE users MODIFY COLUMN name VARCHAR(255) CHARACTER SET utf8mb4
• परिवर्तन के बाद, हमेशा सेटिंग्स सत्यापित करें और अपने डेटा का परीक्षण करें

5. कैरेक्टर सेट बदलने के बाद समस्या निवारण

MySQL कैरेक्टर सेट बदलने के बाद, आप ऐसे मामलों का सामना कर सकते हैं जहाँ सिस्टम सही ढंग से काम नहीं करता या संग्रहीत डेटा बिगड़ जाता है। इस अनुभाग में, हम सामान्य समस्याओं और उन्हें कैसे ठीक करें को विस्तार से समझाते हैं.

मोजिबाके के कारण और इसे कैसे ठीक करें

यदि कैरेक्टर सेट बदलने के बाद mojibake होता है, तो निम्नलिखित कारण सामान्य हैं.

समाधान #1: क्लाइंट कैरेक्टर सेट को सही ढंग से सेट करें

SET NAMES utf8mb4;

समाधान #2: मौजूदा डेटा को सही तरीके से परिवर्तित करें

UPDATE users SET name = CONVERT(CAST(CONVERT(name USING latin1) AS BINARY) USING utf8mb4);

latin1 से utf8mb4 में परिवर्तित करते समय नोट्स

सुरक्षित प्रक्रिया

1. वर्तमान डेटा का बैकअप लें

   mysqldump -u root -p --default-character-set=latin1 mydatabase > backup.sql
   

2. डेटाबेस कैरेक्टर सेट बदलें

   ALTER DATABASE mydatabase CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
   

3. टेबल कैरेक्टर सेट बदलें

   ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
   

4. डेटा को पुनः आयात करें

   mysql -u root -p --default-character-set=utf8mb4 mydatabase < backup.sql
   

परिवर्तन के बाद डेटा खोज योग्य नहीं है

मामला #1: LIKE खोज काम नहीं करती

SELECT * FROM users WHERE name COLLATE utf8mb4_unicode_ci LIKE '%Tanaka%';

मामला #2: सॉर्ट क्रम बदल गया

SELECT * FROM users ORDER BY BINARY name;

एप्लिकेशन-साइड उपाय

PHP के लिए

mysqli_set_charset($conn, 'utf8mb4');

Python (MySQL Connector) के लिए

import mysql.connector

conn = mysql.connector.connect(
    host="localhost",
    user="root",
    password="password",
    database="mydatabase",
    charset="utf8mb4"
)

For Node.js (MySQL2)

const mysql = require('mysql2');

const connection = mysql.createConnection({
  host: 'localhost',
  user: 'root',
  password: 'password',
  database: 'mydatabase',
  charset: 'utf8mb4'
});

Summary

• Post-change issues generally fall into three categories: client settings, data conversion, and application settings.
• To prevent mojibake, standardize the client character set using SET NAMES utf8mb4.
• Watch for LIKE search and sort order changes, and specify COLLATE when needed.
• Set utf8mb4 in your application as well to avoid encoding mismatches.

6. How Character Set Changes Affect Performance

When changing the MySQL character set to utf8mb4, there are several performance considerations, such as increased storage usage and index limitations.
In this section, we explain the impact and the best countermeasures.

Increased Storage Usage

Compared to MySQL’s utf8, utf8mb4 can use up to 4 bytes per character,
so the overall table size may increase.

Max bytes per character by character set

For example, with utf8, VARCHAR(255) is up to 765 bytes (255×3),
but with utf8mb4, it becomes up to 1020 bytes (255×4).

Countermeasure

ALTER TABLE posts MODIFY COLUMN title VARCHAR(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Increased Index Size

MySQL enforces a maximum index key length.
After switching to utf8mb4, index entries become larger, and you may hit the limit—making indexes unusable.

Check index impact

SHOW INDEX FROM users;

Example error

ERROR 1071 (42000): Specified key was too long; max key length is 767 bytes

Countermeasure

ALTER TABLE users MODIFY COLUMN email VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Impact on Query Performance

Changing the character set to utf8mb4 may affect query execution speed.

Operations that may be affected

• LIKE searches over large datasets
• ORDER BY processing
• JOIN query performance

Countermeasure

CREATE INDEX idx_name ON users(name(100));

Memory Usage and Buffer Tuning

With utf8mb4, memory usage may increase.

Recommended settings

[mysqld]
innodb_buffer_pool_size = 1G
query_cache_size = 128M

Summary

• Switching to utf8mb4 increases storage usage.
• Index sizes increase and may exceed limits.
• Query performance can be affected.
• Because memory usage may increase, buffer sizes may need tuning.

7. Recommended Settings (Best Practices)

By setting MySQL character sets appropriately, you can maintain data integrity while optimizing performance.
In this section, we present recommended MySQL character set configurations and explain key points for an optimal setup.

Recommended MySQL Character Set Configuration

Recommended my.cnf Settings

1. MySQL Server Character Set Settings

[mysqld]
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
init-connect='SET NAMES utf8mb4'
skip-character-set-client-handshake
innodb_large_prefix = ON
innodb_file_format = Barracuda
innodb_file_per_table = 1
innodb_buffer_pool_size = 1G
query_cache_size = 128M

2. Client-Side Character Set Settings

[client]
default-character-set = utf8mb4

Recommended Database Settings

CREATE DATABASE mydatabase DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

To change an existing database character set:

ALTER DATABASE mydatabase CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

Recommended Table Settings

CREATE TABLE users (
  id INT AUTO_INCREMENT PRIMARY KEY,
  name VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci,
  email VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci,
  created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

मौजूदा तालिकाओं के लिए कैरेक्टर सेट बदलें

ALTER TABLE users CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

utf8mb4_general_ci और utf8mb4_unicode_ci के बीच अंतर

✅ यदि आपको बहुभाषी समर्थन या सटीक सॉर्टिंग की आवश्यकता है, तो utf8mb4_unicode_ci चुनें।

इंडेक्स अनुकूलन

CREATE FULLTEXT INDEX idx_fulltext ON articles(content);

सारांश

• utf8mb4 + utf8mb4_unicode_ci का संयोजन अनुशंसित है।
• सर्वर सेटिंग्स (my.cnf) और कनेक्शन कैरेक्टर सेट को मानकीकृत करें।
• डेटाबेस, तालिका और कॉलम स्तर पर स्पष्ट रूप से utf8mb4 निर्दिष्ट करें।
• इंडेक्स कुंजी लंबाई सीमाओं से बचने के लिए VARCHAR(191) का उपयोग करें।
• सटीक तुलना के लिए utf8mb4_unicode_ci का उपयोग करें।

8. अक्सर पूछे जाने वाले प्रश्न

MySQL कैरेक्टर सेट बदलने के बारे में यहाँ सामान्य वास्तविक प्रश्न हैं।
हम त्रुटियों को कैसे संभालें और सबसे अच्छे सेटिंग्स कैसे चुनें भी कवर करते हैं।

utf8 और utf8mb4 के बीच क्या अंतर है?

SHOW VARIABLES LIKE 'character_set_server';

क्या MySQL कैरेक्टर सेट बदलने से डेटा हानि होगी?

mysqldump -u root -p --default-character-set=utf8mb4 mydatabase > backup.sql

यदि मोजिबाके (mojibake) हो जाए तो मैं इसे कैसे ठीक करूँ?

UPDATE users SET name = CONVERT(CAST(CONVERT(name USING latin1) AS BINARY) USING utf8mb4);

latin1 से utf8mb4 में परिवर्तित करने के जोखिम क्या हैं?

ALTER DATABASE mydatabase CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

utf8mb4 में स्विच करने से प्रदर्शन पर असर पड़ता है क्या?

ALTER TABLE users MODIFY COLUMN email VARCHAR(191) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

मुझे कौन सा उपयोग करना चाहिए: utf8mb4_general_ci या utf8mb4_unicode_ci?

utf8mb4 में स्विच करने के बाद क्वेरीज़ धीमी हो जाएँगी क्या?

CREATE FULLTEXT INDEX idx_fulltext ON articles(content);

सारांश

✅ utf8mb4 अनुशंसित है। utf8 अपनी सीमाओं के कारण अनुशंसित नहीं है।
✅ परिवर्तन करने से पहले, हमेशा SHOW VARIABLES के साथ सेटिंग्स जांचें।
✅ mojibake को रोकने के लिए निर्यात/आयात कार्यप्रवाह का उपयोग करें।
✅ इंडेक्स सीमाओं को ध्यान में रखें और जहाँ उपयुक्त हो VARCHAR(191) का उपयोग करें।
✅ प्रदर्शन के लिए, उपयुक्त इंडेक्स जोड़ें।

अंतिम नोट्स

MySQL कैरेक्टर सेट बदलना केवल एक साधारण कॉन्फ़िगरेशन समायोजन नहीं है—यह एक महत्वपूर्ण कार्य है जो डेटा अखंडता और प्रदर्शन को प्रभावित कर सकता है।
सही सेटिंग्स और प्रक्रियाओं का पालन करके, आप utf8mb4 में सुरक्षित और प्रभावी रूप से माइग्रेट कर सकते हैं।

🔹 इस लेख में दिए गए चरणों का पालन करें और अपने कैरेक्टर सेट को सही ढंग से कॉन्फ़िगर करें! 🔹