URL文字列エスケープツール

はじめに

ウェブ開発やインターネット通信の分野では、URL（Uniform Resource Locator）がウェブ上のリソースを特定する上で重要な役割を果たしています。しかし、URLには含めることができる文字に制限があります。特定の文字は特別な意味を持っていたり、他の文字は送信中に誤解されたり破損したりする可能性があるため、URLでの使用が安全ではありません。

URLエンコーディング、別名パーセントエンコーディングは、特別な文字をインターネット上で送信可能な形式に変換するメカニズムです。このツールを使用すると、URL文字列を入力し、特別な文字をエスケープすることで、URLが有効であり、ウェブブラウザやサーバーによって正しく解釈されることを保証します。

URLエンコーディングの理解

URLエンコーディングとは？

URLエンコーディングは、安全でないASCII文字を、%の後にその文字のASCIIコードを表す2桁の16進数を付けて置き換えることを含みます。これにより、インターネット上で情報が変更されることなく送信されることが保証されます。

例えば、スペース文字' 'は%20に置き換えられます。

なぜURLエンコーディングが必要なのか？

URLはインターネット上でASCII文字セットを使用して送信する必要があります。URLにはしばしばこのセットの外にある文字が含まれるため、有効なASCII形式に変換する必要があります。URLエンコーディングは、特別な文字が意図しない影響やエラーを引き起こさないことを保証します。

エンコーディングが必要な文字

RFC 3986仕様に従い、次の文字はURL内で予約されており、文字を文字通り使用する場合はパーセントエンコーディングが必要です：

• 一般的なデリミタ： :, /, ?, #, [, ], @
• サブデリミタ： !, $, &, ', (, ), *, +, ,, ;, =

さらに、Unicodeの文字を含む非ASCII文字もエンコードする必要があります。

URLエンコーディングの仕組み

エンコーディングプロセス

1. 特別な文字を特定する： URL文字列を解析し、予約されていないASCII文字（文字、数字、-、.、_、~）でない文字を特定します。

2. ASCIIコードに変換する： 各特別な文字について、そのASCIIまたはUnicodeコードポイントを取得します。

3. UTF-8バイトシーケンスに変換する（必要に応じて）： 非ASCII文字については、UTF-8エンコーディングを使用して1つ以上のバイトにエンコードします。

4. 16進数に変換する： 各バイトをその2桁の16進数に変換します。

5. パーセント記号を付ける： 各16進数バイトの前に%記号を付けます。

エンコーディングの例

• 文字： ' '（スペース）

  • ASCIIコード： 32
  • 16進数： 20
  • URLエンコード： %20

• 文字： 'é'

  • UTF-8エンコーディング： 0xC3 0xA9
  • URLエンコード： %C3%A9

考慮すべきエッジケース

• Unicode文字： 非ASCII文字はUTF-8にエンコードされ、その後パーセントエンコードされる必要があります。

• すでにエンコードされたパーセント記号： パーセント記号がパーセントエンコーディングの一部である場合、再エンコードされるべきではありません。

• クエリ文字列内の予約文字： 特定の文字はクエリ文字列内で特別な意味を持つため、構造を変更しないようにエンコードする必要があります。

URLデコーディング

URLデコーディングとは？

URLデコーディングは、URLエンコーディングの逆プロセスです。パーセントエンコードされた文字を元の形に戻し、URLを人間やシステムが読み取れるようにします。

デコーディングプロセス

1. パーセントエンコーディングシーケンスを特定する： URL文字列内のすべての%記号とその後の2桁の16進数を見つけます。

2. 16進数をバイトに変換する： 各16進数値を対応するバイトに変換します。

3. UTF-8バイトをデコードする（必要に応じて）： マルチバイトシーケンスの場合、バイトを結合し、UTF-8エンコーディングを使用して元の文字を取得します。

4. エンコードされたシーケンスを置き換える： パーセントエンコードされたシーケンスをデコードされた文字で置き換えます。

デコーディングの例

• エンコードされた： hello%20world

  • %20はスペース' 'に変換されます。
  • デコードされた： hello world

• エンコードされた： J%C3%BCrgen

  • %C3%A4はUTF-8で'ü'に変換されます。
  • デコードされた： Jürgen

URLデコーディングの重要性

URLデコーディングは、URLからのユーザー入力を処理したり、クエリパラメータを読み取ったり、ウェブリクエストから受信したデータを解釈したりする際に重要です。URLから抽出された情報がその適切な、意図された形であることを保証します。

使用例

ウェブ開発

• クエリパラメータ： エラーやセキュリティの脆弱性を防ぐために、クエリパラメータ内のユーザー入力をエンコードします。

• パスパラメータ： URLパスに動的データを安全に含めます。

データ送信

• APIとウェブサービス： APIに送信されるデータが適切にフォーマットされていることを保証します。

• 国際化： 様々な言語の文字を含むURLをサポートします。

セキュリティ

• インジェクション攻撃の防止： 入力をエンコードして、クロスサイトスクリプティング（XSS）や他のインジェクション攻撃のリスクを軽減します。

代替手段

URLエンコーディングは不可欠ですが、他のエンコーディング方法がより適切な場合もあります：

• Base64エンコーディング： URL内のバイナリデータをエンコードするため、またはより高い情報密度が必要な場合に使用されます。

• パーセントエンコーディングなしのUTF-8エンコーディング： 一部のシステムではUTF-8エンコーディングを直接使用しますが、適切に処理されないと問題が発生する可能性があります。

アプリケーションの具体的な要件を考慮して、最も適切なエンコーディング方法を選択してください。

歴史

URLエンコーディングは、1990年代にURLおよびURI（Uniform Resource Identifier）標準の初期仕様と共に導入されました。特別な文字を一貫してエンコードする方法の必要性は、世界中で使用される多様なシステムと文字セットから生じました。

重要なマイルストーンには以下が含まれます：

• RFC 1738（1994）： URLを定義し、パーセントエンコーディングを導入しました。

• RFC 3986（2005）： URI構文を更新し、エンコーディングのルールを洗練しました。

時が経つにつれ、URLエンコーディングはウェブ技術に不可欠な要素となり、異なるシステムやプラットフォーム間での信頼性のある通信を保証しています。

コード例

さまざまなプログラミング言語でのURLエンコーディングの実行例を以下に示します：

1' Excel VBAの例
2Function URLEncode(ByVal Text As String) As String
3    Dim i As Integer
4    Dim CharCode As Integer
5    Dim Char As String
6    Dim EncodedText As String
7
8    For i = 1 To Len(Text)
9        Char = Mid(Text, i, 1)
10        CharCode = AscW(Char)
11        Select Case CharCode
12            Case 48 To 57, 65 To 90, 97 To 122, 45, 46, 95, 126 ' 0-9, A-Z, a-z, -, ., _, ~
13                EncodedText = EncodedText & Char
14            Case Else
15                If CharCode < 0 Then
16                    ' Unicode文字を処理
17                    EncodedText = EncodedText & "%" & Hex(65536 + CharCode)
18                Else
19                    EncodedText = EncodedText & "%" & Right("0" & Hex(CharCode), 2)
20                End If
21        End Select
22    Next i
23    URLEncode = EncodedText
24End Function
25
26' 使用例：
27' =URLEncode("https://example.com/?name=Jürgen")
28

1% MATLABの例
2function encodedURL = urlEncode(url)
3    import java.net.URLEncoder
4    encodedURL = char(URLEncoder.encode(url, 'UTF-8'));
5end
6
7% 使用例：
8% encodedURL = urlEncode('https://example.com/?name=Jürgen');
9

1## Rubyの例
2require 'uri'
3
4url = 'https://example.com/path?query=hello world&name=Jürgen'
5encoded_url = URI::DEFAULT_PARSER.escape(url)
6puts encoded_url
7## 出力: https://example.com/path?query=hello%20world&name=J%C3%BCrgen
8

1// Rustの例
2use url::form_urlencoded;
3
4fn main() {
5    let url = "https://example.com/path?query=hello world&name=Jürgen";
6    let encoded_url = percent_encode(url);
7    println!("{}", encoded_url);
8    // 出力: https://example.com/path%3Fquery%3Dhello%20world%26name%3DJ%C3%BCrgen
9}
10
11fn percent_encode(input: &str) -> String {
12    use percent_encoding::{utf8_percent_encode, NON_ALPHANUMERIC};
13    utf8_percent_encode(input, NON_ALPHANUMERIC).to_string()
14}
15

1## Pythonの例
2import urllib.parse
3
4url = 'https://example.com/path?query=hello world&name=Jürgen'
5encoded_url = urllib.parse.quote(url, safe=':/?&=')
6print(encoded_url)
7## 出力: https://example.com/path?query=hello%20world&name=J%C3%BCrgen
8

1// JavaScriptの例
2const url = 'https://example.com/path?query=hello world&name=Jürgen';
3const encodedURL = encodeURI(url);
4console.log(encodedURL);
5// 出力: https://example.com/path?query=hello%20world&name=J%C3%BCrgen
6

1// Javaの例
2import java.net.URLEncoder;
3import java.nio.charset.StandardCharsets;
4
5public class URLEncodeExample {
6    public static void main(String[] args) throws Exception {
7        String url = "https://example.com/path?query=hello world&name=Jürgen";
8        String encodedURL = URLEncoder.encode(url, StandardCharsets.UTF_8.toString());
9        // スペースを"%20"に置き換える
10        encodedURL = encodedURL.replace("+", "%20");
11        System.out.println(encodedURL);
12        // 出力: https%3A%2F%2Fexample.com%2Fpath%3Fquery%3Dhello%20world%26name%3DJ%C3%BCrgen
13    }
14}
15

1// C#の例
2using System;
3using System.Net;
4
5class Program
6{
7    static void Main()
8    {
9        string url = "https://example.com/path?query=hello world&name=Jürgen";
10        string encodedURL = Uri.EscapeUriString(url);
11        Console.WriteLine(encodedURL);
12        // 出力: https://example.com/path?query=hello%20world&name=J%C3%BCrgen
13    }
14}
15

1<?php
2// PHPの例
3$url = 'https://example.com/path?query=hello world&name=Jürgen';
4$encodedURL = urlencode($url);
5echo $encodedURL;
6// 出力: https%3A%2F%2Fexample.com%2Fpath%3Fquery%3Dhello+world%26name%3DJ%C3%BCrgen
7?>
8

1// Goの例
2package main
3
4import (
5    "fmt"
6    "net/url"
7)
8
9func main() {
10    urlStr := "https://example.com/path?query=hello world&name=Jürgen"
11    encodedURL := url.QueryEscape(urlStr)
12    fmt.Println(encodedURL)
13    // 出力: https%3A%2F%2Fexample.com%2Fpath%3Fquery%3Dhello+world%26name%3DJ%25C3%25BCrgen
14}
15

1// Swiftの例
2import Foundation
3
4let url = "https://example.com/path?query=hello world&name=Jürgen"
5if let encodedURL = url.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) {
6    print(encodedURL)
7    // 出力: https://example.com/path?query=hello%20world&name=J%C3%BCrgen
8}
9

1## Rの例
2url <- "https://example.com/path?query=hello world&name=Jürgen"
3encodedURL <- URLencode(url, reserved = TRUE)
4print(encodedURL)
5## 出力: https://example.com/path?query=hello%20world&name=J%C3%BCrgen
6

注意: 出力は、各言語が予約文字やスペースをどのように処理するかによってわずかに異なる場合があります（例えば、スペースを%20または+としてエンコードするなど）。

URLエンコーディングプロセスのSVGダイアグラム

セキュリティに関する考慮事項

適切なURLエンコーディングとデコーディングはセキュリティにとって重要です：

• インジェクション攻撃の防止： ユーザー入力をエンコードすることで、悪意のあるコードが実行されるのを防ぎ、クロスサイトスクリプティング（XSS）やSQLインジェクションのリスクを軽減します。

• データの整合性： データが変更や破損なく送信されることを保証します。

• 標準への準拠： エンコーディング標準を遵守することで、システム間の相互運用性の問題を回避します。

参考文献

1. RFC 3986 - Uniform Resource Identifier (URI): https://tools.ietf.org/html/rfc3986
2. URLエンコーディングとは何か？その仕組みは？ https://www.urlencoder.io/learn/
3. パーセントエンコーディング： https://en.wikipedia.org/wiki/Percent-encoding
4. URL標準： https://url.spec.whatwg.org/
5. URI.escapeは廃止されています： https://stackoverflow.com/questions/2824126/why-is-uri-escape-deprecated

結論

URLエンコーディングは、ウェブ開発やインターネット通信の重要な側面です。特別な文字を安全な形式に変換することで、URLがブラウザやサーバーによって正しく解釈され、データ送信の整合性とセキュリティが維持されます。このツールは、URL内の特別な文字をエスケープする便利な方法を提供し、互換性を高め、潜在的なエラーやセキュリティの脆弱性を防ぎます。