Generátor ID-jev Snowflake: Ustvarite edinstvene identifikatorje za porazdeljene sisteme

Kaj je generátor ID-jev Snowflake?

Generátor ID-jev Snowflake ustvarja edinstvene identifikatorje za porazdeljene sisteme, prvotno razvit s strani Twitterja za obvladovanje obsežnega obdelovanja podatkov. Ta močan generátor edinstvenih ID-jev proizvaja 64-bitne cele števila, sestavljene iz časovne oznake, ID-ja naprave in zaporedne številke, kar zagotavlja edinstvenost v porazdeljenih sistemih brez usklajevanja med strežniki.

Naša brezplačna spletna orodja za generiranje ID-jev Snowflake vam omogočajo, da takoj ustvarite in razčlenite ID-je Snowflake, kar je idealno za razvijalce, ki delajo z mikroservisi, porazdeljenimi bazami podatkov in aplikacijami z visokim pretokom.

Kako deluje generacija ID-jev Snowflake

ID-ji Snowflake so 64-bitna cela števila s skrbno zasnovano strukturo, ki zagotavlja edinstvenost:

41 bitov: Časovna oznaka (milisekunde od prilagojene epohe)
10 bitov: ID naprave (5 bitov za ID podatkovnega centra, 5 bitov za ID delavca)
12 bitov: Zaporedna številka

Ta struktura porazdeljenega ID-ja omogoča generacijo približno 4.096 edinstvenih ID-jev na milisekundo na napravo, kar jo naredi idealno za sisteme z visokim pretokom.

Kako uporabljati naše orodje za generacijo ID-jev Snowflake

Sledite tem preprostim korakom, da ustvarite edinstvene ID-je Snowflake:

Nastavite prilagojeno epoho (neobvezno): Uporabite privzeto epoho Twitter (2010-11-04T01:42:54.657Z) ali nastavite svojo
Konfigurirajte ID-je naprave: Vnesite ID naprave (0-31) in ID podatkovnega centra (0-31)
Ustvarite ID: Kliknite "Ustvari" za ustvarjanje novega edinstvenega ID-ja Snowflake
Ogled rezultatov: Oglejte si ustvarjeni ID in njegovo razčlenitev komponent

Razčlenitev obstoječih ID-jev Snowflake

Za dekodiranje ID-ja Snowflake ga vnesite v polje "Razčleni ID" in kliknite "Razčleni", da vidite njegovo časovno oznako, ID naprave in komponente zaporedja.

Formula za generacijo ID-jev Snowflake

Algoritem ID-jev Snowflake gradi edinstvene identifikatorje z uporabo bitnih operacij:

1ID = (časovna_označka << 22) | (ID_podatkovnega_centra << 17) | (ID_delavca << 12) | zaporedje
2

Komponente formule:

časovna_označka: Število milisekund od epohe
ID_podatkovnega_centra: 5-bitno celo število (0-31), ki identificira podatkovni center
ID_delavca: 5-bitno celo število (0-31), ki identificira delovno napravo
zaporedje: 12-bitno celo število (0-4095) za več ID-jev na milisekundo

Postopek izračuna ID-jev Snowflake

Algoritem generacije ID-jev Snowflake sledi tem natančnim korakom:

Pridobite trenutno časovno oznako: Pridobite trenutno časovno vrednost v milisekundah
Zagotovite kronološki red: Preverite, ali časovna oznaka presega zadnjo uporabljeno časovno oznako
Obravnavajte isto časovno oznako: Če se časovna oznaka ujema s prejšnjo, povečajte zaporedno številko
Preprečite prelivanje: Če zaporedje doseže 4096, počakajte na naslednjo milisekundo
Združite komponente: Uporabite bitne operacije za ustvarjanje končnega edinstvenega ID-ja

Ta postopek zagotavlja monotono naraščajoče ID-je znotraj vsake naprave, hkrati pa ohranja globalno edinstvenost v porazdeljenih sistemih.

Uporabniški primeri in aplikacije ID-jev Snowflake

ID-ji Snowflake se odlično obnesejo v različnih scenarijih porazdeljenega računalništva:

Glavni uporabniški primeri

Porazdeljeni sistemi: Ustvarite edinstvene ID-je na več napravah brez usklajevanja
Obdelava podatkov z visokim volumnom: Ustvarite razvrstljive ID-je za obsežne nize podatkov
Arhitektura mikroservisov: Zagotovite edinstvene identifikatorje med različnimi storitvami
Deljenje baz podatkov: Uporabite komponente časovne oznake ali ID-ja naprave za učinkovito delitev podatkov

Aplikacije v resničnem svetu

Družbena omrežja: Twitter, Instagram za ID-je objav in uporabnikov
Sistemi e-trgovine: Sledenje naročilom in upravljanje zalog
Zbiranje podatkov IoT: Beleženje dogodkov naprav in podatkov senzorjev
Finančni sistemi: Obdelava transakcij in revizijski sledovi

Omejitve in primerjave ID-jev Snowflake

Čeprav so ID-ji Snowflake močni, drugi sistemi generacije edinstvenih ID-jev vključujejo:

Alternativni sistemi ID-jev

UUID (Univerzalni edinstveni identifikator): Najboljši za porazdeljeno generacijo brez zahtev po razvrščanju
Samodejno povečevanje ID-jev baz podatkov: Preprosta rešitev, omejena na posamezne instance baz podatkov
ULID (Univerzalni edinstveni leksikografsko razvršljiv identifikator): Podoben Snowflake z base32 kodiranjem
NanoID: Kompaktni, URL-varni generator edinstvenih nizov za spletne aplikacije

Omejitve in razmisleki o ID-ju Snowflake

Razumevanje omejitev ID-jev Snowflake pomaga pri pravilni implementaciji:

Pogosti izzivi

Težave s sinhronizacijo ur: Odvisnosti od sistemskega časa lahko povzročijo težave z NTP prilagoditvami ali spremembami poletnega časa
Omejitev leta 2079: Prelivanje 41-bitne časovne oznake zahteva dolgoročno načrtovanje za sisteme z visokim obsegom
Upravljanje ID-jev naprav: Zagotavljanje edinstvenih ID-jev naprav v velikih porazdeljenih sistemih zahteva usklajevanje
Prelivanje zaporedja: Zelo visoki pretoki lahko izčrpajo 4096 zaporedij na milisekundo
Razvrščanje čez naprave: ID-ji so monotoni na napravi, vendar ne globalno med vsemi napravami

Zgodovina ID-jev Snowflake

ID-ji Snowflake so bili predstavljeni s strani Twitterja leta 2010, da bi rešili izziv generiranja porazdeljenih, časovno razvršljivih edinstvenih identifikatorjev v velikem obsegu. Ko je uporabniška baza Twitterja in obseg tvitov eksplodiral, so postali tradicionalni ID-ji s samodejnim povečevanjem nezadostni za njihovo porazdeljeno arhitekturo.

Sistem so nato sprejele velike tehnološke družbe, vključno z Instagramom, Discordom in številnimi drugimi platformami, ki zahtevajo razširljivo generacijo ID-jev za porazdeljene sisteme.

Primeri kode za generacijo ID-jev Snowflake

Implementirajte generacijo ID-jev Snowflake v vašem najljubšem programskem jeziku:

1class SnowflakeGenerator {
2  constructor(epoch = 1288834974657, datacenterIdBits = 5, workerIdBits = 5, sequenceBits = 12) {
3    this.epoch = BigInt(epoch);
4    this.datacenterIdBits = datacenterIdBits;
5    this.workerIdBits = workerIdBits;
6    this.sequenceBits = sequenceBits;
7    this.maxDatacenterId = -1n ^ (-1n << BigInt(datacenterIdBits));
8    this.maxWorkerId = -1n ^ (-1n << BigInt(workerIdBits));
9    this.sequenceMask = -1n ^ (-1n << BigInt(sequenceBits));
10    this.workerIdShift = BigInt(sequenceBits);
11    this.datacenterIdShift = BigInt(sequenceBits + workerIdBits);
12    this.timestampLeftShift = BigInt(sequenceBits + workerIdBits + datacenterIdBits);
13    this.sequence = 0n;
14    this.lastTimestamp = -1n;
15  }
16
17  nextId(datacenterId, workerId) {
18    let timestamp = this.currentTimestamp();
19
20    if (timestamp < this.lastTimestamp) {
21      throw new Error('Ura se je premaknila nazaj. Odklanjam generacijo ID-ja');
22    }
23
24    if (timestamp === this.lastTimestamp) {
25      this.sequence = (this.sequence + 1n) & this.sequenceMask;
26      if (this.sequence === 0n) {
27        timestamp = this.tilNextMillis(this.lastTimestamp);
28      }
29    } else {
30      this.sequence = 0n;
31    }
32
33    this.lastTimestamp = timestamp;
34
35    return ((timestamp - this.epoch) << this.timestampLeftShift) |
36           (BigInt(datacenterId) << this.datacenterIdShift) |
37           (BigInt(workerId) << this.workerIdShift) |
38           this.sequence;
39  }
40
41  tilNextMillis(lastTimestamp) {
42    let timestamp = this.currentTimestamp();
43    while (timestamp <= lastTimestamp) {
44      timestamp = this.currentTimestamp();
45    }
46    return timestamp;
47  }
48
49  currentTimestamp() {
50    return BigInt(Date.now());
51  }
52}
53
54// Uporaba
55const generator = new SnowflakeGenerator();
56const id = generator.nextId(1, 1);
57console.log(`Ustvarjen ID Snowflake: ${id}`);
58

1import time
2import threading
3
4class SnowflakeGenerator:
5    def __init__(self, datacenter_id, worker_id, sequence=0):
6        self.datacenter_id = datacenter_id
7        self.worker_id = worker_id
8        self.sequence = sequence
9
10        self.last_timestamp = -1
11        self.epoch = 1288834974657
12
13        self.datacenter_id_bits = 5
14        self.worker_id_bits = 5
15        self.sequence_bits = 12
16
17        self.max_datacenter_id = -1 ^ (-1 << self.datacenter_id_bits)
18        self.max_worker_id = -1 ^ (-1 << self.worker_id_bits)
19
20        self.worker_id_shift = self.sequence_bits
21        self.datacenter_id_shift = self.sequence_bits + self.worker_id_bits
22        self.timestamp_left_shift = self.sequence_bits + self.worker_id_bits + self.datacenter_id_bits
23        self.sequence_mask = -1 ^ (-1 << self.sequence_bits)
24
25        self._lock = threading.Lock()
26
27    def _til_next_millis(self, last_timestamp):
28        timestamp = self._get_timestamp()
29        while timestamp <= last_timestamp:
30            timestamp = self._get_timestamp()
31        return timestamp
32
33    def _get_timestamp(self):
34        return int(time.time() * 1000)
35
36    def next_id(self):
37        with self._lock:
38            timestamp = self._get_timestamp()
39
40            if timestamp < self.last_timestamp:
41                raise ValueError("Ura se je premaknila nazaj. Odklanjam generacijo ID-ja")
42
43            if timestamp == self.last_timestamp:
44                self.sequence = (self.sequence + 1) & self.sequence_mask
45                if self.sequence == 0:
46                    timestamp = self._til_next_millis(self.last_timestamp)
47            else:
48                self.sequence = 0
49
50            self.last_timestamp = timestamp
51
52            return ((timestamp - self.epoch) << self.timestamp_left_shift) | \
53                   (self.datacenter_id << self.datacenter_id_shift) | \
54                   (self.worker_id << self.worker_id_shift) | \
55                   self.sequence
56
57## Uporaba
58generator = SnowflakeGenerator(datacenter_id=1, worker_id=1)
59snowflake_id = generator.next_id()
60print(f"Ustvarjen ID Snowflake: {snowflake_id}")
61

1import java.util.concurrent.locks.Lock;
2import java.util.concurrent.locks.ReentrantLock;
3
4public class SnowflakeGenerator {
5    private final long epoch;
6    private final long datacenterIdBits;
7    private final long workerIdBits;
8    private final long sequenceBits;
9    private final long maxDatacenterId;
10    private final long maxWorkerId;
11    private final long workerIdShift;
12    private final long datacenterIdShift;
13    private final long timestampLeftShift;
14    private final long sequenceMask;
15
16    private long datacenterId;
17    private long workerId;
18    private long sequence = 0L;
19    private long lastTimestamp = -1L;
20
21    private final Lock lock = new ReentrantLock();
22
23    public SnowflakeGenerator(long datacenterId, long workerId) {
24        this.epoch = 1288834974657L;
25        this.datacenterIdBits = 5L;
26        this.workerIdBits = 5L;
27        this.sequenceBits = 12L;
28
29        this.maxDatacenterId = ~(-1L << datacenterIdBits);
30        this.maxWorkerId = ~(-1L << workerIdBits);
31
32        this.workerIdShift = sequenceBits;
33        this.datacenterIdShift = sequenceBits + workerIdBits;
34        this.timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
35        this.sequenceMask = ~(-1L << sequenceBits);
36
37        if (datacenterId > maxDatacenterId || datacenterId < 0) {
38            throw new IllegalArgumentException("datacenterId ne more biti večji od maxDatacenterId ali manjši od 0");
39        }
40        if (workerId > maxWorkerId || workerId < 0) {
41            throw new IllegalArgumentException("workerId ne more biti večji od maxWorkerId ali manjši od 0");
42        }
43        this.datacenterId = datacenterId;
44        this.workerId = workerId;
45    }
46
47    public long nextId() {
48        lock.lock();
49        try {
50            long timestamp = timeGen();
51            if (timestamp < lastTimestamp) {
52                throw new RuntimeException("Ura se je premaknila nazaj. Odklanjam generacijo ID-ja");
53            }
54
55            if (lastTimestamp == timestamp) {
56                sequence = (sequence + 1) & sequenceMask;
57                if (sequence == 0) {
58                    timestamp = tilNextMillis(lastTimestamp);
59                }
60            } else {
61                sequence = 0L;
62            }
63
64            lastTimestamp = timestamp;
65
66            return ((timestamp - epoch) << timestampLeftShift) |
67                   (datacenterId << datacenterIdShift) |
68                   (workerId << workerIdShift) |
69                   sequence;
70        } finally {
71            lock.unlock();
72        }
73    }
74
75    private long tilNextMillis(long lastTimestamp) {
76        long timestamp = timeGen();
77        while (timestamp <= lastTimestamp) {
78            timestamp = timeGen();
79        }
80        return timestamp;
81    }
82
83    private long timeGen() {
84        return System.currentTimeMillis();
85    }
86
87    public static void main(String[] args) {
88        SnowflakeGenerator generator = new SnowflakeGenerator(1, 1);
89        long id = generator.nextId();
90        System.out.println("Ustvarjen ID Snowflake: " + id);
91    }
92}
93

require 'time'

class SnowflakeGenerator
  def initialize(datacenter_id, worker_id, sequence = 0)
    @datacenter_id = datacenter_id
    @worker_id = worker_id
    @sequence = sequence
    @last_timestamp = -1
    @epoch = 1288834974657

    @datacenter_id_bits = 5
    @worker_id_bits = 5
    @sequence_bits = 12

    @max_datacenter_id = -1 ^ (-1 << @datacenter_id_bits)
    @max_worker_id = -1 ^ (-1 << @worker_id_bits)

    @worker_id_shift = @sequence_bits
    @datacenter_id_shift = @sequence_bits + @worker_id_bits
    @timestamp_left_shift = @sequence_bits + @worker_id_bits + @datacenter_id_bits
    @sequence_mask = -1 ^ (-1 << @sequence_bits)
  end

  def next_id
    timestamp = (Time.now.to_f * 1000).to_i

    raise 'Ura se je premaknila nazaj' if timestamp < @last_timestamp

    if timestamp == @last_timestamp
      @sequence = (@sequence + 1) & @sequence_mask
      timestamp = til_next_millis(@last_timestamp) if @sequence == 0
    else
      @sequence = 0
    end

    @last_timestamp = timestamp

    ((timestamp - @epoch) << @timestamp_left_shift) |
      (@datacenter_id << @datacenter_id_shift) |
      (@worker_id << @worker_id_shift) |
      @sequence
  end

  private

  def til_next

Whiz Tools

Orodje za generiranje in analizo Twitter Snowflake ID za vpoglede

Generator ID snežink

Generator ID snežink

Dokumentacija

Generátor ID-jev Snowflake: Ustvarite edinstvene identifikatorje za porazdeljene sisteme

Kaj je generátor ID-jev Snowflake?

Kako deluje generacija ID-jev Snowflake

Kako uporabljati naše orodje za generacijo ID-jev Snowflake

Razčlenitev obstoječih ID-jev Snowflake

Formula za generacijo ID-jev Snowflake

Postopek izračuna ID-jev Snowflake

Uporabniški primeri in aplikacije ID-jev Snowflake

Glavni uporabniški primeri

Aplikacije v resničnem svetu

Omejitve in primerjave ID-jev Snowflake

Alternativni sistemi ID-jev

Omejitve in razmisleki o ID-ju Snowflake

Pogosti izzivi

Zgodovina ID-jev Snowflake

Primeri kode za generacijo ID-jev Snowflake

Povezana orodja

Ustvarite UUID: Edinstveni identifikatorji za aplikacije

Nano ID Generator - Ustvarite varne URL-varne edinstvene ID-je

Generator naključnih imen projektov

Generator naključnih uporabniških agentov za testiranje spletnega razvoja

Generator naključnih API ključev: Ustvarite varne 32-znakovne nize

Generator CPF za testiranje in ustvarjanje testnih podatkov

Generator naključnih lokacij: Ustvarjalec globalnih koordinat

MD5 Hash Generator

Učinkovit KSUID generator za edinstvene identifikatorje v sistemih

Generator imen za dojenčke s kategorijami - Najdite popolno ime