チャプター ▾ 第2版

10.6 Git内部 - 転送プロトコル

転送プロトコル

Gitは2つのリポジトリ間でデータを転送する方法として、主に「ダムプロトコル」と「スマートプロトコル」の2つがあります。このセクションでは、これら2つの主要なプロトコルがどのように機能するかを簡単に説明します。

ダムプロトコル

HTTP経由で読み取り専用のリポジトリを設定する場合、おそらくダムプロトコルが使用されます。このプロトコルは、転送プロセス中にサーバー側でGit固有のコードを必要としないため「ダム(dumb)」と呼ばれます。フェッチプロセスは一連のHTTP GETリクエストであり、クライアントはサーバー上のGitリポジトリのレイアウトを想定できます。

ダムプロトコルは最近ではあまり使われていません。セキュリティを確保したり非公開にしたりするのが難しいため、ほとんどのGitホスト(クラウドベースとオンプレミス双方)はこれの使用を拒否します。後で説明するスマートプロトコルを使用することが一般的に推奨されています。

simplegitライブラリのhttp-fetchプロセスを追ってみましょう。

$ git clone http://server/simplegit-progit.git

このコマンドが最初に行うのは、info/refsファイルの取得です。このファイルはupdate-server-infoコマンドによって書き込まれるため、HTTP転送を正しく機能させるには、これをpost-receiveフックとして有効にする必要があります。

=> GET info/refs
ca82a6dff817ec66f44342007202690a93763949     refs/heads/master

これでリモート参照とSHA-1のリストができました。次に、HEAD参照が何であるかを確認し、終了時に何を確認すればよいかを知ります。

=> GET HEAD
ref: refs/heads/master

プロセスが完了したら、masterブランチをチェックアウトする必要があります。この時点で、ウォークプロセスを開始する準備ができています。開始点はinfo/refsファイルで確認したca82a6コミットオブジェクトなので、まずそれをフェッチします。

=> GET objects/ca/82a6dff817ec66f44342007202690a93763949
(179 bytes of binary data)

オブジェクトが返されます。そのオブジェクトはサーバー上にルーズ形式で存在し、静的なHTTP GETリクエスト経由でフェッチしました。それをzlibで解凍し、ヘッダーを削除して、コミットの内容を確認できます。

$ git cat-file -p ca82a6dff817ec66f44342007202690a93763949
tree cfda3bf379e4f8dba8717dee55aab78aef7f4daf
parent 085bb3bcb608e1e8451d4b2432f8ecbe6306e7e7
author Scott Chacon <schacon@gmail.com> 1205815931 -0700
committer Scott Chacon <schacon@gmail.com> 1240030591 -0700

Change version number

次に、さらに2つのオブジェクトを取得する必要があります。cfda3bは、取得したばかりのコミットが指しているコンテンツのツリーであり、085bb3は親コミットです。

=> GET objects/08/5bb3bcb608e1e8451d4b2432f8ecbe6306e7e7
(179 bytes of data)

これで次のコミットオブジェクトが得られます。ツリーオブジェクトを取得します。

=> GET objects/cf/da3bf379e4f8dba8717dee55aab78aef7f4daf
(404 - Not Found)

おっと、そのツリーオブジェクトはサーバー上にルーズ形式で存在しないようで、404応答が返されました。これにはいくつかの理由があります。オブジェクトが別のリポジトリにあるか、このリポジトリのパックファイルにある可能性があります。Gitはまずリストされている代替リポジトリをチェックします。

=> GET objects/info/http-alternates
(empty file)

これが代替URLのリストを返した場合、Gitはそこのルーズファイルとパックファイルをチェックします。これは、互いにフォークしているプロジェクトがディスク上のオブジェクトを共有するための優れたメカニズムです。しかし、この場合は代替がリストされていないため、オブジェクトはパックファイルに存在する必要があります。このサーバーで利用可能なパックファイルを確認するには、それらのリストを含むobjects/info/packsファイル(これもupdate-server-infoによって生成されます)を取得する必要があります。

=> GET objects/info/packs
P pack-816a9b2334da9953e530f27bcac22082a9f5b835.pack

サーバー上にはパックファイルが1つしかないので、オブジェクトは明らかにそこに含まれていますが、念のためインデックスファイルを確認します。これは、サーバー上に複数のパックファイルがある場合にも役立ち、必要なオブジェクトが含まれているパックファイルを特定できます。

=> GET objects/pack/pack-816a9b2334da9953e530f27bcac22082a9f5b835.idx
(4k of binary data)

パックファイルインデックスがあれば、オブジェクトがそこにあるかを確認できます。インデックスには、パックファイルに含まれるオブジェクトのSHA-1と、それらのオブジェクトへのオフセットがリストされているからです。オブジェクトはそこにあるので、パックファイル全体を取得します。

=> GET objects/pack/pack-816a9b2334da9953e530f27bcac22082a9f5b835.pack
(13k of binary data)

ツリーオブジェクトがあるので、コミットのウォークを続行します。これらもすべて、ダウンロードしたばかりのパックファイル内にあるため、サーバーへの追加のリクエストは不要です。Gitは、最初にダウンロードしたHEAD参照が指していたmasterブランチのワーキングコピーをチェックアウトします。

スマートプロトコル

ダムプロトコルは単純ですが少し非効率的であり、クライアントからサーバーへのデータの書き込みを処理できません。スマートプロトコルは、より一般的なデータ転送方法ですが、リモート側でGitについてインテリジェントなプロセスを必要とします。つまり、ローカルデータを読み取り、クライアントが持っているものと必要なものを把握し、それに応じたカスタムのパックファイルを生成できます。データ転送には2組のプロセスがあります。データをアップロードするためのペアと、データをダウンロードするためのペアです。

データアップロード

リモートプロセスにデータをアップロードするために、Gitはsend-packreceive-packプロセスを使用します。send-packプロセスはクライアント上で実行され、リモート側のreceive-packプロセスに接続します。

SSH

たとえば、プロジェクトでgit push origin masterを実行し、originがSSHプロトコルを使用するURLとして定義されているとします。Gitはsend-packプロセスを起動し、SSH経由でサーバーへの接続を開始します。それは、次のようなSSH呼び出しを通じてリモートサーバー上でコマンドを実行しようとします。

$ ssh -x git@server "git-receive-pack 'simplegit-progit.git'"
00a5ca82a6dff817ec66f4437202690a93763949 refs/heads/master□report-status \
	delete-refs side-band-64k quiet ofs-delta \
	agent=git/2:2.1.1+github-607-gfba4028 delete-refs
0000

git-receive-packコマンドは、現在持っている参照ごとに1行で即座に応答します。この場合、masterブランチとそのSHA-1のみです。最初の行には、サーバーの機能のリスト(ここではreport-statusdelete-refs、およびクライアント識別子を含むその他の機能)も含まれます。

データはチャンクに分割されて送信されます。各チャンクは、チャンクの長さ(それ自体の4バイトを含む)を指定する4文字の16進値で始まります。チャンクは通常、1行のデータと末尾の改行を含みます。最初のチャンクは00a5で始まり、これは16進数で165を意味し、チャンクが165バイト長であることを示します。次のチャンクは0000で、サーバーが参照リストの処理を終えたことを意味します。

サーバーの状態がわかったので、send-packプロセスはサーバーが持っていないコミットを特定します。このプッシュで更新される各参照について、send-packプロセスはその情報をreceive-packプロセスに伝えます。たとえば、masterブランチを更新し、experimentブランチを追加する場合、send-packの応答は次のようになります。

0076ca82a6dff817ec66f44342007202690a93763949 15027957951b64cf874c3557a0f3547bd83b3ff6 \
	refs/heads/master report-status
006c0000000000000000000000000000000000000000 cdfdb42577e2506715f8cfeacdbabc092bf63e8d \
	refs/heads/experiment
0000

Gitは、更新する各参照に対して、行の長さ、古いSHA-1、新しいSHA-1、および更新される参照を含む行を送信します。最初の行にはクライアントの機能も含まれます。すべての'0'のSHA-1値は、以前には何もなかったことを意味します。なぜならexperiment参照を追加しているからです。参照を削除する場合は、逆のことが起こります。右側にすべての'0'が表示されます。

次に、クライアントはサーバーがまだ持っていないすべてのオブジェクトのパックファイルを送信します。最後に、サーバーは成功(または失敗)の表示で応答します。

000eunpack ok
HTTP(S)

このプロセスはHTTP経由でもほとんど同じですが、ハンドシェイクが少し異なります。接続は次のリクエストで開始されます。

=> GET http://server/simplegit-progit.git/info/refs?service=git-receive-pack
001f# service=git-receive-pack
00ab6c5f0e45abd7832bf23074a333f739977c9e8188 refs/heads/master□report-status \
	delete-refs side-band-64k quiet ofs-delta \
	agent=git/2:2.1.1~vmg-bitmaps-bugaloo-608-g116744e
0000

これで最初のクライアントとサーバー間の交換は終了です。クライアントは次に、send-packが提供するデータを含む別のリクエスト(今回はPOST)を発行します。

=> POST http://server/simplegit-progit.git/git-receive-pack

POSTリクエストには、send-packの出力とパックファイルがペイロードとして含まれます。サーバーは、HTTP応答で成功または失敗を示します。

HTTPプロトコルは、このデータをチャンク転送エンコーディングでさらにラップする可能性があることに注意してください。

データダウンロード

データをダウンロードする場合、fetch-packupload-packプロセスが関与します。クライアントはfetch-packプロセスを開始し、リモート側のupload-packプロセスに接続して、どのデータを転送するかをネゴシエートします。

SSH

SSH経由でフェッチを行う場合、fetch-packは次のように実行されます。

$ ssh -x git@server "git-upload-pack 'simplegit-progit.git'"

fetch-packが接続した後、upload-packは次のようなものを返します。

00dfca82a6dff817ec66f44342007202690a93763949 HEAD□multi_ack thin-pack \
	side-band side-band-64k ofs-delta shallow no-progress include-tag \
	multi_ack_detailed symref=HEAD:refs/heads/master \
	agent=git/2:2.1.1+github-607-gfba4028
003fe2409a098dc3e53539a9028a94b6224db9d6a6b6 refs/heads/master
0000

これはreceive-packが応答するものと非常によく似ていますが、機能が異なります。さらに、HEADが何を指しているか(symref=HEAD:refs/heads/master)を返すため、クライアントはこれがクローンである場合に何をチェックアウトすればよいかを知ることができます。

この時点で、fetch-packプロセスは自身が持っているオブジェクトを確認し、「want」とそれに続く必要なSHA-1を送信することで、必要なオブジェクトを応答します。自身がすでに持っているすべてのオブジェクトを「have」とそれに続くSHA-1で送信します。このリストの終わりに、「done」を書き込み、upload-packプロセスが、必要なデータのパックファイルの送信を開始するよう指示します。

003cwant ca82a6dff817ec66f44342007202690a93763949 ofs-delta
0032have 085bb3bcb608e1e8451d4b2432f8ecbe6306e7e7
0009done
0000
HTTP(S)

フェッチ操作のハンドシェイクには2つのHTTPリクエストが必要です。最初のものは、ダムプロトコルで使用されたのと同じエンドポイントへのGETです。

=> GET $GIT_URL/info/refs?service=git-upload-pack
001e# service=git-upload-pack
00e7ca82a6dff817ec66f44342007202690a93763949 HEAD□multi_ack thin-pack \
	side-band side-band-64k ofs-delta shallow no-progress include-tag \
	multi_ack_detailed no-done symref=HEAD:refs/heads/master \
	agent=git/2:2.1.1+github-607-gfba4028
003fca82a6dff817ec66f44342007202690a93763949 refs/heads/master
0000

これはSSH接続を介してgit-upload-packを呼び出すのと非常に似ていますが、2番目の交換は別のリクエストとして実行されます。

=> POST $GIT_URL/git-upload-pack HTTP/1.0
0032want 0a53e9ddeaddad63ad106860237bbf53411d11a7
0032have 441b40d833fdfa93eb2908e52742248faf0ee993
0000

繰り返しになりますが、これは上記と同じ形式です。このリクエストへの応答は成功または失敗を示し、パックファイルを含みます。

プロトコル概要

このセクションには、転送プロトコルの非常に基本的な概要が含まれています。プロトコルにはmulti_ackside-band機能など、他にも多くの機能が含まれていますが、それらすべてをこの本でカバーすることはできません。私たちはクライアントとサーバー間の一般的なやり取りの感覚を提供しようとしました。これ以上の知識が必要な場合は、Gitのソースコードを参照することをお勧めします。

scroll-to-top