itDisallow access to commit and file contents in robots.txt - stagit - static git page generator Err adamsgaard.dk 70 hgit clone git://src.adamsgaard.dk/stagit URL:git://src.adamsgaard.dk/stagit adamsgaard.dk 70 1Log /src/log.gph adamsgaard.dk 70 1Files /src/files.gph adamsgaard.dk 70 1Refs /src/refs.gph adamsgaard.dk 70 1README /src/file/README.gph adamsgaard.dk 70 1LICENSE /src/file/LICENSE.gph adamsgaard.dk 70 i--- Err adamsgaard.dk 70 1commit 63be26e0567dc276b45dadeae53b537bf09d7d8c /src/commit/63be26e0567dc276b45dadeae53b537bf09d7d8c.gph adamsgaard.dk 70 1parent 8e6633b64f13aba222eab8996f83366ab12dc7c7 /src/commit/8e6633b64f13aba222eab8996f83366ab12dc7c7.gph adamsgaard.dk 70 hAuthor: Anders Damsgaard URL:mailto:anders@adamsgaard.dk adamsgaard.dk 70 iDate: Mon, 6 Jan 2020 11:49:36 +0100 Err adamsgaard.dk 70 i Err adamsgaard.dk 70 iDisallow access to commit and file contents in robots.txt Err adamsgaard.dk 70 i Err adamsgaard.dk 70 iDiffstat: Err adamsgaard.dk 70 i M create.sh | 5 +++++ Err adamsgaard.dk 70 i M post-receive.sh | 6 ++++++ Err adamsgaard.dk 70 i Err adamsgaard.dk 70 i2 files changed, 11 insertions(+), 0 deletions(-) Err adamsgaard.dk 70 i--- Err adamsgaard.dk 70 1diff --git a/create.sh b/create.sh /src/file/create.sh.gph adamsgaard.dk 70 it@@ -22,6 +22,8 @@ curdir="$(pwd)" Err adamsgaard.dk 70 i # make index. Err adamsgaard.dk 70 i stagit-index "${reposdir}/"*/ > "${curdir}/index.html" Err adamsgaard.dk 70 i Err adamsgaard.dk 70 i+echo "User-agent: *" > robots.txt Err adamsgaard.dk 70 i+ Err adamsgaard.dk 70 i # make files per repo. Err adamsgaard.dk 70 i for dir in "${reposdir}/"*/; do Err adamsgaard.dk 70 i # strip .git suffix. Err adamsgaard.dk 70 it@@ -39,5 +41,8 @@ for dir in "${reposdir}/"*/; do Err adamsgaard.dk 70 i ln -sf ../logo.png logo.png Err adamsgaard.dk 70 i ln -sf ../favicon.png favicon.png Err adamsgaard.dk 70 i Err adamsgaard.dk 70 i+ printf "Disallow: /%s/file/\nDisallow: /%s/commit/\n" \ Err adamsgaard.dk 70 i+ "$r" "$r" >> "${curdir}/robots.txt" Err adamsgaard.dk 70 i+ Err adamsgaard.dk 70 i echo "done" Err adamsgaard.dk 70 i done Err adamsgaard.dk 70 1diff --git a/post-receive.sh b/post-receive.sh /src/file/post-receive.sh.gph adamsgaard.dk 70 it@@ -66,6 +66,12 @@ stagit-index "${reposdir}/"*/ > "${destdir}/index.html" Err adamsgaard.dk 70 i # make pages. Err adamsgaard.dk 70 i stagit -c "${cachefile}" "${reposdir}/${r}" Err adamsgaard.dk 70 i Err adamsgaard.dk 70 i+# disallow access to file and commit contents in parent robots.txt Err adamsgaard.dk 70 i+if ! grep -q "Disallow: /${r}/" "${destdir}/robots.txt"; then Err adamsgaard.dk 70 i+ printf "Disallow: /%s/file/\nDisallow: /%s/commit/\n" \ Err adamsgaard.dk 70 i+ "$r" "$r" >> "${destdir}/robots.txt" Err adamsgaard.dk 70 i+fi Err adamsgaard.dk 70 i+ Err adamsgaard.dk 70 i ln -sf log.html index.html Err adamsgaard.dk 70 i ln -sf ../style.css style.css Err adamsgaard.dk 70 i ln -sf ../logo.png logo.png Err adamsgaard.dk 70 .