mirror of
https://github.com/yamadashy/repomix.git
synced 2026-05-30 11:18:53 +02:00
523fb07111
intent(pack-defense): Repomix を「コード抽出 API」として大量に叩く匿名クローラ対策。GA + Cloud Run logs の調査で 2026-04 末に 21K+ unique GitHub repos を 7 日で系統列挙されたインシデントが確認された。IP ベースの rate limit (3/min, 30/day) は機能していたが residential proxy + Tencent Cloud SG で 2,256+ unique IPs に分散され実質無力化されていた。 decision(turnstile-vs-asn): Turnstile (JS challenge) を採用。ASN ブロックは residential proxy で無力、daily limit 強化は IP 数で水増し可能。invisible JS challenge は residential proxy 経由でも通せないので一番 cost asymmetric。 constraint(scope): /api/pack のみ。docs / health / ホームページ閲覧は無関係 — Googlebot / GPTBot / ClaudeBot 等は GET HTML しか叩かないので SEO/LLMO に影響なし。 decision(fail-policy): TURNSTILE_SECRET_KEY 未設定なら fail-open(dev/preview を壊さない、警告ログは出す)。設定済みでトークン欠落・siteverify 失敗・ネットワーク失敗は全て fail-closed の 403。 decision(token-transport): X-Turnstile-Token ヘッダで送信。FormData フィールドにすると packRequestSchema (valibot) を汚染するため、cross-cutting concern として layer を分離。 decision(client-widget): invisible 不可視ウィジェットを TryIt.vue マウント時にレンダ、submit 直前に turnstile.execute() で 1-shot トークン取得。トークンは 5 分有効・1 回限りなので毎 pack で reset → execute。 rejected(form-field-token): cfTurnstileToken を FormData に入れる案 — packRequestSchema が strict object のため新フィールド追加が必要、ビジネスロジックと認証が混ざる。 rejected(asn-block): Tencent Cloud SG (AS132203) WAF ブロック — バルク部分には効くが residential proxy 部分(家庭 ISP・モバイル・大学ネット)が世界中に散らばっており ASN 単位で弾けない、正規ユーザを巻き込むリスク。 rejected(daily-limit-tightening): 30 → 10/day per IP — IP 数で水増しできる相手には無意味、人間ユーザの体験のみ悪化。 constraint(observability): outcome="turnstile_failed" として既存の pack_completed イベントに乗せる。新 metric 不要、既存ダッシュボードに自動で reject reason として現れる。 learned(rate-limit-effectiveness): スパイク期間中の SG pack 成功率は 0.15% (32/21,501)。app-level rate limit は処理は止めていたが入口の負荷(TCP/TLS/Upstash check)は受けていた。Turnstile は CDN 層に近く、より早く弾ける利点がある。 Co-Authored-By: Claude Opus 4.7 (1M context) <noreply@anthropic.com>
101 lines
2.7 KiB
TypeScript
101 lines
2.7 KiB
TypeScript
import type { PackOptions, PackProgressStage, PackRequest, PackResult } from '../api/client';
|
|
import { packRepository } from '../api/client';
|
|
import { type AnalyticsActionType, analyticsUtils } from './analytics';
|
|
|
|
interface RequestHandlerOptions {
|
|
onSuccess?: (result: PackResult) => void;
|
|
onError?: (error: string) => void;
|
|
onAbort?: (message: string) => void;
|
|
onProgress?: (stage: PackProgressStage, message?: string) => void;
|
|
signal?: AbortSignal;
|
|
file?: File;
|
|
turnstileToken?: string;
|
|
}
|
|
|
|
/**
|
|
* Handle repository packing request
|
|
*/
|
|
export async function handlePackRequest(
|
|
url: string,
|
|
format: 'xml' | 'markdown' | 'plain',
|
|
options: PackOptions,
|
|
handlerOptions: RequestHandlerOptions = {},
|
|
): Promise<void> {
|
|
const { onSuccess, onError, onAbort, onProgress, signal, file, turnstileToken } = handlerOptions;
|
|
const processedUrl = url.trim();
|
|
|
|
// Track pack start
|
|
analyticsUtils.trackPackStart(processedUrl);
|
|
|
|
try {
|
|
const request: PackRequest = {
|
|
url: processedUrl,
|
|
format,
|
|
options,
|
|
file,
|
|
};
|
|
|
|
const response = await packRepository(
|
|
request,
|
|
{
|
|
onProgress,
|
|
signal,
|
|
},
|
|
turnstileToken,
|
|
);
|
|
|
|
// Track successful pack
|
|
if (response.metadata.summary) {
|
|
analyticsUtils.trackPackSuccess(
|
|
processedUrl,
|
|
response.metadata.summary.totalFiles,
|
|
response.metadata.summary.totalCharacters,
|
|
);
|
|
}
|
|
|
|
onSuccess?.(response);
|
|
} catch (err) {
|
|
// Check for abort/timeout first, regardless of error type
|
|
if (signal?.aborted) {
|
|
const isTimeout = signal?.reason === 'timeout';
|
|
if (isTimeout) {
|
|
onAbort?.('Request timed out.\nPlease consider using Include Patterns or Ignore Patterns to reduce the scope.');
|
|
return;
|
|
}
|
|
|
|
const isCancelled = signal?.reason === 'cancel';
|
|
if (isCancelled) {
|
|
onAbort?.('Request was cancelled.');
|
|
return;
|
|
}
|
|
|
|
onAbort?.('Request was cancelled with an unknown reason.');
|
|
return;
|
|
}
|
|
|
|
let errorMessage: string;
|
|
|
|
if (err instanceof Error) {
|
|
errorMessage = err.message;
|
|
} else {
|
|
errorMessage = 'An unexpected error occurred';
|
|
}
|
|
|
|
analyticsUtils.trackPackError(processedUrl, errorMessage);
|
|
|
|
console.error('Error processing repository:', err);
|
|
onError?.(errorMessage);
|
|
}
|
|
}
|
|
|
|
/**
|
|
* Handle form input changes with analytics tracking
|
|
*/
|
|
export function handleOptionChange(value: boolean | string, analyticsAction: AnalyticsActionType): void {
|
|
if (typeof value === 'boolean') {
|
|
analyticsUtils.trackOptionToggle(analyticsAction, value);
|
|
} else {
|
|
analyticsUtils.trackOptionToggle(analyticsAction, Boolean(value));
|
|
}
|
|
}
|