メルマガ配信内容の自動収集術｜GASで本文を蓄積して「資産化」する

/**
 * Gmailから「free to walk」関連のメールを抽出して
 * 指定スプレッドシートに記録するスクリプト（messageId重複排除 / セクション分割抽出 / No付与）
 *
 * ✅ A列に No を連番で追加
 * ✅ processedラベルは使わない
 * ✅ シートの messageId で重複排除（取りこぼし低減）
 * ✅ Re/Fwd/返信/転送 は除外
 * ✅ 「■見出し」で本文を分割して抽出（独立後の行動が取れない問題を潰す）
 */
function collectFreeToWalkEmails() {
  const SPREADSHEET_ID = "●●";
  const ss = SpreadsheetApp.openById(SPREADSHEET_ID);
  const sheet = ss.getSheets()[0]; // gid=0 相当

  // 1) ヘッダー作成（初回のみ）
  if (sheet.getLastRow() === 0) {
    sheet.appendRow(["No", "日付", "タイトル", "本文（メイン）", "独立後の行動", "メールID"]);
    sheet.getRange(1, 1, 1, 6).setBackground("#f3f3f3").setFontWeight("bold");
    sheet.setFrozenRows(1);
  }

  // 2) 既存のメールIDを読み込み → Set化（重複排除）
  const existingIds = loadExistingMessageIds_(sheet);

  // 3) 既存の最大Noを取得 → 次のNoの起点にする
  let nextNo = loadMaxNo_(sheet) + 1;

  // 4) Gmail検索（30日以内）
  const searchQuery = 'subject:("free to walk" OR "free-to-walk") newer_than:30d';
  const threads = GmailApp.search(searchQuery, 0, 200);

  if (threads.length === 0) {
    console.log("対象スレッドが見つかりませんでした。");
    return;
  }

  const items = [];

  for (const thread of threads) {
    for (const message of thread.getMessages()) {
      const subject = message.getSubject();

      // ✅ Re/Fwd系を除外
      if (isReplyOrForwardSubject_(subject)) continue;

      const messageId = message.getId();
      if (existingIds.has(messageId)) continue;

      const dateObj = message.getDate();
      const body = normalizeBody_(message.getPlainBody());

      // ■見出しでセクション化
      const sections = splitByHeading_(body);

      // タイトル：本文中の「歩目｜free to walk」見出しが最優先。無ければ件名
      const mainHeading = findHeadingKey_(sections, /歩目｜\s*free to walk/i);
      const title = (mainHeading ? mainHeading.replace(/^■\s*/, "").trim() : subject.trim());

      // 本文（メイン）：歩目見出しセクション（独立後の行動・昨日の発信などを含まないように除去）
      let mainContent = "";
      if (mainHeading) {
        mainContent = sections[mainHeading] || "";
        // メイン内に余計なブロックが混ざることがあるので、ここで切る（保険）
        mainContent = cutBeforeNextHeadingLike_(mainContent, /独立後の行動|昨日の発信|感想を募集/i);
      }

      // 独立後の行動：見出しが多少揺れても拾う（「■ 独立後の行動」「■独立後の行動：」など）
      const actionHeading = findHeadingKey_(sections, /独立後の行動/);
      const independentAction = actionHeading ? (sections[actionHeading] || "") : "";

      items.push({
        dateObj,
        dateStr: Utilities.formatDate(dateObj, "Asia/Tokyo", "yyyy/MM/dd HH:mm"),
        title,
        mainContent: cleanupContent_(mainContent),
        action: cleanupContent_(independentAction),
        messageId
      });

      existingIds.add(messageId);
    }
  }

  // 5) 一括書き込み（古い順）＋ No を連番付与
  if (items.length > 0) {
    items.sort((a, b) => a.dateObj - b.dateObj);

    const rows = items.map(it => {
      const no = nextNo++;
      return [no, it.dateStr, it.title, it.mainContent, it.action, it.messageId];
    });

const startRow = sheet.getLastRow() + 1;

// 値を書き込み
sheet.getRange(startRow, 1, rows.length, 6).setValues(rows);

// 直前行の書式をコピー（format only）
if (startRow > 2) { // ヘッダー直下だけのときは除外
  const source = sheet.getRange(startRow - 1, 1, 1, 6);
  const target = sheet.getRange(startRow, 1, rows.length, 6);
  source.copyTo(target, { formatOnly: true });
}
    console.log(`${rows.length} 件のメールを追記しました。`);
  } else {
    console.log("新規追加はありませんでした（重複は除外済み）。");
  }
}

/**
 * 既存のメールID（6列目）を読み込んで Set で返す
 */
function loadExistingMessageIds_(sheet) {
  const lastRow = sheet.getLastRow();
  if (lastRow < 2) return new Set(); // ヘッダーのみ or 空

  // 6列目（メールID）
  const values = sheet.getRange(2, 6, lastRow - 1, 1).getValues();
  const set = new Set();
  for (const [id] of values) {
    if (id) set.add(String(id).trim());
  }
  return set;
}

/**
 * 既存No（1列目）の最大値を返す
 */
function loadMaxNo_(sheet) {
  const lastRow = sheet.getLastRow();
  if (lastRow < 2) return 0;

  const values = sheet.getRange(2, 1, lastRow - 1, 1).getValues();
  let maxNo = 0;
  for (const [v] of values) {
    const n = Number(v);
    if (!isNaN(n) && n > maxNo) maxNo = n;
  }
  return maxNo;
}

/**
 * 改行などを正規化（CRLF→LF）
 */
function normalizeBody_(text) {
  if (!text) return "";
  return String(text).replace(/\r\n/g, "\n").replace(/\r/g, "\n");
}

/**
 * 本文を「■見出し」単位で分割して連想配列で返す
 * key: 見出し行（例： "■独立後の行動"）
 * val: 次の見出しまでの本文
 */
function splitByHeading_(body) {
  const lines = body.split("\n");
  const sections = {};
  let currentKey = "__PRE__";
  sections[currentKey] = [];

  for (const line of lines) {
    // 行頭に空白があってもOK、■の後も空白OK
    if (/^\s*■\s*/.test(line)) {
      currentKey = line.trim(); // 見出し行をそのままキーにする
      if (!sections[currentKey]) sections[currentKey] = [];
      continue;
    }
    sections[currentKey].push(line);
  }

  // 配列→文字列
  const out = {};
  for (const k of Object.keys(sections)) {
    out[k] = sections[k].join("\n");
  }
  return out;
}

/**
 * 見出しキーの中から、patternにマッチする最初のキーを返す
 */
function findHeadingKey_(sections, pattern) {
  for (const k of Object.keys(sections)) {
    if (k === "__PRE__") continue;
    if (pattern.test(k)) return k;
  }
  return "";
}

/**
 * 文章中に「次の見出しっぽいワード」が出たらそこで切る（保険）
 */
function cutBeforeNextHeadingLike_(text, pattern) {
  if (!text) return "";
  const idx = text.search(pattern);
  return idx >= 0 ? text.slice(0, idx) : text;
}

/**
 * 抽出したテキストのクリーニング
 */
function cleanupContent_(text) {
  if (!text) return "";
  return String(text)
    .replace(/^[ \t]*[─]{5,}.*$/gm, "") // 罫線だけの行を削除
    .replace(/\n{3,}/g, "\n\n")         // 3つ以上の連続改行を2つに集約
    .trim();
}

/**
 * Re/Fwd/返信/転送 などの件名は除外
 */
function isReplyOrForwardSubject_(subject) {
  if (!subject) return false;
  return /^\s*(re:|fw:|fwd:|返信:|転送:)/i.test(subject.trim());
}



// ここまで：収集ロジック（既存）
// collectFreeToWalkEmails()
// 各種 helper 関数たち

/**
 * 毎朝 8:30 に自動実行するトリガーを作る（1回だけ実行）
 */
function createDailyTrigger_0830() {
  // 既存の同名トリガーを削除（事故防止）
  const triggers = ScriptApp.getProjectTriggers();
  for (const t of triggers) {
    if (t.getHandlerFunction() === "collectFreeToWalkEmails") {
      ScriptApp.deleteTrigger(t);
    }
  }

  ScriptApp.newTrigger("collectFreeToWalkEmails")
    .timeBased()
    .everyDays(1)
    .atHour(8)
    .nearMinute(30)
    .create();
}

/**
 * Gmailから「free to walk」関連のメールを抽出して
 * 指定スプレッドシートに記録するスクリプト（messageId重複排除 / セクション分割抽出 / No付与）
 *
 * ✅ A列に No を連番で追加
 * ✅ processedラベルは使わない
 * ✅ シートの messageId で重複排除（取りこぼし低減）
 * ✅ Re/Fwd/返信/転送 は除外
 * ✅ 「■見出し」で本文を分割して抽出（独立後の行動が取れない問題を潰す）
 */
function collectFreeToWalkEmails() {
  const SPREADSHEET_ID = "●●";
  const ss = SpreadsheetApp.openById(SPREADSHEET_ID);
  const sheet = ss.getSheets()[0]; // gid=0 相当

  // 1) ヘッダー作成（初回のみ）
  if (sheet.getLastRow() === 0) {
    sheet.appendRow(["No", "日付", "タイトル", "本文（メイン）", "独立後の行動", "メールID"]);
    sheet.getRange(1, 1, 1, 6).setBackground("#f3f3f3").setFontWeight("bold");
    sheet.setFrozenRows(1);
  }

  // 2) 既存のメールIDを読み込み → Set化（重複排除）
  const existingIds = loadExistingMessageIds_(sheet);

  // 3) 既存の最大Noを取得 → 次のNoの起点にする
  let nextNo = loadMaxNo_(sheet) + 1;

  // 4) Gmail検索（30日以内）
  const searchQuery = 'subject:("free to walk" OR "free-to-walk") newer_than:30d';
  const threads = GmailApp.search(searchQuery, 0, 200);

  if (threads.length === 0) {
    console.log("対象スレッドが見つかりませんでした。");
    return;
  }

  const items = [];

  for (const thread of threads) {
    for (const message of thread.getMessages()) {
      const subject = message.getSubject();

      // ✅ Re/Fwd系を除外
      if (isReplyOrForwardSubject_(subject)) continue;

      const messageId = message.getId();
      if (existingIds.has(messageId)) continue;

      const dateObj = message.getDate();
      const body = normalizeBody_(message.getPlainBody());

      // ■見出しでセクション化
      const sections = splitByHeading_(body);

      // タイトル：本文中の「歩目｜free to walk」見出しが最優先。無ければ件名
      const mainHeading = findHeadingKey_(sections, /歩目｜\s*free to walk/i);
      const title = (mainHeading ? mainHeading.replace(/^■\s*/, "").trim() : subject.trim());

      // 本文（メイン）：歩目見出しセクション（独立後の行動・昨日の発信などを含まないように除去）
      let mainContent = "";
      if (mainHeading) {
        mainContent = sections[mainHeading] || "";
        // メイン内に余計なブロックが混ざることがあるので、ここで切る（保険）
        mainContent = cutBeforeNextHeadingLike_(mainContent, /独立後の行動|昨日の発信|感想を募集/i);
      }

      // 独立後の行動：見出しが多少揺れても拾う（「■ 独立後の行動」「■独立後の行動：」など）
      const actionHeading = findHeadingKey_(sections, /独立後の行動/);
      const independentAction = actionHeading ? (sections[actionHeading] || "") : "";

      items.push({
        dateObj,
        dateStr: Utilities.formatDate(dateObj, "Asia/Tokyo", "yyyy/MM/dd HH:mm"),
        title,
        mainContent: cleanupContent_(mainContent),
        action: cleanupContent_(independentAction),
        messageId
      });

      existingIds.add(messageId);
    }
  }

  // 5) 一括書き込み（古い順）＋ No を連番付与
  if (items.length > 0) {
    items.sort((a, b) => a.dateObj - b.dateObj);

    const rows = items.map(it => {
      const no = nextNo++;
      return [no, it.dateStr, it.title, it.mainContent, it.action, it.messageId];
    });

const startRow = sheet.getLastRow() + 1;

// 値を書き込み
sheet.getRange(startRow, 1, rows.length, 6).setValues(rows);

// 直前行の書式をコピー（format only）
if (startRow > 2) { // ヘッダー直下だけのときは除外
  const source = sheet.getRange(startRow - 1, 1, 1, 6);
  const target = sheet.getRange(startRow, 1, rows.length, 6);
  source.copyTo(target, { formatOnly: true });
}
    console.log(`${rows.length} 件のメールを追記しました。`);
  } else {
    console.log("新規追加はありませんでした（重複は除外済み）。");
  }
}

/**
 * 既存のメールID（6列目）を読み込んで Set で返す
 */
function loadExistingMessageIds_(sheet) {
  const lastRow = sheet.getLastRow();
  if (lastRow < 2) return new Set(); // ヘッダーのみ or 空

  // 6列目（メールID）
  const values = sheet.getRange(2, 6, lastRow - 1, 1).getValues();
  const set = new Set();
  for (const [id] of values) {
    if (id) set.add(String(id).trim());
  }
  return set;
}

/**
 * 既存No（1列目）の最大値を返す
 */
function loadMaxNo_(sheet) {
  const lastRow = sheet.getLastRow();
  if (lastRow < 2) return 0;

  const values = sheet.getRange(2, 1, lastRow - 1, 1).getValues();
  let maxNo = 0;
  for (const [v] of values) {
    const n = Number(v);
    if (!isNaN(n) && n > maxNo) maxNo = n;
  }
  return maxNo;
}

/**
 * 改行などを正規化（CRLF→LF）
 */
function normalizeBody_(text) {
  if (!text) return "";
  return String(text).replace(/\r\n/g, "\n").replace(/\r/g, "\n");
}

/**
 * 本文を「■見出し」単位で分割して連想配列で返す
 * key: 見出し行（例： "■独立後の行動"）
 * val: 次の見出しまでの本文
 */
function splitByHeading_(body) {
  const lines = body.split("\n");
  const sections = {};
  let currentKey = "__PRE__";
  sections[currentKey] = [];

  for (const line of lines) {
    // 行頭に空白があってもOK、■の後も空白OK
    if (/^\s*■\s*/.test(line)) {
      currentKey = line.trim(); // 見出し行をそのままキーにする
      if (!sections[currentKey]) sections[currentKey] = [];
      continue;
    }
    sections[currentKey].push(line);
  }

  // 配列→文字列
  const out = {};
  for (const k of Object.keys(sections)) {
    out[k] = sections[k].join("\n");
  }
  return out;
}

/**
 * 見出しキーの中から、patternにマッチする最初のキーを返す
 */
function findHeadingKey_(sections, pattern) {
  for (const k of Object.keys(sections)) {
    if (k === "__PRE__") continue;
    if (pattern.test(k)) return k;
  }
  return "";
}

/**
 * 文章中に「次の見出しっぽいワード」が出たらそこで切る（保険）
 */
function cutBeforeNextHeadingLike_(text, pattern) {
  if (!text) return "";
  const idx = text.search(pattern);
  return idx >= 0 ? text.slice(0, idx) : text;
}

/**
 * 抽出したテキストのクリーニング
 */
function cleanupContent_(text) {
  if (!text) return "";
  return String(text)
    .replace(/^[ \t]*[─]{5,}.*$/gm, "") // 罫線だけの行を削除
    .replace(/\n{3,}/g, "\n\n")         // 3つ以上の連続改行を2つに集約
    .trim();
}

/**
 * Re/Fwd/返信/転送 などの件名は除外
 */
function isReplyOrForwardSubject_(subject) {
  if (!subject) return false;
  return /^\s*(re:|fw:|fwd:|返信:|転送:)/i.test(subject.trim());
}



// ここまで：収集ロジック（既存）
// collectFreeToWalkEmails()
// 各種 helper 関数たち

/**
 * 毎朝 8:30 に自動実行するトリガーを作る（1回だけ実行）
 */
function createDailyTrigger_0830() {
  // 既存の同名トリガーを削除（事故防止）
  const triggers = ScriptApp.getProjectTriggers();
  for (const t of triggers) {
    if (t.getHandlerFunction() === "collectFreeToWalkEmails") {
      ScriptApp.deleteTrigger(t);
    }
  }

  ScriptApp.newTrigger("collectFreeToWalkEmails")
    .timeBased()
    .everyDays(1)
    .atHour(8)
    .nearMinute(30)
    .create();
}

function collectFreeToWalkEmails() {

function collectFreeToWalkEmails() {

const SPREADSHEET_ID = "●●";
const ss = SpreadsheetApp.openById(SPREADSHEET_ID);
const sheet = ss.getSheets()[0];

const SPREADSHEET_ID = "●●";
const ss = SpreadsheetApp.openById(SPREADSHEET_ID);
const sheet = ss.getSheets()[0];

if (sheet.getLastRow() === 0) {
  sheet.appendRow(["No", "日付", "タイトル", "本文（メイン）", "独立後の行動", "メールID"]);
}

if (sheet.getLastRow() === 0) {
  sheet.appendRow(["No", "日付", "タイトル", "本文（メイン）", "独立後の行動", "メールID"]);
}

const existingIds = loadExistingMessageIds_(sheet);

const existingIds = loadExistingMessageIds_(sheet);

let nextNo = loadMaxNo_(sheet) + 1;

let nextNo = loadMaxNo_(sheet) + 1;

const searchQuery = 'subject:("free to walk" OR "free-to-walk") newer_than:30d';
const threads = GmailApp.search(searchQuery, 0, 200);

const searchQuery = 'subject:("free to walk" OR "free-to-walk") newer_than:30d';
const threads = GmailApp.search(searchQuery, 0, 200);

for (const thread of threads) {
  for (const message of thread.getMessages()) {

for (const thread of threads) {
  for (const message of thread.getMessages()) {

if (isReplyOrForwardSubject_(subject)) continue;

if (isReplyOrForwardSubject_(subject)) continue;

if (existingIds.has(messageId)) continue;

if (existingIds.has(messageId)) continue;

const body = normalizeBody_(message.getPlainBody());
const sections = splitByHeading_(body);

const body = normalizeBody_(message.getPlainBody());
const sections = splitByHeading_(body);

■ 28歩目｜free to walk
（本文）

■ 独立後の行動
（行動内容）

■ 28歩目｜free to walk
（本文）

■ 独立後の行動
（行動内容）

const mainHeading = findHeadingKey_(sections, /歩目｜\s*free to walk/i);
const title = mainHeading ? 見出し : 件名;

const mainHeading = findHeadingKey_(sections, /歩目｜\s*free to walk/i);
const title = mainHeading ? 見出し : 件名;

const actionHeading = findHeadingKey_(sections, /独立後の行動/);

const actionHeading = findHeadingKey_(sections, /独立後の行動/);

sheet.getRange(startRow, 1, rows.length, 6).setValues(rows);

sheet.getRange(startRow, 1, rows.length, 6).setValues(rows);