10月26日の昼、届いたばかりのCSVを開いていました。
自治体ごとの情報を、県ごとに分けたファイルです。宮城、山形、福島、栃木、群馬の5県分。サイトに取り込む前の点検でした。
欄の終わりに、見慣れない文字列が付いていました。
「:contentReference[oaicite:0]{index=0}」
文の終わりから空白を1つ挟んで、これが付いています。番号は0から始まり、同じファイルの中で8、9、10と続いていました。
数えると、宮城に1個、山形に9個、栃木に43個、福島に35個。4つのファイルで88個です。群馬には1つもありませんでした。88個のうち85個には前に空白があり、3個は空白なしで文字に続いていました。
点検の仕組みは何も言いませんでした。見ていたのはURLの欄です
取り込む前には、CSVの形を確かめる仕組みに通しています。日付の書き方、郵便番号の形、URLの欄に正しいアドレスが入っているか。
この記号がURLの欄に付いていれば、そこで止まります。
文章の欄に付いていると、止まりません。文章の欄の末尾にあった88個は、どれも素通りしていました。
文字列を検索してみました
ChatGPTの回答をコピーしたときに残る記号として、OpenAIの利用者向けの掲示板に報告が上がっていました。公式の説明は、見つけられていません。
このCSVを作るのにChatGPTが使われたのかどうかも、私は確かめていません。記号の形が、報告にあるものと同じ。言えるのはそこまでです。
その日のうちに消す手順を決めました。自治体のファイルだけの話だと思っていたからです
記号の前の空白ごと消して、改行は残す。消したあとに数え直して、ゼロを確かめてから取り込む。
福島のファイルでは、郵便番号の頭に「〒」が43件付いていて、これも同じときに外しています。
これで、取り込む前に止められる。
自治体のCSVについては、それで合っていました。
施設のCSVは、見ていませんでした
11月2日、施設の情報を載せた別のCSVを点検していて、同じ記号を見つけました。
すでにサイトに入っているデータも調べました。
取り込み済みの施設49件の注意事項の欄に、記号が残っていました。自治体のCSVで気づいたあとも、施設のCSVには同じ数え方を当てていなかった。見落としたのは私です。
その日の夕方に、全部消しました。更新日時は変えずに、記号だけを取っています。
止められるのは、数えたときだけです。仕組みは文章の欄を通します
ここまでで言えるのは、一つです。
点検の仕組みが文章の欄を見ていない以上、この記号を取り込む前に止められるのは、ファイル全体を文字列で数えたときだけです。CSVの種類で分けて考えたのが、抜けの元でした。
いまは、自治体か施設かに関係なく、取り込む前にファイル全体を「contentReference」と「oaicite」で数えています。ゼロでなければ消して、数え直す。ゼロになってから入れる。
CSVを作った側に、消してから送ってほしいとはお願いしていません。届いたものを、こちらで消して入れています。
表をChatGPTに作ってもらって、そのままCSVで保存したことがあるなら、そのファイルを「oaicite」で検索してみてください。何個出てくるでしょうか。
いちばん新しいCSVにも、残っていました
この記事を書いている11月6日の朝にも、新しい版のCSVが届きました。開いて数えると、102個。取り込むときは、これも先に消します。
まだ確かめていないことがあります。この記号が、CSVを作る側のどの手順で混ざっているのか。表を作る段階なのか、文章を整える段階なのか。そこが分からないので、次に届くファイルに入っていないとは言えません。
取り込む前のデータの点検について相談したい場合は、お問い合わせへ。