add token penalty sparkline

Author: josharian

packages/cursorless-engine/src/core/hatStats.test.ts

@@ -122,6 +122,8 @@ suite("hatStats", () => {
         (_, index) => index % Math.floor(allTokens.length / 16) === 0,
       );
 
+      let tokenSpark: string = "";
+
       someTokens.forEach((token, index) => {
         editor.primarySelection = new Selection(
           token.token.range.start,
@@ -139,6 +141,7 @@ suite("hatStats", () => {
 
         if (index === 0) {
           const golden = goldenHatFile(contents, allTokens, tokenHat);
+          tokenSpark = makeTokenSpark(allTokens, tokenHat);
           const goldenPath = filepath + ".golden";
           if (shouldUpdateFixtures()) {
             fs.writeFileSync(goldenPath, golden);
@@ -166,6 +169,11 @@ suite("hatStats", () => {
 
       let s = "";
       s += `nTokens: ${allTokens.length}\n\n`;
+      s += `tokenSpark:\n`;
+      for (let i = 0; i < tokenSpark.length; i += 60) {
+        s += "\t" + tokenSpark.slice(i, i + 60) + "\n";
+      }
+      s += "\n";
       s += describeDistribution("nHats", nHats) + "\n";
       s += describeDistribution("nPenalty0", nPenalty0) + "\n";
       s += describeDistribution("nPenalty1", nPenalty1) + "\n";
@@ -246,6 +254,27 @@ function sparkline(pcts: number[]) {
   );
 }
 
+function makeTokenSpark(
+  allTokens: RankedToken[],
+  tokenHats: TokenHat[],
+): string {
+  const bars = ["▁", "▃", "▅", "█"];
+  const penalties = allTokens.map((token) => {
+    const hat = tokenHats.find((hat) =>
+      hat.token.range.isEqual(token.token.range),
+    ) as TokenHat;
+    if (hat === undefined) {
+      return 3;
+    }
+    const hatStyle = hat.hatStyle;
+    return penaltyForHatStyle(hatStyle);
+  });
+  const chars = penalties.map((penalty) => {
+    return bars[penalty];
+  });
+  return chars.join("");
+}
+
 function goldenHatFile(
   contents: string,
   allTokens: RankedToken[],

packages/cursorless-engine/src/test/fixtures/hat-stats/intern.go.stats

@@ -1,5 +1,11 @@
 nTokens: 228
 
+tokenSpark:
+	▁▁▁▁▁▁▃▁▃▁▁▁▃▃▁▁▁▃▁▁▃▁▁▃▁▁▃▃▃▁▁▃▃▁▃▁▃▃▃▃▃▁▃▃▁▃▃▃▃▃▃▃▁▃▃▃▁▃▁▃
+	▁▁▃▃▁▃▃▃▃▃▁▃▁▃▃▃▁▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃
+	▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▃▃▃▅▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▃
+	▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▃▃▃▅▃▃▃▃▃▃▃▃▅▃▃▅▃▅▃▅▃▅▃▅▃
+
 nHats:
 	mean: 100%
 	std: 0%

packages/cursorless-engine/src/test/fixtures/hat-stats/mending_wall.txt.stats

@@ -1,5 +1,15 @@
 nTokens: 479
 
+tokenSpark:
+	▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▃▁▃▁▃▃▁▁▁▁▁▃▃▁▃▃▃▃▃▃▃▃▃▃▁▃▁▁▃▃▁▃▃▁▃▃▃▃▃▃▃▁▃
+	▃▃▃▃▃▃▃▃▁▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃
+	▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃
+	▃▃▅▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▁▃▃▃▃▃▃▃▃▃▃▅▃▁▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▅▃▃▃▃▃▃▃▃▃▃▃
+	▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▅▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▃▅▃▃▅▃▃▅▃
+	▃▃▅▃▃▃▅▃▃▃▃▁▃▃▅▅▃▅▅▃▃▃▅▅▅▃▃▃▃▅▃▅▅▅▃▅▃▅▃▅▅▅▃▃▅▃▃▃▅▅▃▅▅▃▅▃▃▃▃▅
+	▅▅▅▃▅▃▅▅▅▅▅▅▅▅▃▅▃▃▃▃▃▅▅▅▃▅▃▅▅▃▁▅▅▅▅▅▅▅▅▅▃▃▅▅▅▅▅▃▅▅▅▃▃▅▅▅▅▅▅▃
+	▅▅▃▅▃▅▅▅▅▅▃▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅
+
 nHats:
 	mean: 100%
 	std: 0%

packages/cursorless-engine/src/test/fixtures/hat-stats/the_bells.txt.stats

@@ -1,5 +1,21 @@
 nTokens: 782
 
+tokenSpark:
+	▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▃▁▃▁▃▁▁▃▁▁▁▃▃▃▃▃▃▁▁▃▃▃▃▃▃▁▃▃▁▃▃▃▃▃▃▃▃▃▃▃▃
+	▃▃▃▃▃▁▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▁▃▃▃▃▃▃▃▃▃▃▃▃▃▃
+	▅▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▁▃▃▅▃▃▃▃▅▃▃▁▃▃▃▃▃▃▃▃▃▅▃▃▃▃▃▃▃▃▅
+	▃▃▃▃▃▅▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▃▅▃▃▃▃▃▃▃▃▃▃▅▃▅▃▅▃▅▃▅▃▅▃▅▃▅▃▅▃
+	▅▃▃▃▅▃▃▅▃▃▅▃▃▃▃▃▅▃▃▃▃▁▃▃▃▅▃▃▅▃▅▃▃▃▃▃▅▃▃▃▃▃▃▃▃▃▃▅▅▃▃▅▃▅▃▃▃▃▅▃
+	▅▃▅▃▅▃▅▃▃▅▅▃▅▅▃▅▃▅▃▁▅▅▃▃▃▃▅▃▃▅▃▅▃▅▅▅▃▃▅▃▅▃▃▅▃▅▅▅▅▃▅▃▅▅▅▅▃▃▃▃
+	▃▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▃▅▅▅▃▅▅▃▅▅▅▅▅▅▅▅▃▅▅▃▅▅▃▅▅▅▅▅▅▃▃▅▅▅▅▅▅▅▃█▅▅▅
+	▅▅▅▃▅▅▅▃▅█▅▅▃█▅▅▅▃▅▅▅▃▅▅█▅▅▃▅▅▅▅▅▅▅▅▅▃▅▅▅▃▅▅▅█▅█▅█▅█▅█▅█▅▃▅▅
+	▃▅▅▃▅▅▅▅▃▃▅▅▅▅▅▅▃▅▅▅▅▅▅▅▅▃▅▅▃▅▅▅▃▅▅▅█▅▅▃▅▅▅▅▃▅▅▅▅▅▅▃▅▅▅▅▅▅▅▅
+	▅▅▅▅▃▅▅▃▃▅█▅▃▃▅▅▅▃▅▅▅█▅▅█▅▅▅█▅█▅█▅▅▅▅█▅▅▅▅▅▅▅▅▅▅▅▅▃▅▅▅▅▅▅▅▅▅
+	▅▅▅▅▅▅▅▅▁▅▅▃▅▅▅▅▃▅▅▅█▅█▅█▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅▅█▅▅▅▃▃▅█▅█▅█▅
+	▅▅▅▅▅█▅▅▅▅▅▅▅▅▅▅▃▃▅█▅█▅█▅▅▅▅▅▅█▅▅▅▅▅▅▅▅▅▅█▅█▅▅▅▅▅▅▅▅▃▃▅█▅█▅█
+	▅▅▃█▃█▃█▅▅▅▅▅█▅▅▅▅▅▅▅▅▅▅█▅█▅▅▅▅▅▅▅▅█▅▅▅█▅█▅█▅▅▅█▅█▅▅▅▅▅▅▅▅▅▅
+	▅▃
+
 nHats:
 	mean: 94%
 	std: 0%