Skip to content

Instantly share code, notes, and snippets.

View masahitojp's full-sized avatar
🎯
Focusing

Masato Nakamura masahitojp

🎯
Focusing
View GitHub Profile
@masahitojp
masahitojp / test.md
Created September 10, 2024 21:58
cloudcomposerてファイルダウンロード

Cloud Composer の DAG でファイルをダウンロードし、それを Google Cloud Storage (GCS) にアップロードする方法を以下に説明します。これまで説明した Secret Manager を使った認証情報の取得に加えて、GCS にファイルをアップロードする部分を追加します。

1. GCS にファイルをアップロードする関数を追加

ファイルを GCS にアップロードするために、Airflow の GoogleCloudStorageHook を使用します。このフックは、Google Cloud Storage にファイルをアップロードする際に使用されます。

以下に、先ほどの DAG に GCS アップロード機能を追加した例を示します。

2. DAG の実装例

https://docs.google.com/presentation/d/1dUkD4KtvpMZL0ay4jHpgDevPhodmerwCF9vFDco10rI/edit#slide=id.p
@masahitojp
masahitojp / README.md
Last active March 22, 2022 14:57
It's a benchmark for simdjson vs json on python 3.10
@masahitojp
masahitojp / matching_for_dataclasses.py
Last active October 31, 2023 19:54
Try pattern matching + dataclass in python 3.10
import dataclasses
@dataclasses.dataclass
class User:
name: str
age: int = 0
if __name__ == "__main__":
u = User("taro", 32)
@masahitojp
masahitojp / beam-linkage-check-4-beam11770
Created February 23, 2021 01:52
result for `sh sdks/java/build-tools/beam-linkage-check.sh origin/master beam-11770`
~/src/beam >>> sh sdks/java/build-tools/beam-linkage-check.sh origin/master beam-11770
Comparing linkage of artifact lists beam-sdks-java-core beam-sdks-java-io-google-cloud-platform beam-runners-google-cloud-dataflow-java beam-sdks-java-io-hadoop-format using baseline origin/master and proposal beam-11770
Establishing baseline linkage for origin/master
HEAD is now at aaad864c9a [BEAM-7372] remove aliases created for python 2 (#14012)
2021年 2月 23日 火曜日 10:03:12 JST: Running linkage check (baseline) for beam-sdks-java-core
2021年 2月 23日 火曜日 10:03:12 JST: to create a baseline (existing errors before change) build/linkagecheck/baseline-beam-sdks-java-core.xml
+ ./gradlew -Ppublishing -PskipCheckerFramework -PjavaLinkageArtifactIds=beam-sdks-java-core -PjavaLinkageWriteBaseline=build/linkagecheck/baseline-beam-sdks-java-core.xml :checkJavaLinkage
Configuration on demand is an incubating feature.
> Task :sdks:java:io:clickhouse:compileJavacc
@masahitojp
masahitojp / median
Created December 26, 2020 14:13
calc median
# for leetcode
# https://leetcode.com/problems/median-of-two-sorted-arrays/solution/
class Solution:
def findMedianSortedArrays(self, nums1: List[int], nums2: List[int]) -> float:
c = sorted(nums1 + nums2)
l = len(c)
ans =0
if l % 2 == 1:
ans = c[ l // 2]
else:

masahitoが課金しているwebサービス

key value
更新 2020-07-12
作者 @masahito
バージョン 20.07.12
URL https://masahito.me/
@masahitojp
masahitojp / BusinessLogicTest.kt
Created June 29, 2020 14:17
example for shrinking
import io.kotest.core.spec.style.FunSpec
import io.kotest.matchers.shouldBe
import io.kotest.property.*
import io.kotest.property.arbitrary.*
class BusinessLogicTests : FunSpec({
fun isPrimeNumber(number: Int): Boolean {
val root: Int = kotlin.math.floor(kotlin.math.sqrt(number.toDouble())).toInt()
@masahitojp
masahitojp / test.md
Created October 10, 2019 03:19
for hiroshima
marp
true

footer: Python と型ヒントとその使い方 - PyCon Kyushu in Okinawa 2019 May 18th slidenumbers: true

Python と型ヒント

とその使い方

@masahitojp
masahitojp / stack.py
Created July 12, 2019 07:48
check generics for mypy
from typing import TypeVar, Generic
T = TypeVar('T', bound='Shape')
class Stack(Generic[T]):
def __init__(self) -> None:
# Create an empty list with items of type a T
print(__annotations__) # {}
self.items: List[T] = []