以下の表に、Hadoop MapReduce と互換性がある MapReduce の MaxCompute 互換バージョンのリストを示します。
タイプ | インターフェイス | 互換性の有無 |
---|---|---|
Mapper | void map(KEYIN key, VALUEIN value, org.apache.hadoop.mapreduce.Mapper.Context context) | あり |
Mapper | void run(org.apache.hadoop.mapreduce.Mapper.Context context) | あり |
Mapper | void setup(org.apache.hadoop.mapreduce.Mapper.Context context) | あり |
Reducer | Void cleanup (Org. Apache. hadoop. mapreduce. reducer. Context Context) | あり |
Reducer | void reduce(KEYIN key, VALUEIN value, org.apache.hadoop.mapreduce.Reducer.Context context) | あり |
Reducer | void run(org.apache.hadoop.mapreduce.Reducer.Context context) | あり |
Reducer | void setup(org.apache.hadoop.mapreduce.Reducer.Context context) | あり |
Partitioner | int getPartition(KEY key, VALUE value, int numPartitions) | あり |
Mapcontext (inheritance) | InputSplit getInputSplit() | なし。例外をスローします。 |
ReduceContext | nextKey() | あり |
ReduceContext | getValues() | あり |
TaskInputOutputContext | getCurrentKey() | あり |
TaskInputOutputContext | getCurrentValue() | あり |
TaskInputOutputContext | getOutputCommitter() | なし。例外をスローします。 |
TaskInputOutputContext | nextKeyValue() | あり |
TaskInputOutputContext | write(KEYOUT key, VALUEOUT value) | あり |
TaskAttemptContext | getCounter(Enum < > counterName) | あり |
TaskAttemptContext | getCounter(String groupName, String counterName) | あり |
TaskAttemptContext | setStatus(String msg) | 空実装 |
TaskAttemptContext | getStatus() | 空実装 |
TaskAttemptContext | getTaskAttemptID() | なし。例外をスローします。 |
TaskAttemptContext | getProgress() | なし。例外をスローします。 |
TaskAttemptContext | progress() | あり |
Job | addArchiveToClassPath(Path archive) | なし |
Job | addCacheArchive(URI uri) | なし |
Job | addCacheFile(URI uri) | なし |
Job | addFileToClassPath(Path file) | なし |
Job | cleanupProgress() | なし |
Job | createSymlink() | なし。例外をスローします。 |
Job | failTask(TaskAttemptID taskId) | なし |
Job | getCompletionPollInterval(Configuration conf) | 空実装 |
Job | getCounters() | あり |
Job | getFinishTime() | あり |
Job | getHistoryUrl() | あり |
Job | getInstance() | あり |
Job | getInstance(Cluster ignored) | あり |
Job | getInstance(Cluster ignored, Configuration conf) | あり |
Job | getInstance(Configuration conf) | あり |
Job | getInstance(Configuration conf, String jobName) | 空実装 |
Job | getInstance(JobStatus status, Configuration conf) | なし。例外をスローします。 |
Job | getJobFile() | なし。例外をスローします。 |
Job | getJobName() | 空実装 |
Job | getJobState() | なし。例外をスローします。 |
Job | getPriority() | なし。例外をスローします。 |
Job | getProgressPollInterval(Configuration conf) | 空実装 |
Job | getReservationId() | なし。例外をスローします。 |
Job | getSchedulingInfo() | なし。例外をスローします。 |
Job | getStartTime() | あり |
Job | getStatus() | なし。例外をスローします。 |
Job | getTaskCompletionEvents(int startFrom) | なし。例外をスローします。 |
Job | getTaskCompletionEvents(int startFrom, int numEvents) | なし。例外をスローします。 |
Job | getTaskDiagnostics(TaskAttemptID taskid) | なし。例外をスローします。 |
Job | getTaskOutputFilter(Configuration conf) | なし。例外をスローします。 |
Job | getTaskReports(TaskType type) | なし。例外をスローします。 |
Job | getTrackingURL() | あり |
Job | isComplete() | あり |
Job | isRetired() | なし。例外をスローします。 |
Job | isSuccessful() | あり |
Job | isUber() | 空実装 |
Job | killJob() | あり |
Job | killTask(TaskAttemptID taskId) | なし |
Job | mapProgress() | あり |
Job | monitorAndPrintJob() | あり |
Job | reduceProgress() | あり |
Job | setCacheArchives(URI[] archives) | なし。例外をスローします。 |
Job | setCacheFiles(URI[] files) | なし。例外をスローします。 |
Job | setCancelDelegationTokenUponJobCompletion(boolean value) | なし。例外をスローします。 |
Job | setCombinerClass(Class<? extends Reducer> cls) | あり |
Job | setCombinerKeyGroupingComparatorClass(Class<? extends RawComparator> cls) | あり |
Job | setGroupingComparatorClass(Class<? extends RawComparator> cls) | あり |
Job | setInputFormatClass(Class<? extends InputFormat> cls) | 空実装 |
Job | setJar(String jar) | あり |
Job | setJarByClass(Class<? > cls) | あり |
Job | setJobName(String name) | 空実装 |
Job | setJobSetupCleanupNeeded(boolean needed) | 空実装 |
Job | setMapOutputKeyClass(Class<? > theClass) | あり |
Job | setMapOutputValueClass(Class<? > theClass) | あり |
Job | setMapperClass(Class<? extends Mapper> cls) | あり |
Job | setMapSpeculativeExecution(boolean speculativeExecution) | 空実装 |
Job | setMaxMapAttempts(int n) | 空実装 |
Job | setMaxReduceAttempts(int n) | 空実装 |
Job | setNumReduceTasks(int tasks) | あり |
Job | setOutputFormatClass(Class<? extends OutputFormat> cls) | なし。例外をスローします。 |
Job | setOutputKeyClass(Class<? > theClass) | あり |
Job | setOutputValueClass(Class<? > theClass) | あり |
Job | setPartitionerClass(Class<? extends Partitioner> cls) | あり |
Job | setPriority(JobPriority priority) | なし。例外をスローします。 |
Job | setProfileEnabled(boolean newValue) | 空実装 |
Job | setProfileParams(String value) | 空実装 |
Job | setProfileTaskRange(boolean isMap, String newValue) | 空実装 |
Job | setReducerClass(Class<? extends Reducer> cls) | あり |
Job | setReduceSpeculativeExecution(boolean speculativeExecution) | 空実装 |
Job | setReservationId(ReservationId reservationId) | なし。例外をスローします。 |
Job | setSortComparatorClass(Class<? extends RawComparator> cls) | なし。例外をスローします。 |
Job | setSpeculativeExecution(boolean speculativeExecution) | あり |
Job | setTaskOutputFilter(Configuration conf, org.apache.hadoop.mapreduce.Job.TaskStatusFilter newValue) | なし。例外をスローします。 |
Job | setupProgress() | なし。例外をスローします。 |
Job | setUser(String user) | 空実装 |
Job | setWorkingDirectory(Path dir) | 空実装 |
Job | submit() | あり |
Job | toString() | なし。例外をスローします。 |
Job | waitForCompletion(boolean verbose) | あり |
Task Execution & Environment | mapreduce.map.java.opts | 空実装 |
Task Execution & Environment | mapreduce.reduce.java.opts | 空実装 |
Task Execution & Environment | mapreduce.map.memory.mb | 空実装 |
Task Execution & Environment | mapreduce.reduce.memory.mb | 空実装 |
Task Execution & Environment | mapreduce.task.io.sort.mb | 空実装 |
Task Execution & Environment | mapreduce.map.sort.spill.percent | 空実装 |
Task Execution & Environment | mapreduce.task.io.soft.factor | 空実装 |
Task Execution & Environment | mapreduce.reduce.merge.inmem.thresholds | 空実装 |
Task Execution & Environment | mapreduce.reduce.shuffle.merge.percent | 空実装 |
Task Execution & Environment | mapreduce.reduce.shuffle.input.buffer.percent | 空実装 |
Task Execution & Environment | mapreduce.reduce.input.buffer.percent | 空実装 |
Task Execution & Environment | mapreduce.job.id | 空実装 |
Task Execution & Environment | mapreduce.job.jar | 空実装 |
Task Execution & Environment | mapreduce.job.local.dir | 空実装 |
Task Execution & Environment | mapreduce.task.id | 空実装 |
Task Execution & Environment | mapreduce.task.attempt.id | 空実装 |
Task Execution & Environment | mapreduce.task.is.map | 空実装 |
Task Execution & Environment | mapreduce.task.partition | 空実装 |
Task Execution & Environment | mapreduce.map.input.file | 空実装 |
Task Execution & Environment | mapreduce.map.input.start | 空実装 |
Task Execution & Environment | mapreduce.map.input.length | 空実装 |
Task Execution & Environment | mapreduce.task.output.dir | 空実装 |
JobClient | cancelDelegationToken(Token <DelegationTokenIdentifier> token) | なし。例外をスローします。 |
JobClient | close() | 空実装 |
JobClient | displayTasks(JobID jobId, String type, String state) | なし。例外をスローします。 |
JobClient | getAllJobs() | なし。例外をスローします。 |
JobClient | getCleanupTaskReports(JobID jobId) | なし。例外をスローします。 |
JobClient | getClusterStatus() | なし。例外をスローします。 |
JobClient | getClusterStatus(boolean detailed) | なし。例外をスローします。 |
JobClient | getDefaultMaps() | なし。例外をスローします。 |
JobClient | getDefaultReduces() | なし。例外をスローします。 |
JobClient | getDelegationToken(Text renewer) | なし。例外をスローします。 |
JobClient | getFs() | なし。例外をスローします。 |
JobClient | getJob(JobID jobid) | なし。例外をスローします。 |
JobClient | getJob(String jobid) | なし。例外をスローします。 |
JobClient | getJobsFromQueue(String queueName) | なし。例外をスローします。 |
JobClient | getMapTaskReports(JobID jobId) | なし。例外をスローします。 |
JobClient | getMapTaskReports(String jobId) | なし。例外をスローします。 |
JobClient | getQueueAclsForCurrentUser() | なし。例外をスローします。 |
JobClient | getQueueInfo(String queueName) | なし。例外をスローします。 |
JobClient | getQueues() | なし。例外をスローします。 |
JobClient | getReduceTaskReports(JobID jobId) | なし。例外をスローします。 |
JobClient | getReduceTaskReports(String jobId) | なし。例外をスローします。 |
JobClient | getSetupTaskReports(JobID jobId) | なし。例外をスローします。 |
JobClient | getStagingAreaDir() | なし。例外をスローします。 |
JobClient | getSystemDir() | なし。例外をスローします。 |
JobClient | getTaskOutputFilter() | なし。例外をスローします。 |
JobClient | getTaskOutputFilter(JobConf job) | なし。例外をスローします。 |
JobClient | init(JobConf conf) | なし。例外をスローします。 |
JobClient | isJobDirValid(Path jobDirPath, FileSystem fs) | なし。例外をスローします。 |
JobClient | jobsToComplete() | なし。例外をスローします。 |
JobClient | monitorAndPrintJob(JobConf conf, RunningJob job) | なし。例外をスローします。 |
JobClient | renewDelegationToken(Token<DelegationTokenIdentifier> token) | なし。例外をスローします。 |
JobClient | run(String[] argv) | なし。例外をスローします。 |
JobClient | runJob(JobConf job) | あり |
JobClient | setTaskOutputFilter(JobClient.TaskStatusFilter newValue) | なし。例外をスローします。 |
JobClient | setTaskOutputFilter(JobConf job, JobClient.TaskStatusFilter newValue) | なし。例外をスローします。 |
JobClient | submitJob(JobConf job) | あり |
JobClient | submitJob(String jobFile) | なし。例外をスローします。 |
JobConf | deleteLocalFiles() | なし。例外をスローします。 |
Jobconf | deleteLocalFiles(String subdir) | なし。例外をスローします。 |
Jobconf | normalizeMemoryConfigValue(long val) | 空実装 |
Jobconf | setCombinerClass(Class<? extends Reducer> theClass) | あり |
Jobconf | setCompressMapOutput(boolean compress) | 空実装 |
Jobconf | setInputFormat(Class<? extends InputFormat> theClass) | なし。例外をスローします。 |
JobConf | setJar(String jar) | なし。例外をスローします。 |
JobConf | setJarByClass(Class cls) | なし。例外をスローします。 |
JobConf | setJobEndNotificationURI(String uri) | なし。例外をスローします。 |
JobConf | setJobName(String name) | 空実装 |
JobConf | setJobPriority(JobPriority prio) | なし。例外をスローします。 |
JobConf | setKeepFailedTaskFiles(boolean keep) | なし。例外をスローします。 |
JobConf | setKeepTaskFilesPattern(String pattern) | なし。例外をスローします。 |
JobConf | setKeyFieldComparatorOptions(String keySpec) | なし。例外をスローします。 |
JobConf | setKeyFieldPartitionerOptions(String keySpec) | なし。例外をスローします。 |
JobConf | setMapDebugScript(String mDbgScript) | 空実装 |
JobConf | setMapOutputCompressorClass(Class<? extends CompressionCodec> codecClass) | 空実装 |
JobConf | setMapOutputKeyClass(Class<? > theClass) | あり |
JobConf | setMapOutputValueClass(Class<? > theClass) | あり |
JobConf | setMapperClass(Class<? extends Mapper> theClass) | あり |
JobConf | setMapRunnerClass(Class<? extends MapRunnable> theClass) | なし。例外をスローします。 |
JobConf | setMapSpeculativeExecution(boolean speculativeExecution) | 空実装 |
JobConf | setMaxMapAttempts(int n) | 空実装 |
JobConf | setMaxMapTaskFailuresPercent(int percent) | 空実装 |
JobConf | setMaxPhysicalMemoryForTask(long mem) | 空実装 |
JobConf | setMaxReduceAttempts(int n) | 空実装 |
JobConf | setMaxReduceTaskFailuresPercent(int percent) | 空実装 |
JobConf | setMaxTaskFailuresPerTracker(int noFailures) | 空実装 |
JobConf | setMaxVirtualMemoryForTask(long vmem) | 空実装 |
JobConf | setMemoryForMapTask(long mem) | あり |
JobConf | setMemoryForReduceTask(long mem) | あり |
JobConf | setNumMapTasks(int n) | あり |
JobConf | setNumReduceTasks(int n) | あり |
JobConf | setNumTasksToExecutePerJvm(int numTasks) | 空実装 |
JobConf | setOutputCommitter(Class<? extends OutputCommitter> theClass) | なし。例外をスローします。 |
JobConf | setOutputFormat(Class<? extends OutputFormat> theClass) | 空実装 |
JobConf | setOutputKeyClass(Class<? > theClass) | あり |
JobConf | setOutputKeyComparatorClass(Class<? extends RawComparator> theClass) | なし。例外をスローします。 |
JobConf | setOutputValueClass(Class<? > theClass) | あり |
JobConf | setOutputValueGroupingComparator(Class<? extends RawComparator> theClass) | なし。例外をスローします。 |
JobConf | setPartitionerClass(Class<? extends Partitioner> theClass) | あり |
JobConf | setProfileEnabled(boolean newValue) | 空実装 |
JobConf | setProfileParams(String value) | 空実装 |
JobConf | setProfileTaskRange(boolean isMap, String newValue) | 空実装 |
JobConf | setQueueName(String queueName) | なし。例外をスローします。 |
JobConf | setReduceDebugScript(String rDbgScript) | 空実装 |
JobConf | setReducerClass(Class<? extends Reducer> theClass) | あり |
JobConf | setReduceSpeculativeExecution(boolean speculativeExecution) | 空実装 |
JobConf | setSessionId(String sessionId) | 空実装 |
JobConf | setSpeculativeExecution(boolean speculativeExecution) | なし。例外をスローします。 |
JobConf | setUseNewMapper(boolean flag) | あり |
JobConf | setUseNewReducer(boolean flag) | あり |
JobConf | setUser(String user) | 空実装 |
JobConf | setWorkingDirectory(Path dir) | 空実装 |
FileInputFormat | 関連なし | なし。例外をスローします。 |
TextInputFormat | 関連なし | あり |
InputSplit | mapred.min.split.size. | なし。例外をスローします。 |
FileSplit | map.input.file | なし。例外をスローします。 |
RecordWriter | 関連なし | なし。例外をスローします。 |
RecordReader | 関連なし | なし。例外をスローします。 |
OutputFormat | 関連なし | なし。例外をスローします。 |
OutputCommitter | abortJob(JobContext jobContext, int status) | なし。例外をスローします。 |
OutputCommitter | abortJob(JobContext context, JobStatus.State runState) | なし。例外をスローします。 |
OutputCommitter | abortTask(TaskAttemptContext taskContext) | なし。例外をスローします。 |
OutputCommitter | abortTask(TaskAttemptContext taskContext) | なし。例外をスローします。 |
OutputCommitter | cleanupJob(JobContext jobContext) | なし。例外をスローします。 |
OutputCommitter | cleanupJob(JobContext context) | なし。例外をスローします。 |
OutputCommitter | commitJob(JobContext jobContext) | なし。例外をスローします。 |
OutputCommitter | commitJob(JobContext context) | なし。例外をスローします。 |
OutputCommitter | commitTask(TaskAttemptContext taskContext) | なし。例外をスローします。 |
OutputCommitter | needsTaskCommit(TaskAttemptContext taskContext) | なし。例外をスローします。 |
OutputCommitter | needsTaskCommit(TaskAttemptContext taskContext) | なし。例外をスローします。 |
OutputCommitter | setupJob(JobContext jobContext) | なし。例外をスローします。 |
OutputCommitter | setupJob(JobContext jobContext) | なし。例外をスローします。 |
OutputCommitter | setupTask(TaskAttemptContext taskContext) | なし。例外をスローします。 |
OutputCommitter | setupTask(TaskAttemptContext taskContext) | なし。例外をスローします。 |
Counter | getDisplayName() | あり |
Counter | getName() | あり |
Counter | getValue() | あり |
Counter | increment(long incr) | あり |
Counter | setValue(long value) | あり |
Counter | setDisplayName(String displayName) | あり |
DistributedCache | CACHE_ARCHIVES | なし。例外をスローします。 |
DistributedCache | CACHE_ARCHIVES_SIZES | なし。例外をスローします。 |
DistributedCache | CACHE_ARCHIVES_TIMESTAMPS | なし。例外をスローします。 |
Distributed cache | CACHE_FILES | なし。例外をスローします。 |
DistributedCache | CACHE_FILES_SIZES | なし。例外をスローします。 |
DistributedCache | CACHE_FILES_TIMESTAMPS | なし。例外をスローします。 |
DistributedCache | CACHE_LOCALARCHIVES | なし。例外をスローします。 |
DistributedCache | CACHE_LOCALFILES | なし。例外をスローします。 |
DistributedCache | CACHE_SYMLINK | なし。例外をスローします。 |
DistributedCache | addArchiveToClassPath(Path archive, Configuration conf) | なし。例外をスローします。 |
DistributedCache | addArchiveToClassPath(Path archive, Configuration conf, FileSystem fs) | なし。例外をスローします。 |
DistributedCache | addCacheArchive(URI uri, Configuration conf) | なし。例外をスローします。 |
DistributedCache | addCacheFile(URI uri, Configuration conf) | なし。例外をスローします。 |
DistributedCache | addFileToClassPath(Path file, Configuration conf) | なし。例外をスローします。 |
DistributedCache | addFileToClassPath(Path file, Configuration conf, FileSystem fs) | なし。例外をスローします。 |
DistributedCache | addLocalArchives(Configuration conf, String str) | なし。例外をスローします。 |
DistributedCache | addLocalFiles(Configuration conf, String str) | なし。例外をスローします。 |
DistributedCache | checkURIs(URI[] uriFiles, URI[] uriArchives) | なし。例外をスローします。 |
DistributedCache | createAllSymlink(Configuration conf, File jobCacheDir, File workDir) | なし。例外をスローします。 |
DistributedCache | createSymlink(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getArchiveClassPaths(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getArchiveTimestamps(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getCacheArchives(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getCacheFiles(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getFileClassPaths(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getFileStatus(Configuration conf, URI cache) | なし。例外をスローします。 |
DistributedCache | getFileTimestamps(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getLocalCacheArchives(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getLocalCacheFiles(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getSymlink(Configuration conf) | なし。例外をスローします。 |
DistributedCache | getTimestamp(Configuration conf, URI cache) | なし。例外をスローします。 |
DistributedCache | setArchiveTimestamps(Configuration conf, String timestamps) | なし。例外をスローします。 |
DistributedCache | setCacheArchives(URI[] archives, Configuration conf) | なし。例外をスローします。 |
DistributedCache | setCacheFiles(URI[] files, Configuration conf) | なし。例外をスローします。 |
DistributedCache | setFileTimestamps(Configuration conf, String timestamps) | なし。例外をスローします。 |
DistributedCache | setLocalArchives(Configuration conf, String str) | なし。例外をスローします。 |
DistributedCache | setLocalFiles(Configuration conf, String str) | なし。例外をスローします。 |
IsolationRunner | 関連なし | なし。例外をスローします。 |
Profiling | 関連なし | 空実装 |
Debugging | 関連なし | 空実装 |
Data Compression | 関連なし | あり |
Skipping Bad Records | 関連なし | なし。例外をスローします。 |
Job Authorization | mapred.acls.enabled | なし。例外をスローします。 |
Job Authorization | mapreduce.job.acl-view-job | なし。例外をスローします。 |
Job Authorization | mapreduce.job.acl-modify-job | なし。例外をスローします。 |
Job Authorization | mapreduce.cluster.administrators | なし。例外をスローします。 |
Job Authorization | mapred.queue.queue-name.acl-administer-jobs | なし。例外をスローします。 |
MultipleInputs | 関連なし | なし。例外をスローします。 |
Multi{anchor:_GoBack}pleOutputs | 関連なし | あり |
org.apache.hadoop.mapreduce.lib.db | 関連なし | なし。例外をスローします。 |
org.apache.hadoop.mapreduce.security | 関連なし | なし。例外をスローします。 |
org.apache.hadoop.mapreduce.lib.jobcontrol | 関連なし | なし。例外をスローします。 |
org.apache.hadoop.mapreduce.lib.chain | 関連なし | なし。例外をスローします。 |
org.apache.hadoop.mapreduce.lib.db | 関連なし | なし。例外をスローします。 |